市南区建置始自德国侵占青岛时期（20世纪初），所辖区域却有悠久历史；从明初以来，一直在青岛地区（昔称胶澳）政治、军事、商贸、旅游诸领域居重要地位。

1388年（明洪武二十一年），即墨县东海边筑城设防建鳌山卫，下辖浮山所（全称为浮山备御千户所）、雄崖所。部分内地（据传多是云南、贵州、山西）人迁移到胶州湾东畔定居。明朝永乐年间之后，今市南区范围陆续建立上青岛村、下青岛村、会前村、小泥洼村、小湛山村、大湛山村、田家村、大尧村、逍遥村、张家庄（后改名为亢家庄）、丁家庄、辛家庄。村民在农耕的同时也下海捕鱼。

1578年（明万历六年），即墨获准在县境内开放青岛口（即今市南区域内天后宫前、栈桥东），海运贸易日趋活跃，通商闽、浙、苏、淮。

1863年（清同治二年），青岛口建立电报房、邮政局，出现了更多的商店和手工业作坊，今市南区域中西部成为旅客、商人云集之地。

1891年（清光绪十七年），清政府议决在胶澳设防，是青岛建置之始；翌年，调登州镇总兵章高元率部移驻胶澳，在下青岛村东畔建总兵府（俗称老衙门，今市人民会堂址；据胡存约所著《海云堂随记》记载，总兵府规模大于县衙门），筑军营、炮台，建栈桥码头，青岛口（今市南区西部沿海地域）一带逐渐形成粗具规模的市镇。

1897年，德国侵占青岛。1900年6月，将租界分为内界、外界。内界称青岛区，包括青岛、大鲍岛、小泥洼、孟家沟、小鲍岛、杨家村、台东镇、扫帚滩、会前9个小区，其中青岛区大部位于今市南区；其余为外界，称李村区。1910年，将内界9个小区合并为青岛、大鲍岛、台东镇、台西镇4个区。

1914年日本第一次侵占青岛后，将占领区划分为青岛区和李村区，今市南区位于青岛区。

1922年12月，中国政府收回胶澳，辟为商埠；根据《胶澳商埠章程》规定，定名为青岛市，以青岛市街、台东镇及台西镇之界址为区域，其他各地均称乡。今市南区域大部分在市街及台西镇范围内。

1929年4月，南京国民政府接管青岛，确定青岛为特别市；至1933年3月，设甲等区5个、乙等区3个、丙等区4个，今市南区域多属甲等区；后取消区的编制，1933年10月，市内于大港、台东和台西各设办事处1个，分别称为市区第一、二、三区联合办事处；今市南区域大部分归联合办事处管理。

1935年5月，青岛市调整市乡办事处，市区于东镇、西镇、海滨、浮山等各设1个建设办事处。今市南区地域为西镇、海滨、浮山、小港诸办事处的管理范围。

1938年1月，日本第二次侵占青岛，通过警察局等机构强制设立保甲组织；至1945年4月，在市南、市北、东镇、西镇、四方等范围分设总联保办事处。

1946年南京国民政府第二次统治时期，青岛以警察区划为市南、市北、台东、四沧等7个区。以保甲区划为12个区（其中市区4个、乡区8个），4个市区分别为市南区、市北区、台东区、台西区。市南区作为行政区划由此开始。

1949年6月2日青岛解放后，市南区开始进入新的历史发展时期。进入社会主义现代化建设新时期后，通过改革开放、东部开发、迎办奥帆赛等，市南区经济得到持续、快速、健康发展，城市建设步伐加快，社区建设不断深入，科教兴区战略全面实施，民主法制建设更加健全。

市南区区域1900年属胶澳租界地内界的青岛区、会前区；1910年属内界的青岛区、台西镇；1922年中国政府收回青岛主权后，分属青岛区、别墅区和西镇；1929年南京国民政府统治青岛后，属第一区、第二区；1935年属海滨区、西镇、浮山区；1938年日本第二次侵占青岛后，属“市南保甲行政区”；1946年南京国民政府第二次统治青岛后，市南区建置并成为青岛市4个市区之一，市南区名称沿用至今。1949年底，市南区为青岛市辖7个区之一。1954年，青岛市撤销浮山区，将麦岛乡、浮亢乡、浮西乡、三合乡之田家村划归市南区，设立浮山办事处。1956年，浮山办事处（后成立街道办事处、人民公社）所辖浮西、麦岛两乡划归崂山郊区。1963年，撤销台西区，将其所属云南路、南村路等5个街道办事处划归市南区；同年，浮山人民公社划归崂山县，1978年，浮山人民公社重新划入市南区。
1987年，辖区有14个街道办事处。2004年5月，调整为9个街道办事处和1个社区工作委员会，分别为八大峡街道、云南路街道、中山路街道、八大关街道、湛山街道、香港中路街道、八大湖街道、金门路街道、珠海路街道办事处及江苏路社区工作委员会，下设78个社区居委会。2008年6月，江苏路社区工作委员会改为江苏路街道办事处。2011年3月，对八大峡、云南路、中山路、八大关、金门路、珠海路6个街道规模较小的部分社区进行调整，减少社区13个。2017年9月，在全省率先实施街道社区管理体制改革，社区由65个调整至50个。2019年9月，经市南区委常委会研究同意，决定拆分八大湖街道，恢复设立金湖路街道办事处。调整后，市南区设置了八大峡街道、云南路街道、中山路街道、江苏路街道、八大关街道、湛山街道、香港中路街道、金湖路街道、八大湖街道、金门路街道、珠海路街道等办事处。