夏商时，铁山属荆州之域。

魏黄初二年（221），地在武昌郡境内。

隋朝开皇九年（589），地属江夏郡永兴县所辖。

唐武德四年（621），地属鄂州吴国所辖。

五代十国时期（907～960），地先属吴国所辖，后属唐国所辖。

宋乾德五年（967），定名“大冶县”，地属大冶县四会乡所辖。

淳熙七年（1181），南宋朝廷在铁山设置铁山寨。

民国二十一年（1932），地属大冶县盛碧；民国三十八年（1949），为大冶县铁麓乡。

1949年5月，为大冶工矿特铁麓乡。

1950年7月，将长乐乡与铁麓乡合并为铁麓，后又将铁麓改为铁矿。

1950年8月21日设置哪里有学泥工培训班,辖黄石市，为黄石市铁矿。

1950年9月18日，为黄石市第三。

1950年12月，撤销黄石市第三，为黄石市郊公所。

1951年土改时，为黄石市铁山乡。

1952年11月8日，为黄石市铁山镇公所。

1954年11月24日撤销铁山镇公所，其辖划归郊管辖。

1955年4月，为铁山街道。

1958年12月，撤销铁山街道，为铁山城市人民公社。

1972年12月，铁山城市人民公社更名为铁山革命委员会。

1979年12月17日，撤销铁山革命委员会，更名为铁山至今。