秦汉以前，高庙属“羌戎地”。

汉武帝元鼎六年（前111年），汉军进据湟水流域，高庙归入汉朝版图。

西汉太初年间（前104年—101年），高庙始建村寨。

北宋哲宗元符年间（1098—1100年），高庙建通湟寨。

明代时期，高庙汉族从南京和内地先后因平戎西征或因商贾迁来高庙定居，繁衍生息。

清雍正三年（1725年），改右千户所为碾伯县，高庙属碾伯县管辖。

民国十九年（1930年），高庙设镇。

民国三十八年（1949年）9月5日，乐都县解放，设高庙镇，废除保甲制，设立村民委员会。

1958年，高庙镇为金刚公社。

1984年，复名高庙镇。