“衢山”之名始于清末，与朐山并用。

1923年《定海县志》“定海县总图”“列岛分图五”载为“衢山”，1923年《定海县志》册一载为“朐山”：“在岱山东北二十五里许，长三十里，宽十里，居民三千余户......亦称衢山。”清光绪《定海厅志》卷十四：“国朝蓬莱乡……光绪六年（1880）新增衢山。”1923年《定海县志》册一：“（蓬莱乡）初并五都为三都，分十六隩，后改五庄……光绪间增朐山，共六庄。”清宣统二年（1910）设朐山乡（含今属嵊泗县的大洋山）。

1919年设衢山乡，1945年设衢山，辖衢一,衢二,长涂,黄龙,大羊5乡，均属定海县。

1949年属滃洲县，分设岛斗,乍门2乡。

1953年改属岱山县。

1958年改设衢山人民公社。

1961年分岛斗,太平,桂花,四平,万良,鼠浪5个人民公社，属岱山县衢山。

1962年以衢山与嵊泗县的大小洋山,滩浒,徐公等岛合建大衢县。

1964年撤县复设衢山，属定海县。

1983年岛斗人民公社改为镇。

1984年太平,桂花等4人民公社改为乡。

1992年撤，太平,桂花2乡并入岛斗镇，鼠浪乡并入万良乡。

2001年岛斗镇和四平乡,万良乡合置衢山镇，形成现今之泥工培训技术学校范围。