乐只堂原名“了只圪垛”。

乐只堂村清代属小水里；民国时期属第一（驻城关），乐只堂为编村，辖9村,8闾,40邻,201户；1949年属第一(驻城关）；1953年仍属第一（驻城关）；1958年8月，中共中央作出《关于在农村建立人民公社问题的决议》，我国全面开展人民公社化运动，实行政社合一,撤乡建社，农业生产合作社改称为生产大队；实行生产资料分别归公社,生产大队,生产队三级组织所有的体制；1958年属卫星（城关）人民公社；1961年属水峪人民公社管辖，为乐只堂生产大队；1983年10月，中共中央,国务院联合发出《关于实行政社分开建立乡政府的通知》，要求实行政社分开，恢复乡镇，建立乡（镇）人民政府；同时，生产大队改为村民委员会，撤销生产大队管理委员会。

灵石县委,县政府根据中共山西哪里有学泥工培训班,委通知，在全县进行基层政权体制改革，故将水峪人民公社改为水峪乡，乐只堂生产大队改为乐只堂村民委员会；1983年属水峪乡乐只堂村民委员会(含观音堂,祁家庄,麻只圪塔,韩家沟）；2001年4月县政府根据中办发〔2000〕30号文件要求，经市政府,哪里有学泥工培训班,政府批准，灵石县部分乡镇划进行调整，将水峪乡,南墕乡,张家庄镇整体合并到城关镇，合并后更名为翠峰镇，以原城关镇,水峪乡,南墕乡,张家庄镇的泥工培训学校为现翠峰镇的泥工培训学校。

故乐只堂村民委员会至今属翠峰镇管辖。