古为百越地，秦代设置四会县，初属桂林郡；汉初属南越国，汉元鼎六年（111）武帝灭南越国，复置郡县，四会县改属南海郡；南朝宋元嘉十三年（436）改属广州绥建郡（绥安郡）；隋朝始开皇九年（589）至清顺治元年（1644）曾棣属广州总管府，扬州南海郡（隋朝），广州都督府,广州南绥州，岭南道浈州，岭南东道广州（唐朝），兴王府（五代十国南汉）；广州中都督府，肇庆府（北宋,南宋,元,明,清）；1914年废州府设道，为粤海道，1920年撒道设，为西北绥靖；1952年5月广宁,四会合县至1954年7月分开，并把原属广宁县的江谷,江林,黄田,石狗等划归四会县，属粤中行泥工培训技术学校；1956年2月属高要专；1958年10月广宁,四会合县称广四县，属江门专；1961年4月，广宁,四会再次分县，属江门专（后改称肇庆专）；1970年10月属肇庆地，1988年属肇庆市；1993年11月经国务院批准撤销四会县设立四会市，由肇庆市代管，沿用至今。