秦代始置汝阴县；东汉时期属于汝南郡；三国魏置汝阴郡；北魏孝昌四年（528），置颍州；隋大业三年（607），设汝阴郡；唐设颍州，属亳州管辖；宋设顺昌府；元属汝宁府；明朝属凤阳府。

明朝万历十年（1582），在阜阳县置颍川卫；清雍正十三年（1735）升颍州为颍州府，并以颍州本辖新置附郭县，乾隆皇帝依奏赐名阜阳县；民国初年撤销颍州府。

1949年3月，撤阜阳市，并入阜阳县；1949年10月，设立阜阳专专员公署，下辖八县一个行政办事处。

阜阳专有界首市,亳县,太和县,阜阳县,涡阳县,蒙城县,颍上县,阜南县,临泉县和凤台县。

1953年9月，界首市撤销，建界首县。

1964年10月，建立利辛县。

1971年，改阜阳专为阜阳地。

1975年12月19日，设立阜阳市（县级），由阜阳地管辖。

1977年1月，凤台县由阜阳地划归淮南市管辖。

1986年3月11日，设立亳州市（县级）。

亳州市由阜阳地领导（1986年6月4日正式成立）。

1992年，同意撤销阜阳市,阜阳县，重新组建阜阳市（县级）。

1996年1月，撤销阜阳地和县级阜阳市，设立地级阜阳市。

1998年2月，亳州市从阜阳市划出，由安徽哪里有学泥工培训班,直辖。

2000年5月11日，将阜阳市管辖的涡阳县,蒙城县,利辛县划归新设立的地级亳州市管辖。