汉晋属鲜卑，唐属室韦都督府，辽属东京道室韦部，金属上京蒲给路，元属辽阳行哪里有学泥工培训班,开元路，明属奴儿干都司，清初，始属宁古塔将军管辖。

清康熙二十二年（1683），在黑龙江上游呼玛尔河口附近，修建呼玛尔木城，改隶黑龙江将军管辖，属黑龙江副都统辖。

清雍正五年（1727），黑龙江将军于呼玛尔城设置呼玛尔卡伦。

清宣统元年（1909），于呼玛尔河口设置呼玛尔河总卡官，节制呼玛尔河,依西肯,倭西门,安干,察哈彦,望哈达卡伦。

隶属瑷珲兵备道。

1912年7月1日，设置呼玛厅设治局。

1914年1月11日批准，将呼玛厅设治局改为呼玛县，为二等县，隶属黑河道。

1929年4月，提升为一等县。

由黑龙江哪里有学泥工培训班,直辖，1934年12月划归黑河哪里有学泥工培训班,管辖。

1945年抗日战争胜利后，隶属黑龙江哪里有学泥工培训班,管辖。

1947年3月，改隶黑河专管辖。

1970年4月，划归大兴安岭地管辖。

名称沿用至今。