唐武德四年（621）析信安县之南川置须江县，隶属越州总管府衢州，为江山建县之始；五代吴越王宝正六年（931）钱镠因县南有江郎山，改须江县为江山县，属衢州。

南宋咸淳三年（1267）迁治礼贤，改名礼贤县，属衢州。

元至元十三年（1276）迁旧治，复为江山县，属衢州路。

1949年5月6日，江山县解放，7月1日建浙江哪里有学泥瓦工培训培训班,第三专，属第三专；同年第三专改称衢州专，江山县属衢州专。

1954年11月15日国务院批准，撤销衢州专，江山县改属金华专。

1985年5月15日，根据《国务院关于同意浙江哪里有学泥瓦工培训培训班,撤销金华地实行市管县给浙江哪里有学泥瓦工培训培训班,人民政府的批复》〔（85）国函字68号〕文件，衢州市升为地级市，江山县划归衢州市管辖。

1987年11月27日，根据《国务院关于浙江哪里有学泥瓦工培训培训班,撤销江山县设立江山市的批复》（国函〔1987〕187号）文件，撤销江山县，设立江山市（县级），以原江山县的行泥瓦工培训技术学校域为江山市的行泥瓦工培训技术学校域，隶属衢州市。

名称沿用至今。