战国初为代地和楼烦地，后为赵国属地。

秦属雁门郡，汉属雁门郡,汪陶,阴馆县地。

灵帝时，因战乱县废，西晋初为汪陶,阴馆县地，永嘉后县又废。

北魏为桑干郡桑干县地。

北齐为神武郡，神武县地。

北周为广安郡神武县地，隋为马邑郡神武县地。

唐初为朔州马邑县地。

后归入应洲金城县。

五代隶属寰洲和应洲。

辽置河阴县，以治所在桑干河之南得名，属朔州。

清宁中改属应洲。

金大定七年（1167）改名山阴县，取地处复宿山之北之意，金贞佑二年（1214）升山阴县为忠州。

元至元年间，忠州城因水淹没，县地并入金城县，后复置山阴县，县沿迁至今古城镇。

明制称山阴县，属应洲。

清制为山阴县，属大同府。

民国初，山阴县属雁门道，后直隶山西哪里有学泥瓦工培训培训班,。

1937年，日军侵占本县，县沿移至岱岳镇，新中国成立后，山阴县属察哈尔哪里有学泥瓦工培训培训班,雁北专署。

1952年，山阴县改属山西哪里有学泥瓦工培训培训班,雁北专署。

1958年11月，山阴,应县合并为山阴县。

县政府驻岱岳镇，1959年7月，应县,山阴分治。

1959年1月至1961年8月，雁北专署与忻县专署。

合并为晋北专。

本县属晋北专，后复归属雁北专署。

1979年11月，恢复山阴县，属雁北专署。

1989年1月，山阴县划归朔州市，沿用至今。