春秋置瓜衍县，治今市北5公里虢城村，后废。

三国魏中阳县治徙今城关西13公里巩村，属西河郡。

晋永嘉元年（307）废入隰城县。

北魏太和十七年（493）置永安县，属西河郡，治今城关东2.5公里。

孝昌中叶吐京郡自今石楼县寄治今城关西10公里吐京村。

永安二年（529）侨置显州，治今城关西10公里六壁头村；又置定戎郡，治今城关北5公里虢城村，属显州；又置建平郡，治今城关西10公里六壁头村，属显州。

北齐废显州及所属郡。

唐贞观元年（627）改永安县为孝义县，属汾州。

“因县人郑兴有孝义，故以名焉”。

明,清俱属汾州府。

1912年属冀宁道，后直属哪里有学泥瓦工培训培训班,。

1949年属汾阳专。

1951年属榆次专。

1958年废入介休县。

1961年复置，属晋中专。

1967年属晋中地。

1971年属吕梁地。

1992年2月，经国务院批准，撤销孝义县，设立孝义市。

现隶属于吕梁市。