西汉至十六国“五凉”时期，张义镇境域属武威郡张掖县，张掖县治所即今凉州张义镇一带。

北魏至隋初，属武威郡林中县。

元代时期，属永昌路西凉州。

明清时期，先后归凉州卫和武威县。

民国元年（1912年）后，属武威县张义乡。

民国三十八年（1949年）9月后，属张义。

1952年7月，属第十二（张义）。

1956年1月，属张义,中路,沙金台乡。

1958年10月，张义,中路,沙金台乡合并成立张义公社。

1962年，分设为张义,中路,上泉公社。

1983年7月，分属张义,中路,上泉乡。

2002年8月，张义撤乡建镇。

2004年7月，中路,上泉并入张义镇。