实战型民国时期，属绥化县管辖。

1932年，设张维保，1939年，改设张维村。

1945年“九三”抗日战争胜利后，设置张维。

1951年12月，设置张维镇（村级），隶属第十。

1956年4月，并村划乡，设置团结乡，1958年8月，将三井,新生,联合,团结4乡合并，成立团结人民公社。

1961年划分为三井,新生,联合,团结4个公社。

1981年5月地名普查时，因本地内公社重名，将团结公社更名为张维公社。

1984年3月，改为张维乡。

同年12月，改为张维镇，名称沿用至今。