清代同治十二年（1873），属礼贤乡十三都和十四都,青云乡的十都和六都。

1927年，废都设河上，二十四年改为属，辖分属一,三,五；1938年，改为乡公所。

1950年4月成立河上人民政府，五月撤成立乡人民政府，1958年9月，成立河上人民公社，辖河上,三山，东来，1961年成立三山工作片委员会，辖河上,东来,元家,三山,白陂五个公社及罗山垦殖场，1964年9月复称河上人民公社，辖东来,三山,河上五个公社及罗山垦殖场，1972年三山划出，1977年东来划出，1984年6月河上公社改为河上乡，1985年10月撤乡改为河上镇，2001年9月撤东来乡，并入河上镇，得名后沿用至今。