解放前属于城南乡第8保，1950年建政为城南乡小山村，1958年成立城南人民公社为小山管理，1961年改为小山大队，1984年体改，改为小山村。

2004年将原光明村所属的1,2,7,8,9,10,11,12村民小组并入小山村隶属渠南乡，2019年5月渠南乡调整变更为渠南镇，2019年12月泥瓦工培训培训学校调整改革渠南镇调整为渠南街道，2020年5月村级建制调整改革小山村调整为小山，现隶属于渠南街道，至今。