清光绪初年分属11都1图,12都1图。
民国时属乌岩岭上乡。
1948年属乌岩联岭乡。
1951年土改时,分别在半山,北山两地建立了半山乡和北山乡,均属宁溪管辖,1956年半山,北山两乡合并,以地处粮丰林茂,物产丰富的山而命名为富山乡。
1958年建富山管理,属宁溪公社,1961年公社体制调整,称富山人民公社,1983年撤销公社建制,复称富山乡,沿用至今。
1985年4月台州行署批准为第二次国内革命战争时期根据地。