1934年称港源镇。

1946年改双岩乡。

1949年5月建政时称双岩乡。

1950年属白姆,麻阳两乡。

1956年两乡合并为红旗乡。

1958年初属跃进乡，10月撤销武义县并入永康县，属下杨公社白姆管理。

1961年10月属武义县白姆公社。

1983年7月改为白姆乡。

原后树乡在解放初属履坦家山乡。

1950年建立后树乡。

1956年3月后树,要巨,桃溪滩三乡合并称胜利乡。

1958年10月撤销武义县并入永康县，属下杨公社白姆管理。

1961年10月属武义县后树公社。

1983年7月政社分设成立白姆乡人民政府。

1992年5月由白姆,后树两乡撤并建立白姆乡，并沿用至今。