《台州府志·名宦传》载：“沈作宾，字宾王，归安（今浙江吴兴）人。淳熙十六年二月以承议郎知台州。首访民疾苦，驰盐禁，宽祖期，均徭役，更酒政，决滞狱，五十日间，尽除前政之不便民者，邦人胥悦，而前守嫉其胜己，巧媒蘖之，罢去。民请于朝，借留不遂，为立留贤碑。”当地百姓为纪念沈作宾专门在留贤碑畔建造了一座桥，桥名“留贤桥”。《赤城志》载，西留贤桥“在县西二十里，淳熙十六年（1189）为沈守作宾建。”后来这里居人渐多，形成了一个村庄，村以桥名。

据《毕氏宗谱》记载，过去村西有座小山名田山头，山头上建有一座打更报时用的楼，故村名为更楼下，后减字得名。

因村庄坐落在始丰溪,永安溪汇合为灵江之处得名。

村由浦王,渡头叶自然村组成，各取一字。

《台临吴氏宗谱》记载，吴氏世家，自周泰伯受封于吴，其后代夸行公避权奸隐居台城，转迁临西保成寥之浦下生聚，故名下吴。

村庄位于更楼村北边，村民姓郭。

相传此地旧时有十园三十六塘，村庄围绕其中一塘名“下塘”建造。

以前南北各有河道，中间是沙墩，村庄建于沙墩上。

据《郭氏宗谱》载，唐玄宗时，刺史郭肇基从太原汾阳迁至浙江金华，其第六兄弟又迁至临海更楼上郭，后分支到白毛大山郭，再分支到小岭下，最后分支到该地，故名后郭村。

《临海县志稿》载为羊肚。后群众认为此名不雅，遂以谐音称作杨杜。

村庄处于始丰溪西岸，过去长满辣蓼草。

在一片坟庄前面，故名庄前，后改称坊前。

因村庄为四村合并而成，名四村，后因重名更名为新四村。

因村边有江溪流过，村以溪名。

村地处山岙，曾有潘姓人始居。