据传该村始独有王氏一户，后王氏又从外地引来一户张氏，二人返回途中，张氏问王氏：“还远不远？”王氏道“不远了”。又走了好长时间，张氏开玩笑地说：“来了，来了，来了还远哩”。因此取村名为来远。

据传宋朝建乾德年间，太祖赵匡胤云南平关，路经此地，坐了一阵（陀古称大人物时陀佛）故名盘陀。

因此村建在昌源河的东山上，故名东山头，现改名东山。

因该村原由郭氏落户，村址建在山峪之口，故名郭峪口，后因“郭”与“谷”同音，后演变为谷峪口。

据传宋朝建乾隆年，宋太祖赵匡胤去南平关路经此山，打了一仗，又听见山里有声音响，赵匡胤甩了一神鞭，将此山打成了关口，得名金锁关，后人们迁到金锁关北居住，取名北关。宋太祖取河东克金锁关即此。明洪武三年称北关镇，设巡检司，称龙舟谷巡检司。

来远有一沟称东峪沟，原名铜鱼沟，这也是当时盗宝频繁所致，东峪沟有一大水潭，池水清澈，深不见底。潭内有一条大金鱼，能使沟内年年风调雨顺。由于祁县“铜”念“东”，久而久之，铜鱼沟逐步变成东峪沟。2002年撤并村组，唐河底,贾河底,神岭,南羊圈村合组建为东鱼沟村委会。东峪沟和铜鱼沟各取一字。

因坐落在南风沟内而得名南风沟。