宋朝以前，这里本是一片芦茅洲，并无村落，人们散居在东北茜槽一带山庄里。

南宋时，岳飞率部抗金，转战此间，茜槽一带村庄被金兵破坏。

后来有一族刘姓居民，迁移到这里，从此潭山就有了一个小小的市镇，叫奥米市。

清末民初之时，市镇渐次移至今址，市镇名称也因而转名潭山。

清以前属天宝乡。

1932年编组保甲属第二，1933年11月至1935年4月属找桥特别，特别政治局先后驻潭山万寿宫,汉塘花门楼。

1935年镇境分为2保联,14保。

1939年两个保联分别改名潭山镇和龙冈乡。

1941年10月潭山镇改名潭山乡。

1946年，潭山乡和龙冈乡合并为庆凯乡，下设10保,100甲。

1950年镇境设潭市,联合,龙冈,逍遥,石桥,山田等乡，1952年增设找桥乡。

1956年，潭市,联合,龙冈,逍遥,山田5个乡合并为潭山乡；石桥,找桥2乡合并为石桥乡。

1958年石桥乡与古阳寨垦殖场合并为黄冈山垦殖场古阳寨分场，随后，潭山乡亦成为黄岗山垦殖场的分场，两乡场又是人民公社，下设生产大队,生产队。

1959年增设院前分场。

1960年天宝,双峰未并，翌年析出。

1968年潭山,石桥,院前等3分场合并为潭山公社，与垦殖场脱钩，下辖10个大队,50个生产队。

1972年调整为葵花,龙冈,潭市,石桥,向阳,找桥,院前,山花,路边,茜槽,汉塘,中兴等12个大队,103个生产队。

1983年公社复名乡，下设村和村民小组。

1985年6月潭山乡改名潭山镇。