传说在西汉文帝时期。有一个潘姓姑娘，她美丽善良，勤劳能干。
一天，天气晴朗，潘姑娘像往常一样早早的提着衣服来到郴江边洗衣服。忽然从上游漂来一条五彩丝带，隐约闪烁着彩色的光芒，众人皆欢呼，但只见这彩色是丝带，飘到潘姑娘那儿就停住了。潘姑娘又惊又喜连忙捞起来。正打算细细欣赏，不料五彩丝带却从手中挣脱，直接划到潘姑娘的嘴里，潘姑娘还未反应过来，却发现已经咽到腹中，众人非常奇怪。
原来这是南海观音来到这郴边游玩，看见河水清澈，便对着郴江梳起头发来。又见河边洗衣裳的潘姑娘很有善缘，便扯下一根头发，化作彩带飘向下游。潘姑娘回家后便有了身孕，又羞又怕，但是又没有办法，只好一直拖到足月临产时躲到牛脾山，桃花洞生下了一个男婴。
由于不敢把孩子带回家，只好丢下孩子一个人痛苦地回到家里。回到家里的潘姑娘内心十分牵挂山洞里的孩子，日思夜想，仍然忍不住对孩子的思念。七日后决定上山，看看她昼思夜想的孩子。走到洞中，她却看到了一个不可思议的现象。只见一只白鹤张开它雪白的翅膀，覆盖在孩子的身上。一只母鹿正在用它甜蜜的乳汁喂养着她的孩子。孩子的脸圆圆的，显得非常红润。潘姑娘顿时又惊又喜，眼泪充满了眼眶。连忙将孩子紧紧地搂在怀里，抱回家抚养。
不久，关于这孩子的神奇故事便从乡里四邻八方传遍了。人们都说，这孩子长大了肯定了不得。见孩子没有名字，潘姑娘只好请村里的教书先生帮孩子取个名字。先生看见路边一个人用草串着鱼伸手又把鱼挂到树上，然后在树下睡大觉。便说：“禾草，串鱼是个苏字。枕树而卧是个耽字，那就叫苏耽吧。”
从此，孩子便有了名字叫苏耽。苏耽从小明事理，对母亲非常孝顺。一天，潘氏生病卧床，不想吃任何东西，苏耽知道母亲爱吃臭豆腐。而郴州城没有卖的，苏耽便花了几个时辰，从桃花洞里走近路，到湘潭买来臭豆腐给母亲吃。当时传说凡人在桃花洞里是走不通的。
还有一次潘氏生病想吃桃子，懂事的苏耽就到牛脾山顶摘了满满一筐桃子回来，为了尽早让母亲吃到桃子，下山时走的急切，在半山腰被石头绊了一脚。结果桃子滚得满山都是，苏耽顾不得捡起全部散落的桃子，就急忙回家了。后来那些未捡起的桃子都化成了石头，当地人都管它叫桃石。据说如果幸运的话，现在还可以在牛脾山中捡到这种状似桃子的石头。还有人说如果小儿腹痛，抹上用桃石磨的粉调制的药剂就可以治疗，而且特别灵验。
由于家里穷，苏耽从小就到牛脾山上放牛，有一次苏耽在山下小桥碰到了一个仙翁，仙翁什么话都没有说就给了他一本医书就飘飘然而去了。此后，苏耽放牛时认真看医书，说也奇怪，别的小孩的牛都是乱跑，而苏耽的牛不用管，自己吃饱了就会自己回来。很快，苏耽便无师自通地掌握了医术，而且免费为乡亲采药治病，药到病除，无不灵验。
附近的村民无不感激苏耽，再后来，人们将遇到仙人的这座小桥，叫做遇仙桥。由于从小积德行善，苏耽很快就得道成仙了。在成仙前对母亲说，郴州不久将发生一场瘟疫，只要用井旁橘树树叶和井水一起熬汤药就可治病。此后不久，果然发生瘟疫了，苏母潘氏用井水熬橘叶，平息了瘟疫，事后便有了橘井泉乡的典故。
苏耽成仙的传奇故事一直在郴州当地广为流传，人们还把风景秀丽的牛脾山改为苏仙岭，把桃花洞改为白鹿洞，以表达对苏耽的怀念。
