耒阳是蔡伦故里，前些年在蔡侯祠与蔡伦墓的基础上扩建了一个纪念园。除了墓祠外，还新建了有个造纸博物馆。与很多历史名人的籍贯争议一样，对于蔡伦籍贯也有争议，有桂阳说，也有耒阳说，但基本上都是这一带。耒阳说的依据主要是《水经注》载：“（耒水）西北经蔡洲，洲西即蔡伦故宅，旁有蔡子池”。
蔡侯祠最早便是蔡伦故居，纪念园内有一挺大的水塘，即蔡子池。蔡侯祠始建年代不祥，现存建筑为清代重修，现在里边被辟为展示，展示了蔡伦的生平。
蔡伦自小入宫成了太监，获得太后的信任，升为中常侍，兼任尚方令，掌管皇宫制造。在这期间，总结以往人们的造纸经验革新造纸工艺，发明了造纸术，因为他后来被封为龙亭侯，所以制成的纸被称作“蔡侯纸”。但蔡伦最后的结局挺悲惨，太后死后，皇帝亲政。蔡伦因为当初受窦后指使参与迫害安帝祖母宋贵人致死、剥夺刘庆的皇位继承权而被审讯查办。蔡伦耻于受辱，于是沐浴后穿戴整齐，喝毒药而死。但他的造纸术却被推广，对人类文化的传播和文明的进步作出了杰出的贡献，千百年来备受尊崇。
在纪念园入口处，蔡伦雕像背后照壁上，就刻了《后汉书-蔡伦传》，全文282字，记叙了蔡伦生平及其发明的造纸术的事迹。
“蔡侯祠”后有蔡伦墓，但其实蔡伦死于他的封地，在今天的陕西洋县，墓地也在那里。耒阳的这个墓应该只是衣冠冢之类的，建于东汉末年，墓前有新修的亭子。墓前立有墓碑，正面刻有郭沫若1959年题的“蔡伦之墓”。
这是一座券顶砖室墓，正方形石砌土台上为圆形的封土堆，有墓门、阶梯入墓室，墓砖有汉墓常见的几何形纹饰。
蔡侯祠旁有一个六角亭，亭内置一香炉宝鼎，为汉白玉石雕，据传为旧时耒阳人民为祭祀蔡伦烧钱纸所用。宝鼎有上、下两部分，上部分四角攒尖顶，额阴刻“宝鼎”二字，有联阴刻云：“炉内千年火，瓶中万代香”，为清乾隆年间续置，石刻“清乾隆三十五年仲春修建”。中部呈鼓状，下置须弥座，状颇古朴，为唐代原物。
纪念园内还建有一簇造纸作坊，展示了沤料、捣料、抄纸、榨纸、分纸、晾晒干纸的古老造纸工序。可以供游人体验蔡伦造纸的工艺。
在造纸作坊里还“藏”着一个国宝：谷朗碑。这是在中国书法史上有着重要历史地位的一块石碑，从外形上看就是常见的石碑，青石质，碑额“吴故九真太守谷府君碑”，碑文18行、每行24字，字体介于隶书与楷书之间，保留了隶书向楷书过度的痕迹，既是十分珍贵的书法史实物资料，亦是中越交往的重要史料。
