东晋哀帝兴宁元年（公元363年）农历三月十七日深夜，长江南岸的丹徒县京口镇（今汇苏镇江．），明月当空，万籁俱寂。突然，一座东倒西歪的官邸里发出阵阵婴儿啼哭声和男人悲泣声把邻近的人们从睡梦中惊醒。
次日清晨，一条最新消息在这个几万人的镇上不胫而走：“郡功曹刘翘昨夜添了个胖小子。真不率！功曹夫人赵安宗连儿子也没来得及看一眼，就因产疾魂归西天了。”熟悉内情的人叹道：“刘翘这鰥夫，拖着个奶伢，今后的日子真够艰难的！”不腰说起京口刘氏，当时虽然不值一提，追溯却大有来头。他们多数原籍彭城与汉朝皇室同宗，号称遥遥华胄。魏晋以后，才降为寒门。
西晋永嘉之乱，北方被所谓“五胡”瓜分，他们由彭城南迁，集体侨居京口，既无土地又无房产，更丧失做地方豪强的资格，渐渐为人所不齿。至于这刘翘，尽管他已三代侨居京口，自称彭城绥與里人，汉高祖刘邦之弟楚元王刘交的后裔，并且有谱牒为证，也不能使京口土著另眼相看。相反，回报的尽是恶意的嘲弄。如，有人散布消息说，刘的祖先本姓项，与项羽同宗，项羽与刘邦争雄，兵收乌江，自杀而死，很不光彩，为了避免世人的冷眼，才改姓刘的。
此说当然毫无根据，但由此可见刘翘在京口土著心中的地位了。东晋时期，贵族制度等级森严，高门与塞门虽然同属士族，区别却如天渊一般。出身寒门的人当时简称寒人，寒人做官，做到郡太守，就算到了仕途的顶点，再无升迁的希望。因此，刘翘的祖父刘混，由彭城南迁后，只做过侨置的武原县令；父亲刘靖，好不容易才爬到东安郡太守位置；刘潮本人，已至壮年，才做到郡功曹，仕途均不得意。
他们仅靠微薄的官俸养家糊口，经济一向很拮据。田氧雪人刘翘首先遇到的困难是没钱给儿子雇奶妈。觉得实在没有办法，几次想把儿子弄死，免得在人世受罪。刘翘有一个同宗兄弟，生了三个儿子，长名怀肃，次名怀慎，幼名怀敬，这时怀敬快满周岁，母奶仍足。这个同宗兄弟不忍看到刘翘陷入绝境，就和妻子商量，断了怀敬的奶，代养刘翘的儿子。刘翘感激不尽，特别给儿子取个小名叫寄奴。
刘翘希望寄奴以后既富且货，给他正式取名叫裕，字德舆。口真不久以后，那个同宗兄弟又生了一个名叫怀默的儿子，无法代养刘裕了。幸好这时刘裕可以不吃奶，摆在眼前的只是照管问题。于是，刘翘娶了一房继室。这房继室姓萧名文，原籍兰陵，人极贤惠，待刘裕就象亲儿子一样。东晋废帝太和三年（公元368年），萧氏生了一个儿乎，名叫道怜；两年之后（公元370年），又生了一个儿子，名叫道规。
虽然有了亲生儿子，肖氏对刘裕的态度仍如既往。然而，正当家庭人丁兴脏、和陸无间的时候，刘翘却不幸染疾谢世，一家人顿时陷入贫愁交病的困境。王下俗话说：穷人的孩子早当家。刘裕作为长子，从少年时代起，就挑起家庭生活的重担。他不但拚命耕田砍柴打鱼，还偷闲编织草鞋出售，北上敌占区下邳（在今汇苏邳县）做点小生意。劳动的锻炼使刘裕十八岁时，就成长为身高七尺有余的壮汉了。。入普人器，中流土口高出成人之后，继母萧氏为他张罗了一门婚事。
女方姓，名爱亲，原籍东莞，也是侨民之后。其父做过郡功曹，与刘裕的父亲有同事之谊。兄皺焘，弟熹都是读书人，只因母老家贫，留在乡下耕田为生。两家门当户对，自然互不嫌弃。婚后小两口相互体贴，目子过得还算顺当。没多么，氏生了一女。刘裕虽然没有读过书，但深知“不孝有三，无后为大的传统礼教，为此很不高兴给女儿取名叫兴弟，希望臧氏能给她生出一串弟弟来。
然而臧氏竟未再生刘裕因为家里添人进口，全力为衣食奔劳，也就把想要儿子的心事暂时放下了。正部将这期间，为了多赚一点钱，让小日子过得舒坦一些，刘裕染上了賭博的癖好。当时有种类似掷骰子的时髦赌博游戏，名叫蒲，刘裕最感兴趣。有空闲，他就泡在消场上歇斯底里地吆喝，居然胜多负少，越赌越想赌。然而赌博的胜负是难以把握的。一次，刘裕聚众樗蒲，把家产输了个精光，还欠下赌友刁的三万社钱。
这刁達是京口高门土著中的一，靠经商发的财，家有良田万亩，奴妽千人，这时又做了骠骑将军府的参议，有钱有势，谁也不敢惹。刘裕还不出钱，被刁遠绑在马桩上示众。刘裕性格倔强，也不告饶。这时骠骑将军府长史王谧路过，见刘裕眉字间透出衰气，赞赏道：“壮士当为一代英雄。”代他偿还了欠债，并责令刁逵马上释放了他。王谧是东晋开国宰相王导的孙子，门地显赫，而能屈身照顾一个寒人刘裕感激涕零。
这以后，刘裕对社会和人生有了自己的认识。他认为高门土族中，有恶人也有善人。要想打入上层社会必须依靠那些善人，惩治那些恶人人生不过是一场賭博，要想出人头地，必须肯下本钱，肯拼命他决心向坎坷的仕途挑战，做一个政治上的赌徒。
