散席后留下来，刘邦意会。
散席后，吕公对刘邦说，我很会看面相，但是没看过像你这么相貌不凡的，我有个女儿（即吕雉），希望你愿意接受她当你的糟糠妻。事后吕公的妻子吕媪很生气，说，你以前说你这个女儿很难得，一定要嫁个非常好的丈夫。沛县县令对你这么好，你还不肯嫁女儿，居然要把她嫁给刘邦？
吕公说，这不是你妇人家懂得的事。还是把女儿嫁给刘邦。吕公的女儿就是吕雉，后来生了汉惠帝刘盈和鲁元公主。刘邦为亭长时，经常请假回家到田里去。有一次吕雉和孩子们正在田中除草，有一老者经过讨水喝，吕雉让他喝了水，又给他饭吃。老者给吕雉相面说：“夫人乃天下贵人。”
吕雉又让他给两个孩子相面，见了刘盈，说：“夫人所以贵者，乃此男也。”又给鲁元公主相面，同样也是富贵面相。老者走后，刘邦正巧从旁边的房舍走来，吕雉就把刚才那老人给她们面相的情况告诉了刘邦。刘邦问这个人在哪，吕雉说：“未远。”于是追上了老者，问他刚才的事，老汉说：“乡者夫人婴儿皆似君，君相贵不可言。”
刘邦道谢说：“诚如父言，不敢忘德。”等到刘邦显贵的时候，却再也找不到当初那位老者。刘邦做亭长时，喜欢戴用竹皮编成的帽子，他让掌管捕盗的差役到薛地去制作。到后来显贵了，仍经常戴着。人们所说的“刘氏冠”，指的就是这种帽子。
刘邦有一次奉命押解犯人到骊山，途中有不少人逃脱，因为当时让犯人逃脱是重如死罪，所以刘邦索性放走所有人，这些人也成为后来起义的部分势力。刘邦因此必须逃亡，当时逃犯中就有十余人愿意跟随他一同逃亡，传说刘邦“斩白蛇起义”，之后入砀山。
秦始皇常说“东南有天子气，于是东游以厌之。”刘邦自疑，隐于芒、砀山泽岩石之间。折叠沛县起兵陈胜起兵，沛令恐，欲响应陈胜，萧何、曹参等劝沛令召回刘邦。沛令答应，于是派樊哙往召刘邦。刘邦至沛，而沛令反悔，于是刘邦率约百人于沛县城外射信说服城内人诛杀县令，被立为沛县令，发县中约3千子弟响应起义，攻占沛县等地。刘邦起事后，兵力达到二三千人，攻胡陵、方与，还守丰。
秦泗水监平将兵围丰，为刘邦军所破。接着刘邦命雍齿守丰，