洛阳，没能攻克，转而南下阳城，收编城中马匹骑兵。往南攻打南阳郡，在犨县东面、阳城东面击破南阳郡守吕齮，吕齮退守宛城。
刘邦想绕过宛城直接西进，张良劝道：“您虽欲急入关，秦兵尚众，距险。今不下宛，宛从后击，强秦在前，此危道也。”于是，刘邦在夜晚引兵还攻宛城，变更旗帜，天未明，就将宛城团团围住。曹参、樊哙领军攻打宛城，先登陷阵。吕齮想要自杀，他的门客陈恢加以劝阻，并出使楚营，与刘邦约定举城归降，并建议刘邦带着降兵西进，留下郡守守城，刘邦于是封吕齮为殷侯，封陈恢食邑千户。在刘邦平定南阳郡时，项羽和章邯在殷墟会盟，章邯率军投降项羽，项羽也带着降兵行进。
刘邦率军继续西行，各地没有不降服的，到达丹水，而高武侯鳃、襄侯王陵这时也加入刘邦所率领的楚军，攻下西陵、胡阳。并且番君吴芮的部将梅鋗也至此，与刘邦军联合，攻下析、郦等地。
刘邦所部楚军进兵至武关东面，派魏人宁昌出使秦廷，而这时章邯也投降了项羽。秦丞相赵高弑杀秦二世，令使者回报刘邦，想要和刘邦约定平分关中，刘邦认为赵高在使诈，于是听从张良之计，让郦食其、陆贾劝降武关秦将，趁此机会袭取武关。之后，刘邦一面率军西进，一面令郦商别将攻取秦的汉中、巴、蜀等地，接着刘邦军再在峣下击败秦军，进至秦都咸阳附近的蓝田。秦廷在组织了最后的力量，与刘邦军大战于蓝田，遭遇大败，此后，秦朝失去了所有的抵抗力量。
刘邦的军队先于各路诸侯到达灞上，秦王子婴乘素车、驾白马，用丝带系颈，手捧着皇帝的玉玺符节，在轵道旁投降，秦朝至此灭亡。刘邦进入了咸阳后，看着富丽堂皇的宫殿，刘邦有些留恋，准备就此住下，樊哙劝他注意天下还没有平定，别忘了秦的前车之鉴。刘邦根本听不进去，直到张良亲自来劝，他这才认识到了问题的严重性，率军退到了灞上。
刘邦到达灞上之后，便召集当地的名士，和他们约法三章：杀人者死，伤人和偷盗要受到相应的处罚。其他秦朝的苛刻法制一律废除，这使他得到了民心支持。
项羽率领诸侯军队抵达关中，范增劝他趁机除掉刘邦，项羽就下令准备，要在第二天进攻。这时的刘邦在兵力上，无法和项羽带领