的地位和荣耀皆由始皇帝赐予，但在此事上并未破例，任嚣家人也在咸阳。
赵佗在咸阳停留两月后返回南越镇守。虽然不能带走妻儿，但始皇帝恩准他带幼弟赵光去南海，当时赵光十五岁。
原本，赵佗在始皇帝三十四年的咸阳之行是他最后一次回关中。此后不到三年，局势剧变。始皇帝东巡途中驾崩，胡亥继位，扶苏自杀，蒙恬和蒙毅冤死狱中，冯去疾、冯劫父子不堪受辱自杀，李斯九族被诛。大秦帝国迅速崩溃，随着子婴身死，大秦覆亡。
在任嚣死后，赵佗始终据守西南一隅之地，并在数年后(公元前204年)自立为南越武王。十年之后，赵佗向刘邦称臣，被刘邦封为南越王。及至刘邦死后自称武帝，赵佗不知道有没有对那个湮没在火海中的大秦产生过愧疚。
彼时，赵佗完全掌控了南越局势。他清楚自己在南越根基稳固，手握庞大军事力量和丰富资源。已经暗中扩充军备，加强对南越数郡的控制。一方面继续安抚土著蛮夷，通过贸易优惠、文化融合等手段赢得他们支持；另一方面，又整顿大秦旧部，剔除对大秦忠诚者，培养亲信。
即便在今世，在秦始皇驾崩后，赵佗的不臣之心也逐渐显露。
在南越数郡的统治上，他不再遵循大秦制度，变得专制起来。在税收方面，他提高了部分地区的税率，将更多财富集中到自己手中；征兵政策也有所改变，更注重招募本地青壮年，增强自身军事力量。加大了对当地资源的掌控，将矿产、森林等资源纳入自己的管理范围，为实现野心积累资本。
在番禺城中，赵光因是赵佗宠爱的幼弟，地位特殊。由于官职需朝廷加封，此时大秦已亡，他并无实际官职，但在南越数郡影响力巨大。众人皆知他是赵佗弟弟，都不敢轻视。那些想讨好赵佗的人纷纷围绕赵光，对他阿谀奉承。赵光在这种环境下逐渐骄纵，利用特殊地位谋取私利，在番禺城中横行霸道，却无人敢管。
赵佗并非不知赵光的行为，但出于宠爱，对他的小过错未加制止。这使得赵光更加肆无忌惮，他的胡作非为引起了一些人的不满，但这些不满在赵佗的权势压制下无法发声。
随着时间推移，赵佗在南越的势力愈发巩固。他开始与周边势力接触，试图建立联盟。