住在了巴蜀之地。
秦始皇死后，整个华夏暴乱，各地起义不断。
当年南下攻打百越之地，并建立南越国的赵佗。其族中长辈曾经是吕不韦的门客，受到吕不韦的恩惠。
赵佗家族也与吕不韦家族私交甚好。
秦末之时，南海郡尉任嚣病重，他临死前把时任龙川县令的赵佗召来，向他阐述了可以依靠南海郡傍山靠海、有险可据的地理优势建立国家，以抵抗中原各路起义军队的进攻。
巴蜀之地也动乱不断，唯有身处岭南之地的南海军封锁了五岭的四关，横浦关、诓浦关、阳山关、湟溪关。
断绝四条进入岭南的新道，构筑了捍卫番禺的三道防线，南雄防线，清远防线，石门要塞防线。
只要不攻破这三道防线，是无法进入番禺县的。
吕不韦的族人们与赵佗时常有书信往来，得知消息后，立刻举族搬迁到岭南地区。
自吕不韦以后，其族人们将《吕氏春秋》奉为家族至宝，乃每一位族中子弟必须研读的书籍。
此书以“道家学说”为主干，以法家、儒家、墨家、农家、兵家、阴阳家思想学说为素材，熔诸子百家学说于一炉。
可以说精通《吕氏春秋》之人，必定学识渊博，满腹经纶。
吕氏家族以《吕氏春秋》为自己的家传经学，加上与南越武王赵佗关系莫逆，渐渐在南海发展壮大，族中子弟多有进入南越朝廷为官。