经过百余年的发展，南越国也发生了翻天覆地的变化。
到了南越国第四任国君赵兴时，南越国国力已经开始日渐衰弱，而北方正是汉武帝统治时期威加海内的强汉王朝。
此时的南越王朝，吕氏家族权倾朝野，吕氏宗族全都与王室联姻通婚，丞相吕嘉更是一人之下万人之上，史载：“其相吕嘉年长矣，相三王，宗族官仕为长吏者七十余人，男尽尚王女，女尽嫁王子兄弟宗室，及苍梧秦王有连。其居国中甚重，越人信之，多为耳目者，得众心愈于王。”
公元前125年，时任丞相的吕嘉兼任南越国的太傅，个人声誉达到了顶点。
南越王赵兴见到朝政被吕氏家族掌控，南越国江河日下，百姓生活艰难，在大汉使者前来拜访之时，准备归顺汉朝。
如果南越国归顺大汉，作为掌控南越国权力中心的吕氏家族必定失去大权，走向衰败。
吕嘉等人劝谏不成，盛怒之下，立刻发难，他们制造南越王与太后淫乱的舆论后，吕嘉与弟弟率领军队攻进皇宫，杀害了南越王赵兴、樛太后以及大汉的使者。
杀死赵兴之后，又派人告知苍梧秦王赵光和各郡县官员，立赵婴齐长子术阳侯赵建德为南越王，并击退了大汉在南越国北部的驻军。
汉武帝得知消息，十分震怒，立刻下发了出兵南越的诏书。
公元前112年秋，汉武帝调遣南方流放的罪犯和江淮以南的水兵共十万人，兵分五路进攻南越。
这场激烈的战争持续了整整一年的时间，一直到公元前111年，汉军五路大军合围番禺城，并放大火烧城，南越军纷纷向汉军投降。
吕嘉等人见到大势已去，率军突围而走。
天亮之前逃到东海之滨，只剩下百余人，吕嘉等人准备乘船出海，逃到闽越之地，试图借助东越的力量对抗大汉的军队。
最终遭遇部下反噬，吕嘉也被原南越国郎官孙都擒获。
汉武帝平定南越后，将原来的南越国属地设置了九个郡，并成立交州，设交州刺史，直接归属汉朝中央管辖。
由赵佗创立的南越国历经九十三年，经五代南越王之后，在吕嘉的手里断送了。
汉武帝将吕嘉为首对抗汉朝