终还是献了地，但赵氏实力不弱，始终不肯献地。
知伯大怒，于是公元前454年，知氏便胁迫韩、魏两家联合起来攻打赵氏。此时赵氏为赵襄子当权，赵襄子见形势不妙，于是就退守晋阳（今山西太原附近）。晋阳是赵氏家族经营多年的根据地，城池坚固，物资充足，更重要的是还备受当地民众的拥护与支持。
为了灭掉强硬的对手赵氏，知伯率韩、魏两家出兵围攻晋阳，这一围就是两年，但仍未能攻克晋阳。知伯眼看战事无果，十分着急，最后想到了用水攻的办法，他决定引晋水（汾水）以灌晋阳城，也就是水漫晋阳。
不久之后，晋阳便被水所困，其状惨不忍睹。据《战国策》记载：巢居而处，悬釜而炊，财食将尽，士卒病羸，甚至到了易子而食的地步，但奇怪的是，民无叛意，依然在坚守城池。
当然赵襄子也没有闲着，他也在想着反败为胜的策略，最后还真想到了。赵氏暗中与韩、魏取得联系，三家很快结成了盟友，反手就给了知氏一记重拳。赵氏夜袭知氏守堤之吏，开决汾水河堤，使河水反灌知氏营寨。
知氏军队很快被水淹没，全军乱作一团。韩、魏又乘机反攻，最后，知伯兵败被杀，知氏全族被赵氏诛灭。晋阳之战最终以赵、魏、韩三家胜利而告终。
就这样，三家联手里应外合攻灭了知氏，四卿专政又变成了三家分治。
晋阳之战最终确立了韩、赵、魏三家在晋国的地位。公元前438年，晋哀公去世，其子晋幽公即位。此时，晋国公室已一点威严也没有了，能够控制的地盘也只有绛（山西运城新绛）与曲沃（山西曲沃）两地，其余的土地已全被三家瓜分了。
在这样的局面下，晋幽公不但没有半点号令权，还得自己去朝见三家之君，这个“国君”当得太悲惨。从此，韩、赵、魏合称为“三晋”。
到了周威烈王二十三年（前403年），周天子将三晋封为诸侯，这样韩、赵、魏三家得到了周天子的认证，正式步入诸侯国的队伍，取得了与其它老诸侯国平起平坐的地位与名分。
三个诸侯国的开国国君分别是魏文候、赵烈候和韩景候。公元前376年，韩、赵、魏共同废掉了晋国傀儡国君晋静公，将晋公室剩余的土地瓜分殆尽。