【在这种弟弟晋王杨广争宠争储的情况下，太子杨勇依然不改，沉浸于自己的喜好之中。
于是，独孤伽罗皇后去世之前，实在是忍无可忍长子这不成器的模样，和皇帝废除了杨勇的太子之位并贬为庶人，改立了杨广为太子。
两年后，独孤伽罗去世。
在之后又是两年，杨坚病重之际，太子杨广找当时在仁寿宫侍疾尚书左仆射杨素、兵部尚书柳述、黄门侍郎元岩商量大事。
他认为如果杨坚去世，必须预先作好防备措施，他亲手写了一封信封好，派人送出来询问杨素。杨素把情况一条条写下来回复杨广。
然而，宫人误把回信送到了杨坚的寝宫，杨坚看后极为愤怒。
且第二天，照顾杨坚的宣华夫人出去更衣的时候，遭到了杨广的逼迫，宣华夫人拒绝了他才得以脱身。
宣华夫人是南朝最后一个国家陈朝陈后主的妹妹，她是皇后在世时就已经进御的的妃子，得到了独孤皇后的认可，也是在皇后去世后独宠后宫的女人。
所以，宣华夫人回宫之后，杨坚看她脸色不对，便询问出了什么事情。
宣华夫人如实禀告，杨坚当场愤怒不已，捶着床说：
“这个畜生！怎么可以将国家大事交付给他！独孤氏误了我！”
于是他叫来柳述、元岩说：“召见我的儿子！”
柳述等人要叫杨广来。
杨坚说：“是杨勇。”
柳述、元岩出了杨坚的寝宫，就开始起草敕书。杨素闻知此事，立马就告诉了杨广。
杨广知道要出变故，毫不犹豫的假传杨坚的旨意将柳述、元岩逮捕，关进大理狱。
然后他们迅速调来东宫的裨将兵士来宿卫仁寿宫，宫门禁止出入，并派宇文述、郭衍进入调度指挥；命令右庶子张衡进入仁寿宫侍候杨坚。后宫的人员全被赶到别的房间去。
随后，杨坚就在大宝殿驾崩，是的，就这样“离奇去世”！
杨坚一共在位23年，终年64岁，庙号为高祖，谥号文皇帝，被葬于泰陵。
他们关陇集团的开国皇帝基本上都是庙号高祖，因为太祖则是关陇八柱国，也是开国皇帝的“祖宗”。