会典》以及进呈《舆地指掌图》等，这些工作不仅彰显了他在学术和行政上的才能，也进一步巩固了他在朝中的地位。然而，随着权力的增长，桂萼的行事风格和政治决策开始引起一些朝臣的不满和担忧。孙应奎的上疏直接批评桂萼等人，尤其是指出桂萼“作威作福，私纳财贿，阻拦压抑气节之士，结党营私”，这一指控直指桂萼的道德与政治操守，使明世宗不得不对桂萼有所警觉，要求其改正错误。
面对朝中日益增多的非议和皇上的警告，桂萼感受到了前所未有的压力，他两次上书称病求退，试图以退为进，缓解舆论压力。同时，礼科给事中王准弹劾桂萼私荐亲信李梦鹤之事，进一步将桂萼推向风口浪尖。尽管吏部调查后为李梦鹤辩解，但此事已深深触动了明世宗对桂萼的信任，进而引发了一系列针对桂萼及其同党的调查。
陆粲的上疏更是将矛头直指桂萼与张璁，列举了两人种种不法行为，如受赂举荐、结党营私等，这些指控在朝中引发了轩然大波。明世宗最终不堪舆论压力，决定揭露张璁、桂萼的罪状，并令桂萼以尚书身份退休，张璁也被免职。然而，这一决定很快因霍韬的上疏和明世宗对案件的重新审视而出现转机，最终李梦鹤等人被单独定罪，桂萼得以免于重罚，被改任为南京工部尚书。
这一系列事件，充分体现了明代政治中权力斗争的复杂性。桂萼虽然在明世宗的支持下一度风光无限，但也因权力的膨胀和行事方式的争议，陷入了巨大的政治危机。即便如此，桂萼的政治生命并未因此终结，其后仍有国子监学生钱潮等人上书请求其还朝，显示了他在部分人士中仍有一定的影响力和声望。然而，明世宗对这些请求的愤怒反应，也透露出皇权对于臣子干预政治决策的警惕和反感，桂萼的复出之路也因此变得扑朔迷离。
七、晚年生涯
嘉靖九年至十年间，桂萼的晚年生涯充满了病痛与皇恩的双重色彩。尽管身患重疾，桂萼仍多次因明世宗的眷顾而重返政坛，显示了其在皇帝心目中的特殊地位。
在嘉靖九年，桂萼因健康状况不佳，数度请求退休，但明世宗不仅屡次慰留，还派太常寺卿魏璄探视，赐予药物与食物，表达深切关怀。这不仅反映了明世宗对桂萼个人能力与贡献的认可，也体现了君臣之间超