帝果然后悔，想重新召回严嵩，在徐阶的力劝下，才打消了这个念头。
徐阶继任首辅之后，大力革除严嵩弊政，十分注重选拔，他先后举荐高拱、张居正等人进入内阁，他十分爱惜人才，大力营救因上疏指责皇帝过失而被定死罪的户部主事海瑞。他还十分勤政，凡是皇上交给的任务，即使一夜不睡，也要准时完成，因此他更得嘉靖的赏识。同时，他还经常劝说皇帝停止动辄捕杀边镇大臣的做法，缇骑因此省减，诏狱渐少，后来因为指挥明军抵挡蒙古骑兵南下有功，升为建极殿大学士。
嘉靖帝朱厚熜死后，徐阶起草遗诏，将大礼议中因反对嘉靖帝而获罪的大臣全部平反，存者招用，死者优恤，诏书颁布的那天，许多大臣感激涕零。徐阶执政期间，还减轻百姓负担，清理盐税。景王死后，他上奏将景王霸占的陂田数万顷给了百姓，使老百姓欢欣鼓舞、奔走相告，他还废除朝中的许多浪费项目，尤其是皇帝信奉道教的开支，他的做法，得到朝中上下的拥护，人们称他为“名相”。
由于穆宗行为荒诞不经，徐阶经常劝阻他，穆宗十分厌烦，徐阶很失望，于是上疏请求退休。正好给事中张齐因为私人恩怨弹劾他，于是穆宗乘机允许他退休回家，朝中百官纷纷上奏章请求留下徐阶，但是穆宗说什么也不同意。
徐阶退休回家后，自己的子弟横行乡里，大量购置田产，徐家占地多达二十四万亩，加上他的子弟、家奴为非作歹，致使告他的状纸堆积如山。应天巡抚海瑞、苏松兵宪蔡国熙秉公办案，惩治了他的家人，徐阶用三万两黄金贿赂给事戴凤翔，又通过张居正命令给事陈三谟，罢免了海瑞和蔡国熙。所以当时人称他：“家居之罢相，能逐朝廷之风宪”，有人因此把他称为“权奸”。徐阶80岁高龄时，皇帝专程派人前去慰问，并赐玺书、金币，第二年，徐阶病死，赠太师，谥文贞。