后因母死，回乡守灵3年。复起后，以兵部尚书兼右都御史，巡视北部边防，诸边文武将吏皆受其节制，且赍50万两白银犒边。回京后以原官入阁。嘉靖二十一年（1542年），大学士夏言罢职，他继任内阁首辅，而实权远处于严嵩之下。受严嵩暗算，罢职为民，初居政府，颇为廉洁；后以诸边文武所遗，贿赂宦官，声誉顿衰。后死于家，明穆宗时复其职，谥号“文懿”。