吕颐浩自江上还朝，谋划赶走秦桧，有人让他引用朱胜非为助。诏命朱胜非为同都督。给事中胡安国上书说朱胜非不可用，朱胜非就任醴泉观使兼侍读。胡安国请求离职，秦桧三次上章挽留他，没有答复。吕颐浩又以黄龟年为殿中侍御史，刘蓒为右司谏，是为了赶走秦桧。于是江跻、吴表臣、程王禹、张焘、胡世将、刘一止、林待聘、楼火召都被免职去管理宫观，台省一空，这些人都与秦桧同党。秦桧开始想排挤吕颐浩，于是召用一时名贤如胡安国、张焘、程王禹等布列清要。吕颐浩问席益去掉秦桧的办法，席益说：“把他们看作朋党。现在党魁胡安国是关键，应先除掉他。”因为胡安国曾问游酢谁是人才，游酢答以秦桧，并把他比荀文若。故胡安国极力说秦桧比张浚等人贤能，秦桧也极力推荐胡安国。此时，胡安国等离职，秦桧不久也罢相。秦桧再任宰相害国时，胡安国已死。黄龟年最初弹劾秦桧专主和议，破坏恢复，结党专权，阴险奸诈，不会长久，以至把秦桧比作王莽、董卓。八月，罢秦桧相位，任为观文殿学士，提举江州太平观。<ref>脱脱：《宋史》，中华书局，ISBN ：978-7-101-00323-9</ref>