嚴世蕃曾說：「嘗謂天下才、惟己與[[陸炳]]、[[杨博|楊博]]為三。」

一次，严嵩的义子赵文华从江南回来，送给严世蕃是一顶价值连城的金丝帐，还给严世蕃的二十七个姬妾每人一个珠宝髻。严世蕃卻还嫌礼物太少，心里非常不满，可见他的贪婪之慾。