太宗又召杜淹笑著問：“卿在隋朝，可以說官位小而不言；仕王世充，為何不極諫？”杜淹回答：“亦有諫，但王世充不從。”太宗說：“王世充若修德從善，當不滅亡；既然他無道拒諫，卿怎麼能免禍？”杜淹啞口無言。太宗又問：“卿在今日，為宰相之一，會陳辭極諫嗎？”杜淹回答：“臣在今日，必盡死無隱。當年，[[百里奚]]在[[虞國]]時，虞國亡；在[[秦國]]時，秦國霸，臣竊自比之。”太宗笑。當時，杜淹兼二職，而無清廉之譽，又素與[[長孫無忌]]關係不好，被當時輿論批評。有病的時候，太宗親自到他家慰問，賜帛三百匹。[[貞觀]]二年（628年）杜淹去世，贈[[尚書右僕射]]，[[諡號]]'''襄'''。子杜敬同襲爵，官至[[鴻臚少卿]]。杜敬同子杜從則，[[唐中宗]]時為[[蒲州]][[刺史]]。