但自2006年下旬，杜汶澤被傳因口不擇言開罪無數演藝圈的藝人（吳君如，曾志偉，劉德華，容祖兒）、電影導演（杜琪峰）、商業電台副主席（[[俞琤]]）與寰亞電影公司的老闆（[[林建岳]]）而引致事業開始走下坡，相繼被[[商業電台]]解僱并失去廣告代言人資格。至2007年底，更有雜誌指杜汶澤被業主[[劉德華]]下令收回租住豪宅的業權，被迫遷出布力架街豪宅。後來杜汶澤出席劉德華的演唱會做嘉賓，在舞臺上表示與劉德華沒有不和。歷經事業低潮的杜汶澤其後篤信[[佛教]]，並戒酒戒煙及食素，一改過去口不擇言的態度。