2001年劉炳偉競選立委連任又失利，自此劉家在政壇開始走下坡<ref>[http://www.nownews.com/2005/11/05/91-1865905.htm 政金兩衰板橋劉家式微 劉炳偉：我不是深喉嚨] 2005/11/05</ref>。
2003年前省議長賭輸3500萬，黑道追債 劉炳偉否認<ref>[https://tw.appledaily.com/headline/daily/20030614/108740/ 2003年前省議長賭輸3500萬] 2003/06/14</ref>。