張俊雄也歷任民進黨中常委、秘書長。2000年，[[陳水扁]]參選[[中華民國總統|總統]]時，張俊雄出面為選舉操盤；陳水扁當選總統後，張俊雄出任[[中華民國總統府秘書長]]，[[八掌溪事件]]後轉任[[行政院]]副院長。2000年10月，張俊雄接替[[唐飛]]出任行政院長，成為第一位民進黨籍的行政院長。張俊雄任內，宣佈停建[[核四]]一事引發[[立法院]]的強烈反彈；2002年1月，張俊雄在立法院改選後辭去行政院長一職，行政院長改由[[游錫堃]]接任。同年，原任[[考試院]]院長[[許水德]]任期屆滿。陳水扁原想提名他出任考試院長，但他的「雙人枕頭」問題在這段期間再度被激化，他與妻子徐瑞英離婚，但即同情妇朱阿英結婚。以免被招人話柄，在民進黨秘書長非專職化改革失敗後，兼任黨主席的陳水扁任命他出任[[民進黨秘書長]]。
張俊雄的「雙人枕頭」被抨為“現代陳世美”在一九九四年的高雄市長選戰中率先發酵，對手吳敦義猛烈攻擊，朱阿英的「剪髮事件」更流失不少婦女選票。但其實，對高雄人來說，張俊雄的「雙人枕頭」也真的沒什麼新鮮，因為張俊雄三十多年前的「年少輕狂」，的確是樁「陳年韻事」，張俊雄不喝酒、也不抽菸，沒什麼特殊嗜好，在反對陣營中保持紳士形象，從政以來，張俊雄有兩個老婆也一直是眾所皆知的事。
張俊雄離婚的行為在台灣社會引起非議，親民黨籍高雄市議員楊色玉率婦女團體的二十多位代表在市議會召開記者會，譴責張俊雄為求出任“考試院長”而拋棄糟糠之妻，對社會提倡的兩性平等主義做了最壞示範。婦女們高喊著“女人不是男人政治遊戲的犧牲者”、“我們不要踩著女人往上爬的‘考試院長’”等抗議口號，譴責張俊雄拋棄結婚三十餘年的元配徐瑞英。 對於張俊雄離婚又再婚的問題，各政黨女性“立委”看法不一。民進黨“立委”唐碧娥表示，早作了斷也許是比較負責任的作法，親民黨“立院黨團總召”李慶安也持較正面態度，她認為這是“遲來的正確選擇”。國民黨“立委”黃昭順則批評張俊雄，為了爭取“考試院長”拋棄糟糠妻，實在是無情無義。 張俊雄婚變在台灣政壇引起不少議論。國民黨表示，明確反對張俊雄出任“考試院長”。林豐正說，張俊雄是為了要當“考試院長”才休掉元配，這樣很不好，不符合民眾期望，如果張俊雄要給大家好印象，應該是把元配留下來，所謂糟糠之妻不可棄，小孩子都能朗朗上口，這樣的做法和全民期待是有差距的。 近幾天，臺“總統府”接到許多罵張俊雄的電話，接都接不完。許多電話打進“總統府”措辭都極不客氣，許多女性都罵張俊雄是“現代陳世美”，還有人建議張俊雄“告老還鄉享受美人”，就連很多男性“立委”都不對其抱同情心，在私下裏說，“他完蛋了”。
<ref> http://big5.huaxia.com/2003627/00018884.html</ref>
2004年，陳水扁連任總統後，[[泛綠陣營]]氣勢大振。他被提名為不分區立法委員，當時陳水扁打算在年底立委選舉綠軍過半後由他出馬參選立法院長，亦有傳言說他會被提名為監察院長。結果，泛綠陣營未能取得過半席位，他辭去了民進黨秘書長職位，在民[[親民黨|親]]合作破局後，他宣布不參選立法院正副院長。2005年，[[海峽交流基金會]]董事長[[辜振甫]]逝世後，張俊雄接任董事長一職。