轉眼到了[[唐穆宗]]長慶元年(公元821年)，李德裕任翰林學士，李宗閔任中書舍人，這年的科舉考試又出了問題。當時的主考官是[[錢徽]]和[[楊汝士]]，放榜以前，[[李紳]]和[[段文昌]]去給主考官錢徽打了個招呼，希望他能給他們的親戚高抬貴手。結果出來以後．李、段二人推薦的人卻名落孫山。這下他們大為不滿，所謂求人不行，反咬一口，段文昌便向穆宗告狀，說錢徽主持考試有嚴重的舞弊行為，得選為進士的都是不學無術而靠關係、門路人選的。穆宗便為此事徵求李德裕的意見，李德裕當然站在同為翰林學士的李紳這邊，支持了段文昌的上訴，於是穆宗決定複試。複試的結果更是有趣，錢徽雖然沒有選上李、段所託之人，但他選的也不合格，有一半的進士(約10餘人)被淘汰了。這下穆宗大怒，對這次參與科舉考試有關的人員嚴加懲處，錢徽被貶為江州(今江西九江)刺史，李宗閔被貶為劍州(今四川劍閣)刺史。從此以後，李德裕和李宗閔、牛僧孺等人結下了很深的積怨，連皇帝都化解不開，他們便各分朋黨，互相傾軋，反反覆復鬥爭了近四十年，史家便稱之為「牛李黨爭」。<ref name="牛李党争">{{cite web |url=https://kknews.cc/history/9xqaol5.html | title= 唐朝中期腹有良策的宰相李德裕生平概述 | language=zh | date=2018-01-15 | publisher=每日頭條 | author= | accessdate=2019-02-06}}</ref>

牛党人物[[李逢吉]]、[[牛僧孺]]、[[李宗閔]]等當權，以銜恨其父吉甫，屢次擯斥德裕出外。[[唐敬宗]]朝，為[[李逢吉]]排擠，在[[浙西]][[觀察使]]任上八年。所至革弊風、除淫祠、清寇盜，“人樂其政，優詔嘉之”<ref name=jiu>《[[舊唐書]]》李德裕傳</ref>。時皇帝荒淫，德裕每上章言事，進忠讜言。