杜淹曾举荐刑部员外郎郅怀道，并道：“怀道在隋朝担任吏部主事时便有清慎之名。当时炀帝下江都，百官都随声附和，唯独怀道反对。”唐太宗问道：“那你当时的意见呢？”杜淹答道：“我同意去。”太宗道：“对待君主应直言正谏，虽有冒犯也在所不顾。你既然认为郅怀道的意见正确，为什么反而不劝谏呢？”杜淹道：“我官职卑微，而且就算进谏皇帝也不会采纳，白白送死于事无补。”太宗道：“如果认为君主无道，为何还是要在他的朝廷做官？既然做官，又怎能不匡正他的过失？”
太宗又笑问杜淹：“你在隋朝的时候，可以因为人微言轻不去进谏。那你后来在王世充的朝廷做官，为什么仍不劝谏？”杜淹道：“我劝谏过，他不肯采纳。”太宗道：“王世充如果修德从善，应当不会灭亡；他既然无道拒谏，你又怎能免祸？”杜淹无言以对。
太宗再问：“你现在是宰相，还能极力劝谏吗？”杜淹道：“臣一定不会隐瞒自己的观点，必极力劝谏。春秋时期，百里奚在虞国为官，虞国灭亡，后在秦国为官，却辅佐秦国称霸天下。臣一直以百里奚自比。”太宗大笑。
早年经历
杜淹年轻时聪慧明辨，学识广博，颇有美誉，与同乡韦福嗣是莫逆之交。他对韦福嗣道：“皇帝喜欢任用隐士，苏威便是在隐居是被征辟为美职。”因此一同隐居在太白山，其实是在沽名钓誉。隋文帝听闻，极为憎恶，将二人流放江南。后来，杜淹返回乡里，得到雍州司马高孝基的举荐，授为承奉郎，累迁至御史中丞。
归附唐朝
武德二年（619年），杜淹成为王世充的太尉府官属。四月，王世充建立郑国，任命杜淹为吏部尚书，对他非常信任。当时，杜淹因与侄子杜如晦不睦，便在王世充面前进谗，致使杜如晦的兄长杜某（名不详）被杀。杜如晦的弟弟杜楚客在郑国为官，也遭到囚禁。
武德四年（621年），秦王李世民平定王世充，杜淹作为郑国高官，被定为死罪。杜如晦以德报怨，向李世民求情，杜淹得以免死。后来，杜淹因久不升职，欲投靠太子李建成，被封德彝告知房玄龄。房玄龄知道杜淹擅长阴谋，害怕李建成得到他会对李世民不利，便举荐杜淹为天策府兵曹参军、文学馆学士。
武德七年（624年），庆州刺史杨文干起兵叛乱，李建成与李世民的矛盾加剧。唐高祖认为杜淹未能劝导李世民，致使其兄弟失和，将他和东宫属官王珪、韦挺一同流放巂州（今四川西昌）。李世民知道杜淹无罪，只是受到牵累而已，赠他黄金三百两。
担任宰相
武德九年（626年），李世民继位，是为唐太宗。杜淹被召回朝中，授为御史大夫，封安吉郡公，食实封四百户。唐太宗知道杜淹熟知历代典制，让他主持东宫仪式簿领的裁订工作。
贞观元年（627年），杜淹被任命为吏部尚书，参议朝政，成为宰相。他前后举荐四十余人，后都成为知名官员。当时，杜淹身兼二职，却无清廉之誉，又和勋臣长孙无忌不和，因此受到舆论的非议。
病重去世
贞观二年（628年），杜淹患病，唐太宗亲自前去探望，并赏赐绢帛三百匹。同年十月，杜淹病逝，追赠尚书右仆射，谥号为襄。