潘德舆从教近40年，课生之余，潜心力学，著作等身，有《养一斋集》传世，未刊刻的大量手稿已散失难觅，尚有少数珍藏淮人手中，视如珍宝。《养一斋集》共十六本，包括诗十卷，文十四卷，《念石子》一卷，《丧礼正俗文》一卷，《诗话》十三卷，《词集》三卷，《札记》九卷。又《示儿长语》一卷，《金壶浪墨》一卷。
潘德舆一生清贫，无力刊印自己的著作，《集》中最早问世的是《养一斋诗话》(以下称《诗话》)，由友人徐宝善予道光十六年(1836年)刊行，其余著作都为逝世后，由友人、学生醵资刊刻。现就《诗话》对潘德舆的诗歌理论作一简要评述。
《诗话》共十卷，另附《李杜诗话》三卷，前有钟仰山、徐宝善写的《序》。
《诗话》阐发了自《诗经》至清诗发展的源流，品评历代诗人的艺术成就、诗歌主张以及各家的得失，内容十分广泛。
《诗话》的基本思想是继承传统的“温柔敦厚”的诗教原则，强调文学作品的教化作用，要求诗歌内容“纯正”“无邪”，批评了纯“性情”观点，反对诗人把诗歌创作作为抒发个人性情，“最高不过成为嘲风雪、弄花草”的工具。在艺术上提倡由充实内容体现出来的真实美和自然美，提倡“诗贵质实”、“深厚”，反对刻意的雕琢求工。至于“诗教”不主张赤裸裸的说教，而主张“理不必入诗中，诗境不可以出理外”，重视诗的“神理意境”，即诗歌的“教化”，需在潜移默化中进行。潘德舆的诗歌理论代表了当时进步知识分子对于诗歌创作的主张和心声。
《诗话》辑成后，潘携手稿至京都，在朋好中，广为传播，在诗坛引起了强烈震动。徐宝善云：“是书非潘子一人之言，天下之公言也。天下之公言，必公之于天下，爰刊而布之。……是故人心正而诗教昌，诗教昌而世运泰，浮嚣怪僻纤淫之诗作，而人心世运且受其敝，今潘子之书必求合于温柔敦厚，兴观群怨之旨，是古今运会之所系，人人之心所迫欲言者，特假潘子之手以书之云尔。”(《诗话·序》)可见《诗话》是潘德舆力图变革诗风，进而“正人心”，改变社会风气，使诗歌为政教服务的一部力作。
其次，《诗话》强调了诗人性情、学问、修养对诗歌的作用，提出学诗的工夫主要不在诗中而在诗外。他认为陆游示子语：“汝果欲学诗，功夫在诗外”，是“至哉言乎，可以扫尽一切诗话矣”。强调诗人性情与学问的结合，二者“必当和为一味”。
乾隆年问，袁枚大倡诗歌“性灵说”，并为“艳诗宫体”张目，潘德舆对袁氏诗论提出尖锐的批评：“吾所谓性情者，于三百篇取一言，日‘柔惠且直而已”’。“直”就是不畏强御，“柔惠”即体恤贫弱，“穷年忧黎元，以息肠内热”。诗歌应抒发于国家、黎民哀乐之情思，这在当时有明显的进步意义。
《诗话》在分析历代诗人艺术成就和缺憾时，有很多独到、精辟的见解。潘德舆少年时学汉魏、杜甫诗，近二十岁时爱上王士祯的作品，后又转学韩愈、苏轼，参以温庭筠、李白、李贺，重气势，尚词采，到成年后转而崇尚陶渊明，四十岁时，复以杜甫为宗。
他学诗数十年，打下了深厚的文学基础，使他的眼光特别敏锐，能发现别人注意不到的问题。如王昌龄著名的边塞诗《从军行》：“大漠风尘日色黄，红旗半掩出辕门，前军夜战洮河北，已报生擒吐谷浑。”一般人赞其诗雄健、壮烈，同时反映了“死是征人死，功是将军功”的事实。而潘氏通过诗中“日色黄”、“半掩”、“夜战”、“生擒”等措词分析，认为此诗“盖讥主将于日昏之时，始出辕门，而前锋已夜战而擒大敌也。”诗的立意在于讽刺那些只发号施令，懒于战斗，又贪天之功的“主将”。从这里可以看出潘德舆的观察力和读书体会入微的特点。
诗话是我国古代文学批评理论的一种重要形式，正式出现在宋代，明清有了很大发展，数量之多，难以确计。仅清代潘氏以前王夫之、王士祯、沈德潜、薛雪、袁枚、翁方纲等均有诗话著作，潘氏的《诗话》在浩瀚的“诗话之林”中独树一帜，近代论诗者如刘熙载、梁启超、周实的诗学观点，都受到潘氏的影响。
现代学者郭绍虞将潘氏《诗话》收入《清诗话续编》，近年出版的《精选历代诗话评释》(中州古籍出版社)也节录了潘氏诗话的部分章节，可见潘氏的诗歌理论历来受到人们重视和关注。
潘德舆一生治学，他的学术、文学成就绝不仅仅在诗论方面，他在赋、古文、诗、词以至《红楼梦》研究均有很深的造诣，在经学、哲学研究方面亦堪称专家、学者。
乾隆五十年（1785年）生于江南省淮安府山阳县（今淮安市）车桥镇。先世居郡城，自先生始为车桥人。九世祖潘埙，明正德进士，官至右副都御史，河南巡抚。潘氏经明清之际的社会变革和动乱，家道中落，但仍然是书香世家。祖兆黉，父宗睿，均为庠生，毕生教读，穷愁一世。宗睿在经学、诗学均有较高的造诣。“经义词章，名噪一时，内行尤伟。”(曹镳《信今录》)著有《笥箫诗文集》。“……其为诗也气醇而色幽，味俊而质古。”(黄爵滋《笥箫诗集·序》)母卢氏亦知书，通诗文。
潘德舆“幼而聪慧，记诵如成人”，六岁入家塾，八岁正式从邑庠生张篱东(名今彭)受业，九岁即能诗，所作《老树》、《梨花》二诗，颇为父辈赏识。性至孝，十一岁时，母卢氏去世，他日夜思念，“哭不绝声”，其后父又“患咯血”症，病卧床榻，延医熬药，饮食汤水，均由其操持。
嘉庆五年(1800年)，潘德舆年十六，入县学，为秀才。学使钱樾“取古学第一”，知府宫懋弼称其“海内奇才”。是年秋，应“戊申乡闱，房荐不售”。十一年(1806年)岁科试第一，为廪生，“食米廪”。其后“屡困州举”，除开科之年，赴金陵(今南京)应试外，均在乡里授徒，著书立说。先后就馆于沙家庄马氏，城内丁氏、王氏，河下阎氏、梁氏，车桥鲍氏、邵氏，从学者甚众。后成为著名学者、古文家、经学家、诗人的丁晏、鲁一同曾师事于潘，孔继鑅、吴昆田等则出之门下。“初仪征阮元为漕运总督，招先生，力辞不往”。后大吏朱桂桢、周天爵等“于先生皆愿纳交”。潘亦谢不见。
道光三年(1823年)，潘德舆于车桥邵氏宅外建书屋三间，使命名为“养一斋”，书联云：“教悌崇廉耻；博洽精文章”以自勉，表达其立身处世、淡泊宁静的志趣和嗜学不倦的毅力。从此，“养一先生”闻名于世。
道光八年(1828年)“钟昌(仰山)、黄爵滋(树斋)主江南试”，潘德舆再次应考，揭榜为解元(第一名举人)，“士论翕然，谓得一知名士”。好友邱广业贺诗云：“天上光芒耿璧星，寒窗辛苦卅年经，文章有价关风会，乡里从今识典型。”此时潘已四十四岁了。
自第二年春始，潘德舆又先后6次参加会试，未能考取进士。道光十年（1830年）春应座师钟仰山之聘，赴京馆于钟氏家塾，教其子宗贻、宗佑近二年。辞馆时，钟一再挽留，潘执意归里。在京期间结识文坛名流张际亮(亨甫)、姚莹等，张际亮是著名“狂士”、林则徐的好友，姚莹写的文章颇具爱国思想，这批具有改革思想的知识分子，在应顺天乡试、会试聚会到一起，“议论追逐，以求文章之真，亦阴以觇气运之赢缩衰长，而庶几波流之一返也”。
潘德舆“每当酒酣耳热，慷慨论天下大事，辄拊膺流涕。”他历来主张“学以克己为要”，“经世致用”。在当时吏治败坏，士风堕落的情况下，他提出读书人作文章应以“挽回世运”为宗旨，以为“天下之大病不外一‘吏‘字，尤不外一‘例’字，而实不外一‘利’字。”即天下的祸害在于官吏，当时官多，胥吏坑害百姓，尤其在为官者墨守成例，不思改革，不思进取，其实质在于官吏追逐金钱，贪赃枉法。此语可谓切中时弊，体现了其励精图治的政治抱负。
道光十五年(1835年)，潘德舆中举后将近8年，在京“大挑一等”，分发安徽候补知县，他虽认为“当知县可以救世，不可不为。”(《家书》)然由“候补”为“实授”，又谈何容易。他终于“以科目资浅截留”未赴任。不久即去阜宁任观海书院讲席，又馆于仪征、扬州姚莹家塾，继续其教读生涯。
道光十九年(1839年)潘德舆病逝于车桥，年仅五十五岁。20年后，淮安学界举行隆重典礼，迎潘氏“神位”入府学乡贤祠。