相貌
关于刘大夏的相貌，通过弘治十六年（1503年）所绘的《甲申十同年图》中可知。当时刘大夏六十八岁，脸面略方而长，须发皆白，左手握带，右手按膝正坐。
藏匿史籍
明宪宗时，有太监劝宪宗效仿明成祖故事，重新下西洋。明代一些史籍，如万表《灼艾余集》、严从简《殊域周咨录》记载刘大夏藏匿郑和下西洋档案，而顾起元《客座赘语》则说刘大夏焚毁郑和下西洋档案。
收羡余钱
刘大夏担任广东布政使时，当地官府的钱库巧立一种叫“羡余”钱的名目，从来不记在帐上。以前担任布政使的都毫无顾忌地把这笔钱塞进自己的腰包，相互沿习，看作是无可非议的事。刘大夏刚上任时，打开府库清点，恰巧有他的前任没有拿完而剩下的一些“羡余”钱。管库的小吏便把这种成例向他报告，说这笔钱不必记入帐簿。刘大夏听后沉默了好一会，猛然大声喊道：“我刘大夏平时读书，有志于做好人，怎么遇上这件事，就沉思这么长时间？实在愧对古代贤人，算不得一个大丈夫了！”于是他命令管库小吏把这笔钱全数入帐，作为正式支销，自己分文不取。
初入仕途
刘大夏为天顺三年（1459年）乡试第一。天顺八年（1464年），考中进士，选为庶吉士。成化元年（1465年），翰林院拟请留职，他自己要求出任吏职，于是就任命他为兵部职方司主事，又调升职方司郎中。他通晓兵事，宫署里的积弊全都革除。刘大夏所奏复的大多很合皇帝的旨意，被兵部尚书当作左右手。汪直好邀边功，后黎朝圣宗黎灏被老挝打败，汪直想趁机攻取黎灏。他对宪宗说了，就索取明成祖时南征安南的文书。刘大夏藏着不给，并秘密地向兵部尚书余子俊说：“兵祸一开，西南立刻就糜烂（完了）。”余子俊醒悟，此事遂得停止。
被诬入狱
朝鲜李朝入贡，都是由鸦鹘关入明境，这时要求改从鸭绿江进入。尚书准备答应其请求，刘大夏说：“鸭绿江的通道，祖宗朝岂有不知的，而从鸦鹘关开道迂回几个大镇，这恐怕另有深意。不能批准。”此请未获朝廷同意。宦官阿九的哥哥任京卫经历，因犯罪被刘大夏处以笞刑。阿九怀恨在心，向宪宗进谗，使刘大夏被逮入诏狱，经东厂审讯，并未得出什么结果。经太监怀恩极力相救，刘大夏在被判杖二十后获释放。父亲去世后，刘大夏一宿就动身奔丧。
政绩卓著
弘治二年（1489年），刘大夏服丧期满，调升广东右布政使。田州、泗城不安定，刘大夏前往告诫，事情很顺利地解决了。后山贼起，刘大夏奉檄文讨伐。他令部下只许活捉，验明为贼才杀，有一半人获得生还。改为左布政使，调往浙江。
弘治六年（1493年）春，黄河在张秋堤防决口，皇帝下诏博选才臣前往治理。吏部尚书王恕等推荐刘大夏，提升刘大夏为右副都御史前往。到职后，在黄陵冈疏通贾鲁河，又疏通孙家渡和四府营上游，以分水势。从胙城经过东明、长垣到徐州修筑长堤，共三百六十里长。水灾得到根治，张秋镇改名为“安平镇”。孝宗嘉奖刘大夏，赐玺书褒奖他。召他为左副都御史，任职户部左侍郎。
弘治十年（1497年），刘大夏受命兼佥都御史，前往宣府处理兵饷。尚书周经对他说：“塞上有权势家族的子弟以买卖粮食谋取私利，你不要因刚直招祸。”刘大夏说：“处理天下事，以理不以势，待我到后解决。”当初，塞上必须粟千石方能买入、草万束才得收进。由此宦官、武臣得以操纵市场，获取厚利。刘大夏下令有粮草的，草百束、粟十石以上都准许买卖，权势之家想牟利也落了空。不到两个月府仓储积有余，边人蒙受其利。
弘治十一年（1498年）秋，刘大夏连上三疏称病辞官，归乡后在东山下筑草堂，在堂中读书，被时人称为“东山先生”。弘治十三年（1500年），廷臣纷纷举荐刘大夏，起任右都御史，统管两广军务。奉旨使者上门，刘大夏带二僮仆起程。两广人故来思念刘大夏，得知他即来任职都欢欣鼓舞。刘大夏到任后，清理吏治，减免官费供应，禁止镇守官私自役使军士，盗贼因此逐渐减少。
弘治十五年（1502年），刘大夏被任命为兵部尚书，他屡次推辞未获准，这才接受。不久，孝宗召见他，孝宗说：“朕数次任用你，你数次称病而去是为什么？”刘大夏磕头说：“臣年老又有病，看见国家民穷财尽，倘若有所不测，责任在兵部，自己估量力不从心，因此而辞。”孝宗听了沉默不语。南京、凤阳大风将树拔起，河南、湖广发生水灾，京师久雨成灾。刘大夏奏请凡属非祖宗留下的旧制而危害军民的，一一列举呈上革除。至弘治十七年（1504年）二月，刘大夏再次奏请。孝宗命有关部门呈报所应实行与该革除的事例，有关部门全都按实奏报，时逢廷臣奏陈十六件事，都是对权贵所不利的，因此权贵们极力阻止，孝宗拿不定主意，下廷议再讨论。刘大夏等说：“事属朝廷外官，全都批准。稍稍涉及权贵，又令讨论核实。臣等很愚蠢，不知为什么？”许久，才得旨：“将传奉官的姓名奏疏上报，幼匠、厨役月每减米三斗；增设宦官、司礼监核实奏告；四卫勇士，御马监将名册报来。其余全照前次所议办理。”织造、斋醮都停办，仅俸禄就节省很大数目，而勇士虚报冒领之弊也大为减少。皇帝的命令一下，举朝欢悦。先前，外戚、近幸都不是以功受爵，而是出于皇帝的私恩，孝宗深知这样于政有害，发奋振作朝纲。因灾异多次出现，又告谕群臣，令各陈朝政的过失。刘大夏又奏陈数事。
弘治十五年（1502年）六月，刘大夏第二次奏陈兵政的十害，并且要求辞官回乡。孝宗不答应，要他将各应该革除的弊端更详细地全部奏闻，于是，刘大夏举出南北军队陆路水路轮流值班运粮的劳苦，以及边军困倦疲惫、边将克扣的情况全都奏报。孝宗于是在便殿召见刘大夏，问道：“卿先前说天下民穷财尽。祖宗以来征收有常法，为什么现在这样？”刘大夏回答：“就是说没有按常法征取。如向广西每年取铎木，从广东取香、药，花费以万来计算，其他就可想而知了。”孝宗又问到军队，他回答：“与百姓一样穷。”孝宗说：“居有月粮，出有行粮，什么缘故会穷？”刘大夏答道：“其帅克扣超过一半，怎会不穷？”孝宗叹息道：“朕执政这久，还不知天下军民贫困，怎样做人君！”于是下诏严禁。当时，孝宗正锐意太平，而以刘健为首辅，马文升以师臣（少师兼太子太师，初任兵部尚书，后改吏部尚书）领导六部，史称“众正盈朝”。孝宗察知刘大夏正直严谨，并且办事熟练，尤其信任他。数次召见他判别事情，刘大夏也在各事上为孝宗尽力。
大同发生小的战事，孝宗听信宦官苗逵的话，准备出兵。内阁刘健等竭力劝阻，孝宗仍犹豫不决，召刘大夏问道：”卿在两广，知道苗逵捣毁延绥巢穴的功劳吗？”刘大夏答道：“臣听说，俘虏十几个妇女儿童而已，托朝廷威德，全师返回。不这样的话，后果就难说了。”孝宗沉默好久，问道：“太宗（明成祖朱棣）频频出塞，现在为什么不行？”刘大夏回答：“陛下的才干固然不比太宗差，而将领士马远不及太宗时期。像淇国公（丘福）稍许违背节制，将数十万兵众委之于沙漠，怎么能说是容易之事。臣揣度现在上策只有防守而已。”都御史戴珊也从旁边表示赞同，孝宗醒悟地说：“要不是你们劝说朕几乎误了大事。”于是果然没再出兵。
庄浪土著首领鲁麟任甘肃副将，求升大将不成，恃其部众强，擅自回到庄浪。廷臣担心其生变想授鲁麟大帅印，又想召他回京师，安置在不紧要的地方。刘大夏请求奖励其先世忠顺，而听任鲁麟闲居。鲁麟向来凶狠残暴失去众人之心，没有兵权无法有所作为，最后闷闷不乐而病死。
孝宗要在京城附近驻兵作为左右辅佐，刘大夏说：“保定设都司统率五卫，祖宗之意也是如此。请遣还操练军士，一万人作为西卫，将驻扎在密云、蓟州的军队作为东卫。”孝宗批准了。监督京营的宦官怨恨失去兵权，在宫门上贴小字报。孝宗以此给刘大夏看，并说：“宫门外人岂能进来，必定是某些不愿失去兵权的人所为。”由此，阴谋未得逞。
孝宗曾经对刘大夏说：“遇到事情总想召卿来商量，又担心超越卿职权范围而作罢。以后有事情的实行或罢止，卿用揭帖（文书）呈上来。”刘大夏磕头说：“对事情的决定，外边的交付政府部门，内部的向阁臣咨询就行了。揭帖易滋长弊病，不可作为后世效法。”孝宗称好。又曾问；“天下何时太平？”刘大夏答：“求治不能太性急，不过用人行政全都与大臣面议，恰当的再实行，时间长了天下自然太平。”刘大夏曾经趁机提到四方镇守宦官的危害。孝宗询问详情，刘大夏答道：“臣在两广见到诸文武官的供应比不上一个镇守，其耗费可知。”孝宗说：“祖宗设置这些已很久，怎能一下子革除。不过从现在开始必须像郑原、麦秀那样廉洁的才能任用，不然则罢免之。”刘大夏磕头称好。刘大夏每次被召见，跪在御床前，孝宗往左右一看，近侍都退避走了。刘大夏曾有时回答问题时间长了，疲惫得起不来，孝宗就喊司礼太监李荣扶他出去。一天早朝，刘大夏本该当班，孝宗碰巧没见到他，第二天告诫刘大夏说：“卿昨天未上朝吗？担心御史纠察，没有立即召见您。”其受孝宗宠爱如此深。特别赐他玉带、麒麟服，送金币、上等醇酒，岁时不断。
回归故里
孝宗去世后，武宗即位，刘大夏奉遗诏请求撤去非定额内的四方镇守宦官。武宗只撤去均州齐元。刘大夏又主张应撤去镇守宦官二十四人，又奏减皇城、京城守卫宦官，都未被接受。不久，刘大夏列举应当淘汰的传奉武臣六百八十三名，被批准。大汉将军薛福敬等四十八人也该削去官职，薛福敬等故意不入宫侍奉来激怒武宗。武宗立即命恢复薛等官职，而要求兵部回答详情，意欲加罪。宦官宁瑾磕头说：“这些是先帝遗命，陛下列入登基诏书，不宜问罪。”武宗才放弃追查此事。宦官韦兴在成化末年因有罪被长期罢官，这时靠巴结得以镇守均州。言官纷纷谏阻，刘大夏等再三争辩，武宗都不理。正德元年（1506年）春，刘大夏又奏道：“镇守宦官，如江西董让、蓟州刘琅、陕西刘云、山东朱云贪婪残暴尤其厉害，请求审查惩处。”武宗不高兴。刘大夏知道自己意见不被采纳，数次上奏章请求辞官。
同年五月，武宗下诏加封他太子太保，同意他返乡赐敕书、车马返回，按旧制供应粮食和役仆。给事中王翊、张襘请求留住刘大夏，吏部也要求留刘大夏，武宗不理。
安逝于家
刘大夏忠实诚恳，为孝宗所信任，忘我报国，对权贵近幸多行抑止。曾经要求严格考核勇士，为刘瑾所恨。刘宇也恨刘大夏，就与焦芳一起在刘瑾面前进谗言道：“抄刘大夏的家，可得边费的十分之二。”正德元年（1508年）九月，借田州岑猛的事，将他逮捕下到诏狱。刘瑾要以激变罪判大夏死刑，都御史屠滽不同意，刘瑾谩骂道：“即使不死，可以不去戍边吗？”李东阳从中调解，刘瑾探知刘大夏家贫穷，就判其到最偏僻的边境戍边。起初拟戍广西，焦芳说：“是送他回去吗？”于是改戍肃州。刘大夏已有七十三岁，穿着布衣徒步经过大明门磕头而去。观者都叹息流泪，父老百姓携筐送吃的，刘大夏所到之处，人们为之罢市、烧香祝刘尚书生还。等到了戍所，各部门怕得罪刘瑾，不送食品不来慰问，儒学生徒送吃食给他。一到操练，刘大夏总是扛戈站进队伍。主管人再三推辞，刘大夏说：“军人本来就该服役的。”他只带来一个仆人。有人问他为什么不带子孙，他说：“我为官时，不为子孙捞好处。现在年老被罚，怎忍心令他们同我一起死在戍所呢？”刘大夏已经遣去戍边，刘瑾还借其他事二次罚他送米塞上。
正德五年（1511年）夏，刘大夏被赦免返乡。刘瑾被诛杀，恢复他官职，后退休。清军御史王相请求恢复刘大夏月粮和年役，录用其子孙。主事的宦官始终恨他，不答应。刘大夏回家后，教子孙种田谋生。稍有盈余，就分送给故旧宗族。预先自作墓志铭，并说：“不要让人用饰美之词，让我怀愧于地下也。”
正德十一年（1516年）五月，刘大夏去世，享年八十一岁。追赠太保，谥号“忠宣”。