蔡必胜曾祖蔡岳，祖父蔡钦事迹已不可考。父亲蔡蔚，曾被朝廷赠予武德郎。
蔡必胜自幼习文练武，人品学识俱佳。他中武状元后，被授予江东将军。按当时军队规定，所有将校参见主帅，都必须穿小袖衫拜于堂下，而蔡必胜却穿袍执笏揖于堂上，表现了不同凡人的个性。时任参知政事兼枢密使的虞允文很赏识蔡的才华，欲委任他做学官，却遭到推辞。在任上，蔡曾积极协助其他将领查禁私盐贩卖，朝廷要奖赏有功人员，他只字不提自己，将功劳全记在他人身上，为此受到同僚们的敬重。他很快被提拔为阖门舍人，其上司曾觌也想结交拉拢他，每次退朝时以目示意，但蔡素恶他心术不端，总是佯装不知，不予理睬。渐渐地，蔡必胜在朝中声名鹊起，连宋孝宗也亲自召见他，还夸他一表人材，前程无量，并命丞相周必大留他在京任职，不想也被他拒绝了，于是只好令他知澧州（今湖南澧县），不久又任邵州（同属湖南）知州。
蔡必胜居官清正廉明，他从未为自己沽名钓誉，敛财图富。他体察民情，为百姓兴利除弊。每到年终岁末，他必亲自到民间访贫问苦，用自己的俸禄接济贫民渡过难关。他重视教育，亲自到学宫督促学生，以仁、义、礼、智、信教导他们，使读书人在社会上受到尊敬。在邵州任期满时，朝廷要调他到光州（今河南潢州），邵州的官员和百姓闻知，纷纷上书朝廷，请求他连任。然而他尚未到达光州，孝宗又下旨，任命他为可带御器械的阖门舍人，成为皇帝身边最贴近的大臣。不久，他因父亲病故，回家奔丧，三年服丧毕，仍回朝复职。
淳熙十六年（1189），孝宗赵眘禅位，光宗赵惇即位。光宗妻李氏心术不正，离间孝宗父子关系，致使光宗不孝，父子疏远。孝宗病重之际，光宗也不去探视。绍熙五年（1194），孝宗病逝，光宗竟以生病为由，拒不行祭奠之礼。一时朝野上下人心惶惶，谣言四起。为了稳定局势，对天下有个说法交代，丞相留正去找宗室赵汝愚想法子，赵汝愚建议丞相请皇太后下懿旨，让光宗禅位，由嘉王赵扩代祭后登基。于是左司郎中徐谊等人商议请皇太后临朝，可丞相留正害怕担风险，悄然从殿庭之上溜走。徐谊无奈，只好向赵汝愚建议，由皇太后的亲戚、官居知阖门舍人的乾侂胄去对皇太后晓以大义，取得支持，而要请韩侂胄，可通过韩的邻居同事、至交好友蔡必胜。
且说蔡必胜惊闻孝宗驾崩，心中悲痛，不思饮食，在朝中混乱、人心思定时，他认为只有请示皇太后册立皇子嘉王赵扩代理丧事，方可安礼稷。当他知道赵汝愚等与自己不谋而合时十分高兴，立即去请韩侂胄劝说皇太后。皇太后终于下旨，但嘉王赵扩怕担不孝罪名，犹豫再三，在徐谊与赵汝愚的百般劝说下方勉强同意，而事到临头时又退避不就，无奈之际，韩侂胄与蔡必胜不顾个人安危，挺身而出，硬是为赵扩穿上龙袍，连扶带抱坐上龙椅，接受百官跪拜，是为宁宗。
宁宗登位后，韩侂胄恃功自傲，专权跋扈，而蔡必胜却受人忌妒，被韩贬谪池州（今属安徽）。在池州，他平反了一起冤案，抓住真凶，百姓拍手称快，对他心悦诚服。后来他知楚州（今江苏淮安），又收容了一伙恶少，并整顿风纪，除掉一名不听指挥、聚众图谋不轨的军士，解决了几任知州难以解决的宿患。后来蔡必胜又调任庐州（今属安徽）知州。庐州在宋金对峙时是个军事要镇，他到任后积极备战，不但修葺城池，疏浚河流，招募兵士，编练水军，还修复了巢湖孤姥山的城堡、粮仓，囤积粮草，以备急用。在庐州时，他还修复马亮、包拯之墓，并因墓作祠；对为国战死的赵立、魏胜等功臣，他拨出公田，为其建茔庙，让人们四时祭祀。
数年后，蔡必胜以侍奉老母为由，请求闲职，宁宗便诏令他为吉州（今江西吉安）刺史、提举崇道观。
嘉泰三年（1203），宁宗想重新委以重任，让他出知扬州（今江苏扬州），谁料诏令未下，他已病逝家中，享年64岁。
开禧元年（1205），蔡必胜移葬于浙江瑞安县灵峰寺后山，宋代名臣叶适为其撰写墓志铭。