李光被贬奉祠回乡后，住在新河。当时陆游的父亲陆宰建了个小亭子叫千岩亭，可以看见南山的全貌。他每次来就是一天，曾经作诗：家山好处难寻遍，日日当门只卧龙。欲尽南山岩壑胜，须来亭上少从容。每次说到当今的事情，经常愤怒叹气，把秦桧称为“咸阳”。一天，李光坐在亭子上，举酒杯嘱咐陆宰说：“我将要被贬官到远方去了。秦桧很忌讳我和赵元镇（赵鼎）。赵元镇已经走过高山，我怎么能逃过去呢！听说赵元镇在接到远征的命令后，哭泣流涕地告别子弟。我决不会这样的，到那时，青鞋布袜，即日起行。”过后十多天，真的有前往藤州的命令。陆宰送他到诸暨，回家后说：“泰发（李庄字）谈笑慷慨，像往常一样。当我问到其得罪的原因时，他说‘没有什么好问的，但秦桧终究会把国家葬送的！’”
李光有前后集三十卷（《宋史·艺文志》），已佚。《两宋名贤小集》卷一五八存《椒亭小集》一卷，清四库馆臣据《永乐大典》辑有《庄简集》十八卷。李光诗，以影印文渊阁《四库全书·庄筒集》为底本，参校清乾隆翰林院抄本（简称院本，藏北京图书馆）、《椒亭小集》（简称小集）等。新辑集外诗编为第八卷。清王鹏运《南宋四名臣词集》录李光《庄简词》一卷。《山阴天乐李氏家乘》称其曾著有《易传》十卷、《兵略》十卷、《文集》四十卷、《神仙传》十卷。
据传李光家藏有数万卷书籍，遗憾的是其子孙不守，都散于豪民之家。元朝孔克奇在《至正直记》里说：“予至上虞，闻庄简公光无书不读，蓄书数万卷。子孙不肖，且粗率鄙俗，不能保守，散于乡里之豪民家矣。读其家训，不觉为之痛心也。”
《云溪杂记》称：李庄简公光作诗极清绝可爱，予尝见其《越州双雁道中一绝》云：“晚潮落尽水涓涓，柳老秧齐过禁烟。十里人家鸡犬静，竹扉斜掩护蚕眠。”后在政府，与秦桧议不合，为中司所击，命下送藤州安置，差密院使臣伴送，公戏赠之云：“日日孤村对落晖，瘴烟深处忍分离。追攀重见蔡明远，赎罪难逢郭子仪。南渡每忧鸢共堕，北辕应许雁相随。马蹄惯踏关山路，他日重来又送谁？”亦婉而有深意。
宋神宗元丰元年十一月初十日（1078年12月16日）丑时，李光出身 。李光童年时不做恶作剧，其父李高称赞他说：“我的儿子是云间之鹤，将要使我家业兴旺。”李高去世后，李光居丧尽礼如同成人，有人送来财物，他都谢绝了。到下葬时，礼节非常合乎礼法。守丧期满后，入太学，于宋徽宗崇宁五年（1106年）考中进士。调任开化县令，任内有政声，朝廷召他到都堂审察，当时宰相不喜欢他，任命他为监当官，改知平江府常熟县。徽宗宠臣朱勔的父亲朱冲倚势横暴，李光囚绑其家僮治罪。朱冲大怒，讽劝部使者改调他到吴江，李光不为屈服。改任京东西学事司管勾文字。
刘安世住在南京（应天府），李光执学生礼前往拜见。刘安世告诉他在司马光那里听到的一句话：“学问应当从无妄中入门。”李光欣然领会。授任太常博士，升为司封。首先指责士大夫阿谀奸佞成风，甚至援引荀卿‘有听从，无谏诤’的话，来堵塞言路；又认为怨嗟之气，聚结为妖气。王黼厌恶他，令吏部任他为桂州阳朔知县。刘安世听说李光因为议论政事被贬，写信称赞他。当时李纲也因评论水灾一事离开朝廷，住在义兴，他在水驿等候李光，亲自出来喊道：“不是赵州李司封的船吗？”逗留几天，二人定交而别。后授任司勋员外郎，升任符宝郎。
郭药师叛乱，李光知道徽宗有内禅之意，便交出符玺，对知枢密院蔡攸说：“陛下所为，都违背众心。今日之事，没有皇太子就会国、家俱危。”蔡攸很畏惧，不敢有异举。宋钦宗受禅即位后，提升李光为右司谏。钦宗到东方，小人离间两宫关系，李光请求商议奉迎典礼。又奏称：“东南财用，被朱勔耗尽了；西北财用，被李彦耗困了；天下根本之财，被蔡京、王黼耗竭了。借名应奉，其实到了私家，官府没有半年的储蓄，百姓没有十天的积粮。请求根据旧制，三省、枢密院通知军民财计，与户部计算一年的收支，控制国家费用，选择官吏考核，使财源归一。”
金人围攻太原，援兵没有立功。李光说：“三镇之地，祖宗百战才得到它，一旦送与敌人，怎么立国？希望诏令大臣商议攻守之策，仍暗中派人檄令河东、河北两地，征发全部强壮兵丁策应，首尾掩击敌人。”升任侍御史。当时舆论主张实行王安石之政，诏令张榜于庙堂。李光上疏反对。
蔡攸打算趁保卫太上皇行宫入都，李光说：“蔡攸如果入朝，则百姓必定导致变乱，万一惊犯陛下车驾，臣会犯不预言之罪。希望早些贬斥他。”当时已修治撷景园为宁德宫，而太上皇后想到禁中居住。李光说：“禁中，是天子的宫殿，正应使陛下寒暖方便，奉迎太上皇后入宫，也应当禀太上皇，交有关部门讨论典礼。”便把李光的奏章，交付有关部门，让两宫大臣奏知，太上皇后便住在宁德宫。
金兵逼近京城，士大夫弃职而逃的有五十二人，罪过相同而惩罚相异，舆论纷然，李光请求交付大理寺公正处理。太原被围，事态危急，李光上言说：“请就地委任折彦质征发全部晋、绛、慈、隰、泽、潞、威、胜、汾八州民及本路各县弓箭手，使守令各自统率。如果有土豪、士人愿意当首令的，给予他们初官、应副器甲，协力赴援。女真族劫持亲王，以三镇为借口，势必深入，请大修京城守御装备，以击碎敌人的阴谋。”
又上言说：“朱勔托口应奉胁制州县，田园第宅，富比王室。请求选择清廉强干官员设立机关，追究朱勔父子及奉承监司、守令，如胡直孺、卢宗原、陆蜫、王仲闵、赵霖、宋晦等人，查根究底，计资没收，把他们强夺的百姓财产还给百姓。”
李会、李擢被召回任谏官。李光上言说：“蔡京再度执政时，李会、李擢相继为谏官，对政事不发一言；金人围城时，与白时中、李邦彦专倡避敌割地之谋。白时中、李邦彦因此罪罢职，而李会、李擢反被召用，又加入谏诤职务之列。请求撤回成命。”钦宗不予答复。李光请求调任到地方，钦宗也不答复。
彗星出现在寅、艮间，耿南仲等人都认为感应在外夷，不足忧。李光奏称：“孔子做《春秋》，不记载祥瑞，是想使人君常怀恐惧从而修省政事，没有听说过把灾异归于外夷。”表疏上奏后，被贬任监汀州酒税。
宋高宗即位后，提升李光为秘书少监，授任江州知州；不久，升任侍御史，都因为道路梗阻不赴任。
建炎三年（1129年），高宗从临安到建康，授任他为宣州知州。当时范琼将率军经过，李光先入州处理政事，范琼到了就开城门慰劳，留住三天后离去，无人敢喧哗。李光认为宣州离行都较近，于是修理城池，积聚军粮，把地方百姓编册，按保伍分编，称为义社。选择其中健壮者，以土豪为统率，得到保甲一万多人，号称“精拣军”。又在二十三处险要之地设立兵营谨慎戍守，把全城分为十处地方，分别巡逻内外，白天自由行动，晚上守城，有敌情就参战。苗租按年交县的，都送到州里。当初人们纷纷指责不方便，到守城时，赡养军民，终于得以成功。政事传到朝廷，被任命为管内安抚，允许他见机行事，晋升为直龙图阁学士。
杜充以建康降敌，金兵夺取马家渡。御营统制王〈王燮〉、王珉历来不和，到这时，率领溃兵在城外扎营互斗。李光亲自到二人兵营，劝说他们先国家后私仇之义，二人都感悟而解。当时逃将、散卒到宣州的，李光都送给很多财物。有水师在繁昌叛乱，逼近宣州境内，李光立即派兵歼击，出敌不意，敌人于是连夜逃走。升任右文殿修撰。李光上言说：“金人虽然深入江、浙，但是违背天时地利，臣已送文书让刘光世率领大军到宣州，合力攻讨金兵。请迅速委托宣抚使周望，约定日期水陆并进。”
溃将邵青从真州率数百艘舰船，在当涂、芜湖两县之间剽掠，李光招抚劝说他，送给他二千斛大米。邵青非常高兴，对使者说：“我们是官军，所经之地都把我们当盗贼对待，只有李光不怀疑我。”于是秋毫无犯。后来，船队经过繁昌，有人骗他说：“这是宣州境内。”于是沿北岸离去。
巨盗戚方攻破宁国县，抵达城下，分兵四面围攻；李光招募勇敢之士抵御，贼兵惊忧，以致自相残杀。朝廷派统制官巨师古、刘晏兼程来援。敌人急攻朝京门，把竹木编起来当浮桥渡过护城河。不久，敌军爬上城墙，把大炮架在石对楼上。李光下令把竹子编成帘状迎着炮弹，炮弹打来就反附地下，不能伤人。取巨木做撞竿，靠凸凹的小墙抵御对楼，敌人退走。刘晏率领赤心队直捣敌营。敌人假装败退，刘晏追击他们，中了埋伏遇害。师古率领中军大败敌人，敌人逃走。当初，戚方围攻宣州，与他的副职并马巡城，商量攻城计划。李光把信绑在箭上射到他的副职的马前，说：“戚方是穷途末路之寇，上天必然诛杀他，你是将门之子，哪里能依附盗贼？”二人互相怀疑，攻势稍缓，才得到时间作战斗准备，而援军到了。他曾经把匕首放在枕匣中，与家人约道：“城不一定能保住，如果让人来取匕首，我一定会死。你们应自杀，不要落到盗贼手中。”授任他为徽猷阁待制、临安知府。
绍兴元年（1131年）正月，被授任为洪州知州，他坚决谢绝，任提举临安府洞霄宫。授任婺州知州，刚到任，提升为吏部侍郎。李光上疏极力指责朋党的危害：“议谏大臣，各人怀有避讳顾虑之意，不肯把持危抉颠作为己任。行都在会稽，前后历时三载。从前一年到现在，敌人不再有南渡意向，淮甸近在咫尺，一点也不着意经营，长江千里，不设防备敌，每天怀着怯意细考乘船浮海之计。晋元帝区区草创，还能建立国家，修建宫殿，保有江、浙。刘琨、祖逖与逆胡在并、冀、兖、司、雍诸州抵抗作战，这些地方从未陷没。石季龙重兵已到历阳，晋元帝任命王导都督中外诸军以抗御敌人，没有听过专门躲避胡狄像今天这样的。陛下驾临会稽，江、浙是天下之根本，能够进足以战，退足以守的地方，莫如建康。建康到姑熟一百八十里，其间险要可守之地有六处：江宁镇、碙砂夹、采石、大信，上游则有芜湖、繁昌，都与淮南对境。其余都是芦条枝蔓之地，或是奇岸险滩水势湍急，难于行走舟船。不如预先在各险要之地屯兵积粮，命令将士分管各地，调发邻近乡兵，协力守御。请求明诏命令大臣，斟酌实行。”
当时有诏令，金兵攻入，各地守臣互相商量，可守可避，得以自便。李光上言：“守臣担负人民、国家的重任，应当责之以存亡。如果预先开启迁避之门，是引诱他们逃跑，希望追回前命。”高宗打算迁到临安，李光受旨节制临安府现时驻扎诸军，兼任户部侍郎，督营缮后之事。李光处理军政适宜，不惊扰百姓而办好了政事。奏请减免两浙历年积欠及九县赋敛，以表示施德自近之意。戚方以管军隶属于李光节制，非常恐惧，跪拜在庭下。李光握着他的手扶起他，说：“你过去做盗贼，我任郡守，抓捕你是我份内的事；现在都是臣子，应当共同勉励忠义，不要以先前的事猜疑。”戚方感激得哭泣起来。又兼任侍读，于是上言说：“金人侵犯内地，百姓失业为强盗，本非其意，可以用诚意感召他们。自从李成逃到北方，群盗离心，如果此时选用一两个盗贼首领，以激励他们，一定会互相钦慕，相继归降。”升任吏部尚书。
大将韩世清本是苗傅余党，长期驻扎宣城，擅自占据仓库，不听征调。李光请求先行除掉他，于是任命李光为淮西招抚使。李光假道到宣城，韩世清前来相见，李光把他捆送到朝廷受诛。当初，李光在高宗面前陈述计划，宰相没有事先知道，怀怒于他。他还未到任，途中任命他为端明殿学士、江东安抚大使、建安知府，寿春、滁、濠、庐、和、无为宣抚使。当时太平州士卒陆德囚禁当地守臣据城叛乱，李光多方设计，全部捉获叛贼。
秦桧被罢相后，吕颐浩、朱胜非共同任宰相，李光历来与他们政见不合。谏官指斥他为秦桧同党，被夺职奉祠。不久复任宝文阁待制、湖州知州，授任显谟阁直学士，改任平州知州，授任礼部尚书。李光上言说：“自古创业中兴，一定有所依恃而起。汉高祖依恃关中，汉光武帝依恃河内，陛下驻扎东南，两浙难道不是天下的根本，是可倚恃之地吗？从冬天到春天，雨雪不停，百姓失业，请求选择谏官考察实情予以报告。加之连年福建、湖南盗贼作乱，范汝为、杨么相继而起，朝廷派大军诛讨，杀戮过当。现在各地旱荒，流丐满路，盗贼出入。应选择良吏招怀抚纳，责令各地监司惩治贪赃，抚恤饥民。”
大臣建议把四川交子法推广到江、浙，李光说：“有钱则交子可行。现在已经声称筹办多少钱，发行多少交子，提出此议的人打算让朝廷欺骗陛下，使陛下今后不免欺骗百姓。如果已经筹办现钱，则目前所发行的钱关子，已是流畅无阻，何至议论纷纷？工部所铸造的交子务铜印，我不敢下发。”授任端明殿学士，守台州，不久改任温州知州。
刘光世、张俊接连传来捷报。李光说：“观察金人部署，一定有阴谋。现在我方已占据东南形势，敌人万里来袭，利于速战，应当戒令诸将持重而拖延消耗敌人。不过数月，敌人粮食耗尽，则胜券操在我方手里。”授任江西安抚、洪州知州兼制置大使，升任吏部尚书；过了一月，授任参知政事。
当时秦桧开始倡议和议，准备张榜告示，打算借李光的名望来压制民心。高宗本意不想用李光，秦桧说：“李光有名望，如果一起签名，浮议会自动停息。”便用了李光。同郡人杨炜上书李光，指责他借依附权相谋取高官，中了敌人奸议，毁掉了平日的气节。李光本意认为只是趁和议之机作自治的打算。后来秦桧建议撤掉河南守备，夺去诸将兵权，李光极力陈述戎狄狼子野心，和谈不可依恃，守备不可撤除。秦桧憎恶他。秦桧任命亲党郑亿年为资政殿学士，李光在高宗面前当面反对；又与秦桧在高宗面前辩论，便说：“看秦桧的心意，是想堵塞蒙蔽陛下的耳目，盗弄国权，怀奸误国，不可不察。”秦桧大怒。第二天，李光请求罢职。高宗说：“你昨天当面斥责秦桧，举动像古人。朕退朝后叹息，正要寄心腹于你，为什么要辞职呢？”李光说：“臣与宰相争论，不可留任。”九次上章请求，便被授任为资政殿学士、绍兴知府，改任提举临安洞霄宫。
绍兴十一年（1141年）冬，御史中丞万俟卨指责李光阴怀怨恨，贬职为建宁军节度副使，安置在藤州。
绍兴十五年（1145年），移置琼州。
绍兴二十三年（1153年），李光在琼州八年，次子李孟坚因被陆升之诬为私撰国史，被立案；吕愿中又告李光与胡铨诗赋唱和，讥谤朝政，移置昌化军。他议论文章考证历史，怡然自得。年过八十，笔力精健。
绍兴二十八年（1158年），因郊祭之恩，复左朝奉大夫，任其自便居住。
绍兴二十九年（1159年），致仕，于四月三日（4月22日）在江州去世，年八十二。
宋孝宗即位后，追赠李光为资政殿学士，赐谥号为“庄简”。
嘉定十五年（1222年），郡邑立李光祠于学，以配先贤，四季祭享。