李孝伯，赵郡人，高平公李顺堂父的弟弟。父亲名叫李曾，从小专攻《郑氏礼》、《左氏春秋》，以教书为业。郡府三次征召他为功曹，他都不去就任，门徒们劝他，他说：“功曹的职位，虽然说是地方政府所任的高职，但毕竟是郡吏。北面侍奉他人，谈何容易。”州中征召他为主簿，上任一个多月后，叹着气说：“梁叔敬有句话说：州郡之职，只是劳扰人们而已。无法行道，是身之忧患。”于是又回到家里，教书授徒。魏太祖时，朝廷征拜他为博士，出任赵郡太守，令行禁止，盗窃强贼之流闻声逃奔。太宗称赞他的治绩。并州丁零郡，屡屡为太行山以东的盗贼所害，敌人得知李曾受到老百姓的衷心拥戴之后，害怕了，再也不敢入境骚扰。贼寇在常山地界获得一匹死了的鹿，拿回来说是在赵郡地界得到的，贼首把他责备了一顿，让他把鹿还回原处。邻郡的人为之编了一首歌谣说：“诈作赵郡鹿，犹胜常山粟。”可见盗贼害怕李曾的程度。死后，朝廷赠他为平南将军、荆州刺史、柏仁子，谥称懿。
李孝伯少年传承父业，博览群书。风度翩翩，行为符合礼节法度。堂兄李顺在魏世祖面前推荐他，朝廷便征拜他为中散官职，魏世祖一见到他大为惊异，对李顺说：“这真是你家门之中的千里马呀。”迁任秘书奏事中散，转任侍郎、光禄大夫，赐爵位南昌子，加授建威将军，皇上把军国机密大事交付给他，可见其受朝廷宠爱的程度。李孝伯所参预的机密谋划事宜，当时的一般人无法知道。后又迁任比部尚书。因为他频繁跟随征战，立下诸多谋划功勋，朝廷又晋爵为寿光侯，加授建义将军。
真君末年，皇帝南伐，大军准备向彭城出发。刘义隆的儿子安北将军、徐州刺史、武陵王刘骏，派将马文恭率领骑步兵一万多人到萧城。被魏国前驱兵马迎击消灭了，马文恭逃走，免于一死，魏军抓住了他的队主蒯应。刘义隆听说魏国大军南下而来，又派自己的弟弟太尉、江夏王刘义恭率领军马赶赴彭城。魏世祖到了彭城，登上当年亚父范曾的墓冢..望城内，派蒯应到小市门，宣读魏世祖诏书，慰问刘义恭等人，并让蒯应讲述他自己已在萧城败北的情况。刘义恭等问蒯应：“魏朝皇帝自己来了没有？”蒯应说：“本人来了。”又问：“今在何处？”蒯应说：“在城的西南面。”又问：“军马多少？”蒯应说：“中军四十余万。”刘骏派人向魏世祖献上两壶酒，一百根甘蔗，并请求魏朝送给他一些骆驼。
魏世祖第二天早上又登上亚父墓冢，派李孝伯到小市，刘骏也派他的长史张畅与孝伯相对。李孝伯在远处问张畅姓什么，张畅说：“姓张。”李孝伯说：“原来是张长史啊。”张畅说：“您怎么这么清楚？”孝伯说；“既然来到这里，怎能够不熟悉这里的情况。”张畅问李孝伯说：“您姓什么？任何官职？”李孝伯说：“我是戎装行伍中的一名卒子，哪能劳君如此相问。但我足以与君相匹敌。”孝伯说：“魏主有诏：‘太尉刘骏、安北将军刘义隆可暂时走出城门，魏皇我想跟他们见面，朕也不攻打彭城，为什么要辛苦三军将士，城上如此戒备森严？’今天特地派我送来赐给你们的骆驼以及貂裘与其他杂物。”张畅说：“依你皇诏书的说法，政治可以施行于其他国家，为什么就找上了我朝宣诏？”李孝伯说：“你家太尉、安北，是人臣不是？”张畅说：“是啊。”李孝伯说：“我大魏拥有万国，率土之滨，无人敢不臣服。我皇既是你宋国邻国之君，为什么不能称诏于你宋国的臣子们呢？”李孝伯又问张畅说：“你们何以至于突然就紧闭城门，收起吊桥？”张畅说：“二位王公认为魏帝远道而来，壁垒未立，将士疲劳，而彭城之中十万精锐，人思战斗，二王公怕他们会冲出城来，冲踏魏军，所以姑且关起城门而已。等到你们军马休整过来，二王决定再在沙场相见，约日交战。”李孝伯说：“令行禁止，主将常事，所应采取的应当以法办事，哪里用得着闭桥关门这种不得已的做法呢？穷迫的城中，哪里有十万精锐的海口呢？我大魏也有良马百万，我们难道也以此自夸不成。”张畅说：“王侯设险而凭，但求合乎法令要求就行了。我如果夸君势力，就当说兵马百万了，之所以说兵马十万，这正是二位王公身边一向拥有的兵力之数罢了。这座城里，有几个州的士庶百姓，那些工徒营伍之人还没有算进去。我说的是人数，而没列举马匹数量。况且冀州地处北方，出产马匹，你凭什么又把那些不是军中战马的野马算在内而借以自夸呢？”李孝伯说：“王侯设置险障，的确如你刚才所说的，但有关闭之时，也有开门之日，你们为什么又干脆紧紧闭上呢？拉起吊桥，道理又在什么地方？这座城池是你们守城的将帅所熟悉的，野外打战是我们的长处，我们凭借马匹，就如你们凭依城池一样。”城里有个叫贝思的人，曾经到过魏国京城，刘义恭派他前去看究竟是谁，贝思认出是李孝伯。贝思上前慰问李孝伯说：“李尚书一路辛苦了。”李孝伯说：“这个事你我行路之人心中都清楚。”贝思回答说：“正因为都知道，所以才问候你。”孝伯说：“感谢你的一片心意。”
既开城门，张畅摈退随从，撤去仪仗，出城接受魏朝赐给的东西。李孝伯说：“魏皇有诏，貂裘赐给太尉，骆驼、骡子、马匹赐给安北将军，葡萄酒以及各种吃食让你们大家一起共同享受。”张畅说：“二位王公敬回魏帝，知道魏帝垂见，常愿亲自接驾，但是受命宋朝，居守一方，作为人臣应无境外之交，所以不能私自面见魏皇。”刘义恭献上皮制衣服一套，刘骏献上两杯酒，百捆甘蔗。李孝伯说：“魏皇又有诏书说：‘太尉、安北，长久没有与宋国通消息，应该是十分忧郁不快。你们如若派遣使者去朝，我们为你们护送，如需要坐骑，我们送给马匹。’”张畅说：“这里小路很多，使命官员往返频繁，不用为此事劳扰魏帝了。”李孝伯说：“我们也知道有水路，好像是被造反的黎庶百姓隔断了。”张畅说：“君你穿着白衣，便是白贼了。”李孝伯大笑说：“今天所说的白贼，好像指的是像黄巾、赤眉那种身份的人。”张畅说：“黄巾、赤眉，不在江南。”李孝伯说：“虽然不在江南，但也不离徐州地界。”李孝伯说：“向与安北相闻，为什么你久不通报。”张畅说：“二王高贵遥远，告诉他们颇不方便。”李孝伯说：“当年周公握发吐饭，接待宾客，二王怎么格外高贵？”张畅说：“握发吐饭，不是对邻国的人而言的。”李孝伯说：“本国尚且如此，邻国更应礼节周全了。宾客应该做到彬彬有礼，主人应该以礼相接。”张畅说：“昨天你们军马临城，未为有礼。”李孝伯说：“不是宾客没有礼节，只是主人手脚忙乱，无法等到宾客调度罢了。”孝伯又说：“魏皇有诏：‘程天祚一介常人，你们诚然知道他非江南之选，而接近汝阳，身遭九枪，落入氵殷水，我派人把他打捞上来。凡是人骨肉分离，都常思团聚，我们听说其弟在此，如何不让其把他领回去？而把他留在我魏军中。’”张畅说：“已经知道并也想让程天祚兄弟团聚，而且也要他前来领人，但他弟坚决不去。”李孝伯说：“哪有子弟听说其父辈兄长回来却反而不肯相见的道理，这真是连禽兽都不如。贵土风俗人情，怎么到了这种地步。”
魏世祖派人送去赐予刘义恭、刘骏等人毡子各一件，盐各九种，加上胡豉。李孝伯说：“魏皇有后诏：‘这些盐，各有用处。白盐是食盐，主上自食；黑盐治疗腹部气胀，研成碎末，一次六铢，用酒服下；胡盐治疗眼睛疼；戎盐治各种疮疤；赤盐、驳盐、臭盐、马齿盐等四种盐，都不是食盐。太尉、安北何不派人到朕这里来？彼此之情，虽不可尽，但是总要看看朕身材大小，年龄老少，观察一下朕的为人吧。’”张畅说：“魏帝总是为我们之间往来准备东西，李尚书你亲自赴问，我们之间尽可互相了解，所以二位王公不再写信。”刘义恭又献上蜡烛十根，刘骏献上锦缎一匹。
李孝伯说：“君你是南方的人，为什么脚穿木鞋？你脚穿此鞋，将士如何说法？”张畅说：“士人之言，诚为多愧。我虽不是武将，但受命统军，戎中阵前，不容我随便着装。”李孝伯说：“永昌王一向总是镇守长安，今天率领精锐骑兵八万直进淮河以南，寿春守军也闭门防守，不敢对阵。过去割下刘康祖首级送来，你们也见到了。王玄谟也被我们熟悉了解，他不过也是平常之才而已。怎么派他充当抵挡大军之职，以致奔逃败北。魏大军自从进入宋境长驱七百余里，你们竟然不能稍加抵抗。邹山之险，是你们所凭借的，我前锋部队刚与其交手，崔邪利便如鼠入穴，将士倒戈投降。我魏主怜惜他们，让他们从军南下，今在军中。你们怎么又轻率大意，派马文恭到萧县拒守，以致使他望风退却呢。那里的百姓，怨声载道，说国境平安的时候，你们找他们催租逼帛，一到危难时，便不能相救。”张畅说：“我们知道永昌已越过淮河向南而来。至于康祖为你们所破，那里有信使传递消息，未见此报。而王玄谟本是南方一名偏将，不能称做是才，但因他是一名北方人，所以让他为前部先锋。魏朝大军未到，而黄河结冰合拢，王玄谟根据实际撤军南岸，不是失算，但只因夜晚撤还，才导致戎马相互惊乱而已。我宋悬瓠小城，守军是小将陈宪，而魏帝倾国中所有兵力攻打围困，几十天都没攻下来。胡盛之本是偏裨小将，人马不足三旅，他刚渡翮水，魏国便君臣奔散，仅免一死。滑台之师，没什么可多惭愧的。邹山小关，虽有微险，但黄河边上的老百姓，大多是刚归附的，刚开始受我宋教化熏陶，奸盗还未停息，朝廷让崔邪利率领一些军马安抚他们而已。今天虽然被攻陷，于国家有什么损害。魏帝自己亲统十万军马而制服一个小小的崔邪利，还有什么好值得夸口的？近来听说萧县百姓都凭依山险，不归魏军，朝廷只派马文恭率十队人马迎之。马文恭仅以三队人马出击，还能奔走在魏大营之中。嵇玄敬率百来条船到留城，魏军奔散溃败。你们轻敌致此，也不是应该原谅的。王境人民，列居黄河两岸、两国交兵，宜当互加抚养。而今天魏师入境，事出意外，我宋官不负民，百姓又有什么可埋怨的。我们知道魏军入境七百余里，却不加抵抗。如此做法上出自太尉的神机妙算，驻军武陵的大计划，这类军国机要，我虽然未曾参与，但用兵双方都各有机密，也不容我在阵前明说。”李孝伯说：“君你借此不着边际的话，支离对答，真可以说是遁辞，知你已无计可施了。况且我魏皇当不围此城，自统军马直逼瓜步。建业若被拿下，此城便不攻自破；南行不能成功，彭城也不是我们想要获取的。我大军今日南进，意在饮马长江大湖呢。”张畅说：“去留这类事，你们自己决定。假如魏帝终得饮马长江，便是没有天道。”李孝伯说：“自北而南，实是人化之迹，饮马长江，岂独不是天道？”张畅准备回到城里，对李孝伯说：“希望动荡有个定期，我们相见之日不远。君你如若还归我宋朝，今天我们便算是认识了。”李孝伯说：“你今天应当先到建业城以等待魏君。不然我担心你他日与二位王公一起被捆绑着面见魏君，便没有脸面了。”
李孝伯风度潇洒，应答如流，张畅以及身边随从很是嗟叹。魏世祖大为高兴，进他爵位为宣城公。
兴安二年(453)，出任使持节、散骑常侍、平西将军、秦州刺史。太安五年(456)去世，高宗十分伤心痛惜。赠他为镇南大将军、定州刺史，谥称文昭公。
李孝伯风度翩翩，体度闲雅，通晓明达政事，朝中上下，不论贵贱，都十分推举尊重他。恭宗曾经启奏世祖广泛征选俊秀之才，魏世祖说：“朕有了一个李孝伯，便足以治理天下，还征召那么多干嘛？即使四下求访，像这样的人才哪里还能得到。”世祖赏识他的程度由此可见。李孝伯性格方正谨慎，忠实厚道，每遇朝廷大事有什么不周到的地方，他必定要亲手书写上表，直言陈奏，碰上不被接纳的，他陈奏再三。他修改草稿，即使家人也不给看见。在官府论议时，李孝伯常常引据纲纪，如有人陈说事情，孝伯总是让他们充分地发表意见，假使遇到是非大事，李孝伯是始终不会马虎的。等到他见到魏世祖，便言说别人的长处，从不埋没别人的姓名以称自己的好处，所以每位官员，都佩服他的为人正派。自从崔浩被杀之后，军国谋略大事，都出自李孝伯之手了。世祖宠爱他虽比不上对崔浩，但也是以宰辅的礼节待他。献替补缺，形迹不见，当时人都不知道这些。他死的那天，远近之人都十分哀痛悲伤。李孝伯美名，远近传播，李彪出使江南，萧赜对他说：“孝伯与你哪位更为人称道？”他被很远的人所称道，由此可见一斑。