张俭，宛平人，生性正直诚谨，不喜虚夸矫饰。
统和十四年(996)，举进士第一，调任云州幕官。按旧例，皇上经过之处，当地长官应该有所贡献。圣宗到云中游猎，节度使奏称：“臣辖区内没有什么特产，只有幕僚张俭，为一代之宝物，希望能将他献上。”在此之前，皇上曾梦见有四人侍奉于身旁，赐给他们食物每人两口，待到听说了张俭之名“俭”字，方才恍然大悟梦兆应在张俭身上。于是召见他，他仪容举止质朴无华；问及谋身治世之事，便当面口奏三十多件事。从此特别受皇上青睐，历任清高显贵之职，号称明智干练。
开泰年间，累迁同知枢密院事。太平五年(1025)，出京任武定军节度使，移镇于大同。六年(1026)，入京任南院枢密使。皇上正宠爱倚重于他，参知政事吴叔达与张俭不合，皇上发怒，出贬叔达为康州刺史，拜张俭为左丞相，封韩王。皇上病重，张俭接受遗诏辅立太子，这便是兴宗，赐张俭为贞亮弘靖保义守节耆德功臣，拜为太师、中书令，又加尚父，改封为陈王。
重熙五年(1036)，兴宗皇上亲临礼部贡院以及亲自考试进士，都是张俭打点。进见时不直呼其名，并且赐诗加以褒奖称美。张俭只穿粗丝织成的绢帛，每餐只食一菜，按月发的俸禄有节余的，便拿来接济亲朋旧友。一次正当冬天，在皇上歇息之便殿奏报事务，皇上见他袍子破旧，暗里派近侍用火夹穿个洞做上记号，每次见到他都没有换下来。皇上问其缘故，张俭回答说：“我穿这件袍子已经三十年了。”当时崇尚奢侈华丽，所以用这种做法微言讽喻皇上。皇上怜悯他清贫，让他任意取用内府物品，张俭奉诏后只拿了三匹布出来，因此更加受到嘉许重用。张俭有五个弟弟，皇上想一并赐给他们进士及第出身，张俭坚决推辞。有司捉住了八个盗贼，已经斩首之后，才又捉拿到正犯。被斩首者的家人申诉冤曲，张俭接连三次请求审理。皇上大怒说“：你难道想要朕偿命不成？”张俭说“：八家老小冤苦无告，如果能稍稍加以存问抚恤，使他们能够收尸下葬，就足以安抚活着和死去的人了。”皇上于是听从了他的建议。张俭任丞相二十多年，对皇上大有辅弼补益之功。
辞官归家，适逢宋人来信文辞不按礼节，皇上准备亲征。到张俭家中，尚食官吏先前往准备膳食，张俭推辞；进献葵羹汤饭，皇上吃得很美。然后便问他以对策，张俭极言陈说战事利害，并且说：“只需派一名使者责问就行了，何必劳驾皇上远征？”皇上听了很高兴，就作罢了。又亲临其家中赐宴，用过的器物珍玩都送给他。二十二年(1053)逝世，终年九十一岁，敕令葬于宛平县。