王俭，字叫仲实，生下来以后他的父亲王僧绰就遇害了，被叔父王僧虔所收养。几年后世袭爵位豫宁县侯。拜祭接受茅土的时候，流下眼泪，哭声呜咽。年幼时努力学习，手不释卷。宾客中有的加以称颂赞美，王僧虔说：“我不担心这孩子将来没有名声，正是怕他名声太大呀。”于是亲手写了崔子玉的《座右铭》赠给他。丹阳尹袁粲听到了他的名声，等见了他以后说：“这是宰相的家门。松柏豫章虽然还小，但是已经有栋梁的气象了，终究要担当国家大事。”便告诉了宋明帝，选他与阳羡公主结婚，任命为驸马都尉。皇帝认为王俭的母亲武康公主参与了太初年(453)的巫蛊之事，不可以做婆母，打算挖掘坟墓分开埋葬。王俭托人代自己表达意见，秘密地以死相请，所以事情没有办成。
十八岁时，除去平民布衣出任秘书郎、太子舍人，越级升任秘书丞。依照《七略》写成《七志》四十卷，上表献给朝廷。又写成《元徽四部书目》。母亲去世服丧三年，服丧结束后，担任司徒右长史。按照晋朝的法令，公府中的长史也穿朝服，宋朝大明(457～464)以来穿朱红衣服。王俭上书说明应该恢复旧制，当时朝中讨论没有批准。后来苍梧王暴虐，王俭告诉袁粲请求外出任职，援引晋朝新安公主的丈夫王献之任职吴兴为例，补任他为义兴太守。
升明二年(478)，担任长兼侍中，因为他的父亲是在这个职位上去世的，所以坚决辞让。在此以前，齐高帝做宰相，打算援引当时的贤者参与共创大业，那时候谢担信任长史，高帝夜间召见谢籫，支开别人和他谈了很久，谢籫没有说话。只有两个小童在玩弄蜡烛，高帝顾虑谢籫为难，便拿了蜡烛让小童走开，谢籫还是没有说话，高帝于是呼喊左右来人。王俭平时知道高帝雄奇异常，后来请求在闲暇的时候告诉给高帝说：“功劳高的人不给奖赏，自古以来并非一人。以您今日的地位，想要面朝北方而做别人的臣子，难道可以吗？”高帝严肃地将他打断，而神采和悦。王俭于是又说：“王俭蒙受您的特殊看待，所以才说出了难以说出的话，为什么却这样深深地拒绝？宋朝景和、元徽时代的皇帝那么荒淫暴虐，如果不是您怎么能够平安地渡过？但是人情淡薄，不能持久，您如果再略微地加以推脱，那么在世人中的威望就失去了，难道只是大业永远毁掉，就是七尺之躯哪里可以保全？”高帝笑着说：“您的话不是没有道理。”王俭又说：“您有现在的名位，所以是经常宰相，应该礼貌地拒绝各地诸侯，微微作些变革的表示。应当先让褚公知道，我请求领命前往。”高帝说：“我应当自己前往。”过了不两天，高帝自己去找褚彦回，长谈了许久，才对他说：“我做了个梦说是应当得官。”褚彦回说：“现在授的官刚刚这样，恐怕一二年间不能就给提升。而且吉利的梦未必就立即实现。”高帝回来告诉了王俭，王俭说：“褚彦回这是没有明达事理。”虞整当时是中书舍人，对文辞十分精通，王俭便自己告诉了虞整，让他写作诏书。等到高帝做了太尉，任用王俭为右长史，不久转为左长史，专门受到任用。重大庆典将要举行，礼节仪式诏令策书，都出自王俭，褚彦回只写祭祀诏书，又让王俭参与谋虑制定策略。
齐台建立，王俭升为尚书右仆射，兼管吏部，当时年龄二十八岁。提拔了许多人。当时有个姓谭的士人，去拜见王俭请求做官，王俭对他说：“齐桓公消灭了谭国，怎么还会有您？”回答说：“谭子逃奔到莒国，所以自然有我。”王俭赞赏他善于引证，终于得到了官职。高帝曾经从容地对王俭说：“我现在应当以青溪作为鸿沟。”王俭答道：“上天相应，人民归顺，恐怕不会有楚、汉相争的事情。”
当时朝廷礼仪刚刚在创立，衣服的规则，还没有固定的标准，王俭提议说：“汉景帝六年，梁王入朝，前来拜谒的中郎身穿金貂衣服出入殿门。左思《魏都赋》说‘陪伴的人非常众多，金貂服饰一齐闪光’，这是藩国的侍臣穿貂皮衣服的明文。晋朝的《百官表》上说‘太尉参军四人，上朝穿戴武冠’，这又是关于宰相府的明文。”又怀疑百官敬奉齐王的礼仪，王俭又说：“晋王接受天命，劝进的表章中说，‘冲等情意眷眷’，直称名字就应该尽到礼仪。”而世子的礼制没有定下来，王俭又说：“《春秋》记载曹国的世子来朝见，以上公的礼仪来对待，比他的国君低一等。现在齐公的爵位是九命，礼仪居各藩国之首，世子也应该与众不同。”全都照他说的执行。世子镇守石头城，仍然把它作为世子宫，王俭又说：“鲁国有灵光殿，是汉朝以前的例子，处理政事为崇光殿，外面的房舍为宣德殿，以散骑常侍张绪为世子詹事，军马服饰全部依照东宫的制度。”
高帝登上帝位，与王俭议论辅佐承受天命的功臣，从容地对他说：“卿的谋划之功，没有人可以相比，卿只有二千户，我心里觉得太少。赵充国还能自己荐举去西陵任职，何况卿和我友情不同寻常！”王俭说：“过去宋太祖创业，辅佐接受天命的各位大臣，封爵不过二千户，拿我和他们相比，只觉得超过了他们。”皇上笑着说：“张良推辞封侯，哪能超过这呢！”
建元元年(479)，改封他为南昌县公。当时都城杂乱，而且有很多奸人盗贼，皇上打算立符编伍，家家互相检查。王俭劝谏说：“京城繁盛，四方汇集，如果一定要拿符信，事情既烦琐，道理上也不够开通，正如谢安所说的‘不这样怎么能成为京师’。”于是便停止了。这一年，有关部门奏请制定盛大郊祭的礼仪，王俭认为应该在今年十月对宗庙进行大祭，从此以后，过五年再作大祭。建元二年正月初四，在南郊祭天，就在这一天回来在明堂举行了祭礼；又在十四日在北郊祭天，都没有其他配享。高帝听从了他的建议。第二年转任左仆射，像从前一样兼管人才选拔。
起初，宋明帝的紫极殿用的是珍珠帘幕绮罗柱子，上面装饰着金玉，是江东所没有的，高帝打算用这些材料筑造宣阳门，王俭与褚彦回以及叔父王僧虔联名上表进谏，皇上亲手撰写诏书采纳了他们的意见。宋朝时代，宫门外六门墙上设有竹篱，这年年初，有人发掘出了一个白虎樽，上面有字说“白门三重门，竹篱穿不完”。皇上对这些话颇有感触，便改造另立宫墙。王俭又进谏，皇上回答说：“我想让后世的人无以复加。”朝廷刚刚建立，制度正在创建，王俭对所有的咨询无不作出决断。皇上常说：“《诗经》上说‘嵩岳之神显灵圣，吕侯申伯降人间’，今天则为我生了王俭啊！”这年他坚决请求解除选拔人才的职务，被批准。
高帝驾临乐游苑的宴会，对王俭说：“卿爱好音乐，为什么和朕相同？”王俭说：“沐浴着唐尧时代的风气，则家家都有德行，而既然同在齐国听《韶》乐，则都会不知肉味。”高帝称赞回答得妙。后来驾临华林园宴会，让各人发挥自己的技艺。褚彦回弹琵琶，王僧虔、柳世隆弹琴，沈文季唱《子夜来》，张敬儿跳舞。王俭说：“臣什么也不会，只知道背诵书本。”于是跪在皇上前面背诵了司马相如的《封禅书》。皇上笑着说：“这是歌颂盛德的事情，我怎么可以承当！”后来皇上让陆澄背诵《孝经》，从“仲尼居”开始，王俭说：“陆澄可以说是渊博而缺乏要领。臣请求背诵一段。”于是背诵了《君子之事上章》。皇上说：“很好，这样张子布就不再让人觉得奇特了。”这时侯王敬则脱掉朝服裸露着上身，用大红丝纱缠上发髻，挥舞着胳膊表演拍张杂技，叫喊声震动左右。皇上不高兴地说：“哪见过三公这个样子！”回答说：“臣依靠拍张，所以得了三公的职位，不可忘了拍张。”当时认为是著名的对答。
王俭不久以本官兼做太子詹事，增加卫兵三百人。当时皇太子妃去世，左卫将军沈文季原来是她的宫中官员，不清楚是否应该服丧。王俭论证说：“汉、魏以来，宫中的臣僚要首先具备仆人的品质，具体表现在三个方面。生前既然尽力敬奉，死后哪能不给服丧？从前庾翼死了妻子，王允、滕含还说府中官吏应有如对诸侯的妻子‘小君’的服丧，何况是宫中臣僚的重要名分，应该依照礼数为旧时君上的妻子服‘齐衰’三月而后除去。”皇上逝世，遗诏指示以王俭为侍中、尚书令、镇军。每次上朝，令史总有三五十人随同，咨询辨析，不曾阻滞。褚彦回当时做司徒、录尚书，笑着对王俭说：“观看让他们分析评判十分快乐。”王俭说：“他们之所以能够合乎我的心意，实在是由于具备明公您不用言语的自然教化。”武帝即位，配给他仪仗二十人，晋升封号为卫将军，掌管选拔人才的事情。当时有关部门认为前代继承皇位，有的仍借以前的郊祭祭天祈年，有的另外进行郊祭重新开始，晋、宋两朝以来，不曾划一。王俭说：“晋明帝太宁三年(325)在城南郊祭，当年九月逝世；汉成帝即位，第二年改元，也进行郊祭。简文帝咸安二年(372)在城南郊祭，当年七月逝世；孝武帝即位，第二年改元，也进行了郊祭。宋朝元嘉三十年(453)正月在南郊祭天，二月逝世；孝武帝继承皇位，第二年又进行了郊祭。这是两代的明确例子，大略可以仿照。现在圣明的君主继续大业，幽明两界众心归依，要讲教化，则频繁郊祭也不嫌多，要论事务，则国家年号刚刚改换，祭天并以祖宗配享，孝、敬两者兼求。看来明年正月适于在南北二郊奉酒食祭天，并虔诚地在明堂祭祖。从此以后，依旧是隔一年一次。”有关部门又提出，明年正月上旬的辛日应在南郊祭天，而立春在上旬的辛日之后，郊祭在立春以前，这是值得怀疑的。王俭说：“宋朝的景平元年(423)正月初三辛丑在南郊祭天，这月的十一日立春。元嘉十六年(439)正月初六辛未在南郊祭天，这月的初八立春，这些都是近代的明显例证。”都遵从了他的说法。
永明二年(484)，他兼任丹阳尹。三年，兼任国子祭酒，又兼任太子少傅。旧时太子以同样的礼节敬重太、少二傅，到现在朝廷议论以宾客朋友的礼节接待少傅。宋朝时代国家学校废毁，没有机会修复，宋明帝泰始六年(470)，设置总明观以聚集学士，有的称之为东观，设置了东观祭酒一人，总明访举郎二人；儒、玄、文、史四科，每科设置学士十人，其余令史以下的职位各有差别。这一年，因为国家学校已经建立，撤销了总明观，在王俭的宅院里开设了学士馆，以总明观的四部图书充实进来。又诏令王俭以家为府衙。四年，以本官兼管吏部。在此以前宋孝武帝喜爱文章，天下都以文章相比高，不以专攻经书为正业。王俭幼年就留意《三礼》，尤为擅长《春秋》，发言讲论，即使仓促必合儒教，因此官绅纷纷趋附，都很推尚经学，儒教由此大兴。何承天《礼论》三百卷，王俭誊抄为八帙，又另外抄录条目为十三卷。朝廷仪式、旧时典章，晋、宋以来施行的旧制度，依次记录，熟练回忆，没有遗漏掉的。因此在朝值班处理事情，决断有如流水。常常广博议论多方引证，先前的儒者很少有这样的例子，朝廷的各级官员，没有能超过的。令史询问事情，宾客满席，王俭应接讲解，毫无停滞。十天回来一次，监考学生，戴着头巾站在庭堂中，并有带剑的侍卫和令史，仪容很盛。他松散开头巾，斜插着簪子，朝廷中和社会上的人们都很羡慕，群起仿效。王俭常常对人们说：“江东的风流宰相，只有谢安。”大概是用来比喻自己的。武帝非常重用和信赖他，在对士人的选用上，他的奏议没有不批准的。
永明五年(487)，王俭在本职基础上加封开府仪同三司，他坚决推让。六年，重申以前的任命。在此以前诏令王俭每三天回朝一次，尚书令史要出外去向他咨询事情，皇上觉得往来很麻烦，诏令王俭回到尚书下省，每月允许十天外出。王俭启奏请求解除选拔人才的职务，皇上不答应。七年，他又上表坚持请求，被批准了，改为兼管中书监。参与掌管选拔人才的事情。这年他生了病，皇上亲自前去探望。后来去世，年龄三十八岁。诏令禁卫军的文武官员以及台阁配备的兵士仪仗，都参加陪葬。又诏令追赠他为太尉，加赐褒羽、乐队，增加仪仗为六十人，葬礼依照太宰文简公褚彦回的旧规模。加谥号为文献公。
王俭很少嗜好和欲望，专以治理国家为自己的事业，车马衣服朴素随便，家中没有遗留的财物。他的撰著和批示，为当时的人们所重视。他少年时代便有成为宰相的志向，曾写诗说：“稷契匡虞夏，伊吕翼商周。”生了儿子，字叫玄成，取仍然世代为宰相的意思。写有《古今丧服集记》和文集，一起流行在世上。梁武帝接受禅让，诏令为王俭立碑，封为侯爵。
王俭的弟弟叫王逊，宋朝升明年间(477～479)担任丹阳丞，由于刘彦节的事情被告发，没有受到封赏。建元初年，担任晋陵太守，曾说过怨恨的话。王俭恐怕招来祸患，通过褚彦回把这事上报，中丞陆澄据实奏表检举。诏令让王俭尽忠报效朝廷，特发判决书宽免王逊，把他流放到远方的永嘉郡，他在路上被朝廷杀死。
长子王骞继承了王俭的爵位。