魏征字玄成，巨鹿曲城人。父亲魏长贤，任北齐屯留县令。魏征幼年丧父，家境贫寒，穷困失意却有远大志向，不从事谋生的职业，出家当了道士。他喜爱读书，能融会贯通，见天下越来越乱，特别留意先秦纵横家的学说。
大业末年，武阳郡郡丞元宝藏起兵响应李密，召请魏征掌管文书。李密每次见到元宝藏送来的文书，总称赞写得好，后来听说是魏征写的，就立即派人把他召来。魏征进献十条计策给李密，李密虽感到新奇但未能采用。到了王世充在洛口进攻李密时，魏征对李密的长史郑廷页说：“魏公李密虽然屡次获胜，但精兵骁将死伤的也很多了；军费又紧张，对有功的不能论功行赏，志气不高，有这两条就难得与敌人硬拼。不如挖深沟筑高垒，与敌人拖延时间，过不了十天半月，敌人粮尽草绝，不用攻打，他们就会撤兵，那时我们再出兵追击敌人，这就是取胜的方法。况且东都的粮食断绝了，王世充已经无计可施，一心想决一死战，我们实在难与陷入绝境的敌寇争锋，请慎重考虑不要与他们决战。”郑廷页说：“这些话不过是老生常谈罢了！”魏征说“：这是出奇制胜的良策，怎么说是老生常谈？”因此拂衣而去。
李密失败后，魏征跟随李密归降唐王，到了京师，很长时间都默默无闻，他自己请求去安抚山东，于是授命为秘书丞，驱驾驿车赶到黎阳。那时，徐世责力还是李密的部将，魏征给徐世责力写信说：
“自从隋末政局混乱，群雄竞相追逐，跨州连郡，不可胜数。魏公李密起兵叛隋，振臂大呼，四方响应如万里风驰，似云合雾聚，一下子就聚集了几十万人。声威遍及近半个天下，在洛口破王世充，在黎山摧毁宇文化及。正准备向西占领咸阳，往北进攻玄阙，让自己的旌旗飘扬在瀚海，让自己的战马到渭川饮水，不料有百胜之威反而败在奔逃的敌军之手。由此可见，天下的归属已成定局，不能以力抗争，因此魏公感念皇天才回头反省，进入函谷关而没有疑虑。您生于混乱之时，感念知己之遇，在根已拔掉的情况下，还坚持不动摇，纠集溃散的兵马，据守在一方。王世充趁着战胜的余勇，在他东边的地域休养生息，窦建德处在失败受辱的形势，不敢对南方有所图谋。你的美好的名声，足可以振动古今。然而谁没有好的开始，可结局却难以预料。把握去留进退的时机，是安危的关键。假如做官得到封地，九族就会受到余辉的庇护，如果投靠的人不得当，自己一身还不能自保。殷灭夏的鉴戒不远，是你能够看到听到的。古代勇士孟贲迟疑不决，童子都能在他之先做出决断，智慧接近神明，不整天等待。现在您处在兵家必争之地，应当速急乘机谋划，如果遇事迟疑不决，坐观成败，恐怕凶险狡诈之辈，先生出异心，那么您的大事就无法挽回了。”
世责力得到书信，于是决定派使者到长安表示归顺唐朝，并开仓运粮，送给淮安王神通的军队。
不久，窦建德率军南下，攻陷黎阳，俘获了魏征，任命他为起居舍人。后来窦建德被李世民擒获，魏征与裴矩西行入潼关。隐太子建成早已听说魏征的名气，把他召为洗马，非常恭敬他。魏征见太宗屡建功勋，威望越来越高，常常劝建成早定对策。太子建成失败后，太宗派人召见魏征，对魏征说：“你离间我兄弟关系，这是为什么？”魏征说：“太子如果听从了我的意见，一定不会遭到今天的杀身之祸。”太宗平素就器重魏征的敢于直言，于是任命他为詹事主簿。太宗即位后，提升魏征为谏议大夫，封巨鹿县男，派他安抚河北，授予他遇事可酌情处理的权力。魏征到了磁州，遇到前东宫千牛李志安、齐王护军李思行锁在囚车中押解京师。魏征对副使李桐客说“：我们动身时刚得到皇上的诏命，前东宫、齐王府的旧人都一律赦免不问。现在又把李思行等押送京师，这样做其他的人谁还再相信皇上的诏令而不疑虑呢？朝廷派我们安抚山东，人们一定不会相信，这岂不是差之毫厘、失之千里，况且有关国家利益，明白了没有不去做的，宁可自己承担责任，也不能损害国家大计。现在如果释放李思行他们，不再追究他们的罪责，那么信义的感召就会远达天下。古时大夫出使，只要是对国家有利，就可以自己做主。况且我们这次出使，皇上给予我们灵活行事的权力。皇上既然对我们以国士相待，我们怎能不以国士相报呢？”副使同意，立即释放了李思行等人，并上书呈报皇上，太宗非常高兴。
太宗刚即位，励精图治，多次把魏征召到卧室里，单独询问治国施政的得失。魏征很有治理国家的才干，性情又耿直，从不退缩屈服，太宗与他谈论，总是欣然接受他的意见。魏征也为遇到赏识自己的君主而喜不自胜，于是把心里的想法全部说出来，毫不隐瞒。太宗曾经慰劳魏征说“：您所陈述进谏的事，前后有二百多项，不是您至诚报效国家，怎么能够这样？”那年，太宗又升任他为尚书左丞。有人诽谤魏征包庇自己的亲戚，太宗派御史大夫温彦博去查办，结果查无实据，温彦博向太宗奏道：“魏征作为一个臣子，应该使自己的行为显明，他不能远避嫌疑，以致遭受这些没有根据的诽谤。虽然没有私情，也应当受到责备。”太宗叫温彦博去责备魏征，并说：“从今以后，行为不得不存痕迹。”第二天，魏征入朝上奏太宗说：“我听说君臣一心，如同一个整体。置国家大事于不顾，一味追求行为显露痕迹，如果君臣上下都共同遵循这条道路，那么国家的兴衰就难以预料了。”太宗大惊失色说“：我已经悔悟这件事了。”魏征又跪下说“：愿陛下让臣做良臣，不要让臣做忠臣。”太宗说：“忠臣、良臣有不同的地方吗？”魏征说“：稷、契、咎陶就是良臣，龙逢、比干就是忠臣。良臣使自身获得美名，君主得到光耀的称号，子孙世代相传，福禄无边。忠臣自身遭祸被杀，君主陷于愚昧、凶暴的境地，国破家亡，只得到一个忠臣的空名。从这说来，忠臣、良臣相差就远了。”太宗深深地被魏征的话打动了，赐给魏征绢五百匹。
贞观二年(628)，魏征升任秘书监，参预朝政。魏征因为感到国家经历了丧乱之后，图籍散失，制度、法令纷乱繁杂，奏报朝廷组织学者校定四部书。几年之间，秘府中收藏的书籍，精要而又完备。
当时高昌王麴文泰准备入京朝见皇帝，西域各国都想乘麴文泰入朝的机会，派使者给皇帝进贡，太宗命文泰的使臣厌怛纥干前去迎接西域各国使臣。魏征规劝说“：天下刚刚平定，战乱的创伤还未恢复，如果稍有劳役，自己就不得安宁。往年文泰入京朝见皇上，所经过的州县，尚且疲于供给，何况又加上西域各国的使臣。假如让西域的人以商人的身份来往，边地人民就会因此得利；如果作为宾客前来。国中就会消耗大量资财而深受其害。东汉建武二十二年(46)，天下已经安定，西域请求东汉设置都护、派遣王子入京侍奉皇帝，光武帝不准许，是不愿因为异族而使中原消耗劳力资财受害。现在如果答应十国使者入京进贡，它们的使者不下千人，将使边地各州怎么应付？人的心性各异、头绪万端，过后即使后悔，恐怕就来不及了。”太宗认为魏征的意见很好，当时厌怛纥干已经出发，太宗命人立即追赶制止了他。
后来太宗到九成宫游玩，因有宫人回京，住在氵韦川县的官舍里。不久右仆射李靖、侍中王王圭接着到来，县吏把宫人移到别的住所，让出官舍给李靖等住。太宗听说这件事，发怒说：“威力福禄的权柄，难道是由李靖等掌握的吗？为什么礼待李靖而轻视我的宫人！”立即命令审查氵韦川县吏和李靖等人。魏征劝阻道“：李靖等人，都是陛下的心腹大臣，宫人不过是后宫打扫庭院的奴婢。论他们付托的使命，事理各不相同。再说李靖等外出，官吏要向他们询问朝廷法度，他们回来，陛下要向他们询问民间疾苦。李靖等理所当然要与官吏相见，官吏也不能不拜见他们。至于宫人，供奉饮食之外，无须参见侍候。如果因此怪罪责罚官吏，恐怕有损皇上的声誉，使天下人听了感到惊骇。”太宗说“：您说得对。”于是开释了官吏的罪名，李靖等仍然住在官舍里，也不再查问了。
不久，太宗在丹霄楼设宴，饮酒之中酒兴正浓时，太宗对长孙无忌说：“魏征、王王圭，从前在东宫，尽心侍奉隐太子建成，当时那么忠心也确实可恶。我能提拔任用他们，以至今日，足以说明我是无愧于古人的了。但魏征每当他进谏我没有听从时，我发话他就不马上答应，这是为什么呢？”魏征回答说“：臣认为事情有不合适的地方，所以才进谏，如果陛下不听规劝而臣马上答应，那恐怕事情就会照样施行。”太宗说：“只管当时答应，有机会再另外陈述意见，难道不行吗？”魏征说“：从前舜告诫群臣说‘：你们不要当面顺从我，退下后又有话说。’如果臣当面顺从陛下又找机会陈述意见，这就是‘退下后又有话说’，难道是稷、契事奉尧、舜的办法吗？”太宗大笑说：“别人说魏征举动粗野、傲慢，我却觉得妩媚，正是因为这些啊。”魏征拜谢说“：陛下启发引导臣让臣说话，所以臣敢于进谏，如果陛下不接受臣的进谏，怎么敢多次触犯皇上的尊严呢？”
那月，长乐公主将要出嫁，太宗因她是皇后所生，命令有关部门办的嫁妆比永嘉长公主多一倍。魏征说“：不行。从前汉明帝准备授封地给他的儿子，说‘我的儿子怎么能与先帝的儿子等同，可封给他楚地、淮阳的一半。’以前的吏书把这事作为美谈。天子的姊妹是长公主，天子的女儿是公主，既然加‘长’字，就是有它的尊荣显贵。感情可以有深有浅，但不容许超越了礼仪制度。”太宗认为他说得对，入宫告诉长孙皇后，然后派使者送钱四十万、绢四百匹，到魏征的住宅赐给他。不久魏征晋升爵位为郡公。
贞观七年(633)，魏征代王王圭任侍中，尚书省长期积压没有判决的诉讼案，太宗命魏征秉公处理。魏征不大熟悉法律，但能抓住根本原则，依实际情况处理，大家都心悦诚服。
当初，太宗命令狐德..、岑文本撰修《周史》，孔颖达、许敬宗撰《隋史》，姚思廉撰《梁史》、《陈史》，李百药撰《齐史》。魏征受诏总加撰定，对书稿多有删补，力求达到简明正确。《隋史》的序、论，都是魏征所做，并为梁、陈、齐各史撰写总论，被当时称为良史。史书撰成后，魏征加封左光禄大夫，晋爵郑国公，赐绢二千段。
魏征自认为对国家没有功，只不过是凭借辩论、游说，就参与决策，深怕遭遇好到头会有亏损，后来借口眼疾多次请求辞位。太宗说“：朕把你从虏获的敌军中提拔起来，任命你担任关键的职务，见到我的过失，没有不直言劝谏的。你难道没有看到金在矿里，有什么值得珍贵的呢？好的工匠把它冶炼、锻造成器物，就被人们当作宝贝，朕正是把自己比做金矿，把你当成好的工匠。你虽然有病，但还未衰老，哪能就这样辞官呢？”那年，魏征又当面请求辞位，太宗很难违背他的请求。于是拜魏征为特进，仍旧让他掌管门下省事务。那以后魏征又先后上了四道奏疏，用来陈述政事的得失。其一曰：
“臣观察自古帝王为受瑞图应运而兴，继承王位遵守法度，控制英杰，统治天下，都想让宽厚仁德与天地媲美，高尚明达与日月齐光，子孙百代，传福无穷。然而能善终者少，失败灭亡相继出现，这是什么缘故呢？所以要探求失去天下的规律，隋朝的借鉴不远，可以得到而把它说出来。
“过去隋朝，统一天下，兵甲强盛，据有天下三十多年，教化风行万里，威力使异邦人感到震慑，一旦丧失天下，都成为他人所有。那隋炀帝难道讨厌天下太平，不求国家长久，所以施行桀的暴虐，用来造成国家的灭亡吗？这是他依仗国家的富强，不考虑后患的缘故。驱使天下的人来满足自己放纵的欲望，用尽万物来奉养自己，搜求国内的女子，搜刮远方的奇珍异宝。修饰宫宇，筑高台榭，徭役不断，战争不息。向外显示自己的威严，对内常常阴险猜忌，谗佞邪恶的人必定得到好处，忠心正直的人却自身不保。上下相互欺骗，君臣隔绝不通，人们无法活命，境内分崩离析。因而导致君王死于匹夫之手，子孙绝灭，被天下人耻笑，让人十分痛心啊！
“圣人乘此机会，拯救天下的危难，重正倾倒的八柱，申张绝灭的四维。使远处恭敬近处安宁，不用超过一个月；使凶残人从善，废除死刑，不须等待百年。现在隋帝的宫殿楼台，陛下全都住了；奇珍异物，陛下全都收下来了；贵妇美女，都在陛下身边侍候；四海九州的人，都成为陛下的臣妾。陛下如果能借鉴隋朝之所以灭亡的原因，思索我朝之所以得天下的原因，一天比一天谨慎，把盛世当成危难之时。焚毁隋宫的宝衣，废弃阿房的广殿，害怕危险脱离高大的殿宇，追求安宁住在低矮的宫室，那就出神入化，无为而治。这是德的最高境界。如果已经成就的事业不败落，继承原有的传统，取消不急迫的事物，减少再减少。在桂栋中杂以茅草，在玉阶中参以土阶，用人叫人悦服，不把劳力用尽。常考虑士人的安逸、百姓的劳苦，万民欢迎您驾临，众生仰慕而遂心。这是德的次一等境界。如果不慎重地考虑后果，忘记创业的艰难，认为天命可以依恃，忽视采椽的恭俭，追求雕情的奢侈，在旧有的基址上扩建宫殿，加以装饰。见到什么就扩展什么，欲望不知道满足，人们看不到君主的德政，而只听到要去服劳役的事，这是德中的下等。好像是背着柴禾去救火，用开水去浇息水的沸腾，以暴乱更替暴乱，走上动乱道路，没有可以让后人效法的准则，导致民怨神怨；民怨神怨，那么灾害就会发生，祸乱就必然兴起。祸乱已经兴起，而能使自己的躯体名声善终的不多啊。周武王顺应天命改朝换代，兴隆了七百年的江山，传给子孙万代，得来不易而失去却很简单，可不深思吗？”
其二曰：
“我听说想要树木生长，一定要使它的根长得牢固；想要水流得远，一定要疏通它的源头；想让国家安定的人，就一定积聚自己的道德仁义。源头不深哪能指望水流得远，根不牢固怎么能要树木生长。道德仁义不厚重而想国家安定，即使最愚蠢的人，也知道这是不可能的。何况明智的人呢！国君担负着治理天下的重任，在天地之间处于至高无上的地位，将达到无穷之高，永保无穷之美。如果不考虑在安乐中想到危难，用俭朴戒除奢侈，如果道德不能保持厚重，感情不能战胜贪欲，这也像砍树根而求树长得茂盛，塞水源而想水流得长一样。
“古代所有的君王，都是承受上天授予的使命，没有不是深深忧虑而道义显著，功业完成而道德衰落的。有好的开端的的确很多，能够善终的却很少。难道是取得天下容易守住天下难吗？过去取得天下游刃有余，现在守住天下却力不从心，这是为什么呢？在忧患深重时必定竭尽诚心地对待下面的人，一旦达到目的就放纵自己的感情傲慢地待人接物。竭尽诚心，那么胡、越也可以结为一体；傲慢待人，那么骨肉至亲也会像路人一样。即使用严酷的刑罚来督查人，用威力暴怒来震慑人，最终只能使人苟且免刑而不怀念君王的仁慈，态度恭敬而内心不服。怨恨不在于大小，可怕的只有人民。人民像水一样，既可负载船只，也可倾覆船只，所以应当十分慎重，朽烂的绳子驾着奔驰的车，难道是可以忽视的吗？
“为人君者，果真见到自己想要的，就应用知足来警戒自己；将有劳作就应想到停止使人民安宁；想到地位高的危险，就要谦让虚心加强自我修养；害怕骄傲自满会造成损失，就考虑要像江海容纳百川一样放宽度量；喜爱游玩，就应想到皇帝一年打猎三次的限度；担心意志懈怠，就想到办事始终都要谨慎；忧虑会受到蒙蔽，就要想到虚心采纳下面的意见；要想避开谗邪，就想到端正自身的品性而斥退邪恶小人；给人赏赐，就应想到不因为高兴而奖赏不当；给人处罚，就应想到不因为发怒而滥施刑罚。完全做到这十件应当深思的事情，发扬光大这九种美德，选拔有才能的人而加以任用，选择好的意见而加以采纳。那么智慧的人就能完全贡献他的谋略，勇敢的人就能竭尽他的全力，仁义的人就能传布他的恩惠，有信用的人就会献出他的忠心。文人武士争相驰骋，君主臣下相安无事，尽情享受游玩的乐趣，修养身心达到松乔的高寿，鸣琴奏乐，垂衣拱手，不用言词而达到教化。何必劳神苦思，代替下属履行职责，役使聪明的耳目，有损无为而治的大道呢？”
其三曰：
“臣听《尚书》上说：‘宣扬道德慎用处罚，刑罚是最应慎重的！’《礼记》说：‘处在上位的人容易侍奉，处在下位的人容易了解，那么刑罚就不会繁多。处在上位的人多疑，那么百姓就会迷惑；处在下位的人难于了解，那么君长就会劳苦。’处在上位的人容易侍奉，处在下位的人容易了解，那么君长就不会疲劳，百姓就不会迷惑。所以君主有一种美德，臣下就不会有二心，君主传布忠厚的诚信，臣下竭尽全身的力量，然后太平的根基就会牢固，‘康哉’的吟咏就从这里兴起。现在大道覆盖天下，功高宇宙，无思不服，无远不达。言论崇尚简明宏大，志向在于明察，刑罚赏赐的根本在于劝善惩恶，所以帝王在运用刑罚时天下依据同一的标准，不因为亲疏贵贱而有所轻重。现在的刑罚赏赐，却未必都是这样。有时断事的曲直出于自己的喜好或厌恶，量刑的轻重取决于自己的高兴或恼怒。遇上高兴的时候就惜于用刑，在法律上徇私情，遇上恼怒的时候就背离法律寻找别人的罪过，对自己喜爱的人赞美言过其实，对自己厌恶的人就故意挑剔毛病。毛病可以挑出来，那么刑罚就因此而过度；赞美之词言过其实，那么就会赏赐不当。刑罚过度，小人之道就会增长；赏赐不当，君子之道就会消亡。小人的恶行不惩罚，君子的善行不奖励，而希望天下太平，刑罚弃而不用，这是我没有听说过的。
“况而且空闲时清谈，都笃信崇尚孔子、老子；发威动怒时，就效法申不害、韩非子。走正道的人，不是没有被罢免三次的，嫁祸别人以自求安宁，这样的事也很多了。所以道德的宗旨还未弘扬，刻薄的风气却已经煽起。上面的风已经煽起，那么下面就生出事端，人们竞相随时势转移，宪章就不统一，考察王家的法度，确实有损君王的大道。从前州黎与人串通作弊，楚国的法律就遭破坏；张汤心里有所轻重，汉朝的刑罚就出弊病。人臣的偏颇，尚不能识破他的蒙骗，况且君王居高临下，又将使人怎么举手投足呢？凭圣上的聪明，没有幽暗的地方不被照亮，哪里会有精神不能达到、智慧不能通晓的地方呢？自求安逸不以慎用刑罚为念；只求笑乐，于是忘了褒姒一笑所引发的变故。祸福相依，吉凶同域，只是人自己招来的，怎么可以不思索呢？近来责罚渐渐增多，威怒暗暗加重，有的是因为供应不充足，有的是因为别人不能顺从自己的欲望，这些都不是为达到太平急需办理的事务，实在是骄奢的浸染。由此知道尊贵没有与骄傲相约而骄傲自来，富裕没有与奢侈相约，奢侈自到，这并不是空话。
“况且我们所取代的是隋朝，隋朝动乱灭亡的根源，可以作为圣明的对照。以隋朝的军队，比今日的兵马；以隋朝的仓库，比今日的储备；以隋朝的户口，比今日的百姓；计量其长短大小，有多大差别呀！然而隋朝以富强而灭亡，原因是国家的动荡；我们依贫困而安宁，原因是国家平静。平静就安宁，动荡就混乱，大家都知道，并不是隐晦难见、细微难察的道理。不走平坦的道路，而遵循已倾覆的车子的辙迹，这是为什么呢？在于安宁时没有想到危险，太平时没有想到动乱，生存时没有想到灭亡所导致的。过去隋朝没有乱的时候，自以为一定不会乱；还没有亡的时候，自以为一定不会亡。所以屡次发动战争，徭役不息，直到被杀受辱，竟然还没有明白自己灭亡的原因，不可悲吗！
“照相貌的美丑，一定要用静止的水；照看国家的安危，一定要找已灭亡的国家。《诗经》说：‘殷朝的借鉴不远，就在前一代的夏朝。’臣希望当今的动静，能以隋朝为借鉴，那么存亡治乱的道理就可以知道了。如果能想到导致危险的原因，就会安宁；想到导致它动乱的原因，就会太平；想到导致它灭亡的原因，就能生存。生存灭亡的关键，在于节制嗜好与欲望，减少出游、打猎等娱乐，摆脱奢华的排场，停止办理并不急迫的事务，谨防偏听偏信带来的恼怒。亲近忠厚的人，疏远阿谀奉迎的人，杜绝悦耳的邪说，采纳苦口的忠言。让易进的人离去，使难得的货价廉，学习尧、舜征求意见，对照禹、汤检查自己，惜十家之产，顺百姓之心。近取之于身，以宽恕待人。劳苦谦逊而受益，不自满以免招致损害。有所行动百姓都附和，说话千里之外就来呼应，高超的德行超过前代，良好的风尚树给后代子孙。这是圣哲的宏规，帝王的盛业，能做到这些方面，在于慎守而已。
“守住天下是容易的，取得天下确实很难，已经得到难以取得的天下，难道不能保持容易守住的天下吗？保持它而不牢固，是因为骄奢淫逸的欲望在动摇它。对待终结要像对待开始一样小心翼翼，能不尽心尽力吗？《易经》说‘：君子安宁不忘危险，生存不忘灭亡，太平不忘动乱，因此自身安宁而国家可以保全。’这话确实有道理，是不可不深入考察的。愿陛下追求善的志向不减于过去，闻过必改的作风无异于当年。如果能在平安无事的今天，像过去一样恭敬节俭，就尽善尽美，根本没有必要得意而自加颂扬。”
其四曰：
“臣听说治国的基础，必须以礼、德为根本；君子的保证，只在于诚、信。诚、信建立，处在下位的人就不会有二心；德礼具备，远方的人就会前来朝贡。所以德、礼、诚、信，是治理国家的重要纲领，对于父子君臣，不可以有片刻的废弃。因此孔子说：‘君主应该按礼来使用臣子，臣子应该以忠来侍奉君主。’又说：‘自古以来人总是要死的，人没有信义就不能立足。’文子说‘：同样的言语而有时被信任，是因为信任建立在言语之前；同样的命令有时能被执行，是因为诚心已经在命令之外。’因此言语不能施行，是言语没有信义；命令不被听从，是因为命令没有诚意。没有信义的言语，没有诚意的命令，对上就会败国，对下就会危及自身，即使在狼狈困顿之中，君子也不会言无信、令不诚。
“自从帝王的大道美好兴旺，已经十多年了，威力施加到海外，万国前来朝贡，国库里的粮食日益增多，国土一天比一天扩大。然而道德没有一天比一天厚重，仁义没有一天比一天广博，这是为什么呢？这是由于陛下对待臣子还没有完全做到真诚信任，虽然有善始的勤俭，却没有坚持善终的缘故。这样的情况是逐渐形成的，不是一朝一夕可以做到的。贞观初年，陛下听到好的意见感到惊喜，到贞观五六年间，还喜欢听从规劝。从这以后，渐渐厌恶直言，即或勉强接受，有时也露出不高兴的脸色，不能还像过去接受意见时那样大度。直言的君子，渐渐躲开陛下；阿谀奉迎之徒，尽力施展他们的巧辩伎俩。说彼此同心的人是结党营私，说揭人隐私的人是大公无私，说刚强正直的人是专权，说忠直敢谏的人是诽谤。称之结党营私，即使忠诚不欺也值得怀疑；称之大公无私，即使弄虚作假也没有过错。刚强正直的人害怕专权的非议，忠直敢谏的人顾虑诽谤的指责。以致窃斧生疑，投杼致惑，刚直的人不能完全说出自己的想法，大臣不敢直言进谏。惑乱视听，阻滞正道，妨害教化，损伤道德，也许就在这里吧？所以孔子厌恶利口谗言倾覆国家，就是这个缘故。
“且君子小人，表面相同而内心各异。君子掩人之恶，扬人之善，面对危难不苟且偷生，能杀身以成仁。小人不耻于不仁，不怕行为不义，只追求利之所在，危险的人自得安宁。对于危险的人来说，有什么不敢做的。现在要追求达到太平，就把重任委托给君子；事情的得失，有时又咨访小人。陛下对待君子是恭敬而疏远，对小人却是轻视而亲昵，亲昵小人，小人就可以言无不尽，疏远君子，君子就不能畅所欲言而产生隔阂。因此说好说坏在于小人，刑罚却加给君子，这实在是国家兴亡的关键，国家安危的要害所在，是可以不慎重对待的吗？中等才智的人，难道没有点小聪明，然而却不是经世治国之才，思考问题不能深远，即使他们竭诚尽力，仍不能免于使国家遭受倾覆而败亡；更何况心怀用不正当手段获取利益的企图、承顺天子的脸色和旨意行事的人，他们所带来的祸患灾难，不是更深重吗？所以孔子说：‘君子中没有仁德的人是有的，但是没有小人而具有仁德的。’这样看来，君子不能没有小恶，但恶不多不妨害他行正道；小人有时也有小善，但善不多不足以使他成为忠臣。现在说某人是善人，又顾虑他不可信任，这和竖立一根直木却怀疑它的影子不直有什么不同呢？即使竭尽精神，费力思虑，它的不可取也已经是很明白的了。
“君主能完全的礼待人，臣下能尽力效忠社稷，必定以内外无私、上下相信为前提。君主不讲诚信就无法支使臣下，臣下不讲诚信就无法侍奉君主，诚信的意义是很重大的啊！所以自有上天保佑它，而没有不吉利的。从前齐桓公问管仲说‘：我想让酒在酒爵里腐臭，肉在砧板上腐烂，该不会妨害成就霸业吧？’管仲说‘：这固然很不好，但也不会妨害成就霸业。’桓公说‘：那么什么会妨害成就霸业呢？’管仲说：‘不能了解人，会妨害成就霸业；了解人而不能任用他，会妨害成就霸业；任用而不信任，会妨害成就霸业；已经信任他而又让小人参与他的事务，会妨害成就霸业。’晋国中行穆伯攻打鼓国，历时一年而不能攻下，饣鬼间伦说‘：鼓国的啬夫我认识，请不必让士大夫们受累，鼓国就可以得到。’穆伯不答应，穆伯身边的人说：‘不损失一支戟，不伤害一个士兵，而鼓国就可以得到，这样的事您为什么不做呢？’穆伯说‘：间伦的为人，善于阿谀奉承而没有仁德。如果间伦拿下鼓国，我不可以不给他奖赏，奖赏他，就是奖赏阿谀奉承的人。阿谀奉承的人得志，这就使晋国的士人舍弃仁德而效法阿谀奉承，即使得到鼓国，又有什么用呢？’穆伯不过是春秋列国的大夫，管仲只是霸主的辅佐，尚且对应该信任什么人十分谨慎，远避阿谀奉承的人到这种程度；更何况陛下是治理四海的国君，受命千年的圣上，怎么可以让巍巍的盛德，又将有所间断呢？
“如果想使君子与小人、是与非不混杂，一定要用德关怀臣下，用信对待臣下，用义激励臣下，用礼约束臣下，然后奖善而嫉恶，使赏罚分明。那么小人就弃绝他的狡诈邪恶，君子就会自强不息，达到无为的教化又有多远呢？奖善而不能提拔他们，惩恶而不除去恶人，惩罚不给予有罪的人，奖赏不施予有功的人，那么就有危亡的时候，国家或许也不能保住，王位永远世代相传又有什么指望呢！”
太宗亲笔写诏书嘉奖赞美魏征的奏疏，格外看重他的意见。曾对长孙无忌说“：朕刚即位时，上书的人有的说‘君主必须把握威权独断专行，不能把权力委任给臣下’；有的想显示武力强大，使异族恐惧而服从自己。只有魏征劝朕‘停止战争大兴文事，传布道德广施恩惠，中原既然安定，异族自然会归顺服从’。我听了他的话，天下太平。边地的君长都来朝贡，各个民族的语言辗转相译，在路上相互远望。这都是魏征的功劳。”太宗曾经嫌进呈密封奏章的人多不切合事实，想加以贬斥。魏征说：“古时尧设立诽谤之木，想知道自己的过错。现在这密封的奏章，就是古时立诽谤木制度流传下来的。陛下想知道自己的得失，只可以听任人们上言。如果话说得对，就有益于陛下；如果说得不对，无损于国家。”太宗说“：这话说得对。”对进呈奏章的人加以抚慰后才让他们离去。
后来太宗在洛阳积翠池宴请群臣，酒喝得高兴时和群臣各以一事为题赋诗。太宗赋《尚书》道：“日昃玩百篇，临灯披《五典》。夏康既逸豫，商辛亦流湎。恣情昏主多，克己明君鲜。灭身资累恶，成名由积善。”魏征赋“西汉”道“：受降临轵道，争长趣鸿门。驱传渭桥上，观兵细柳屯。夜宴经柏谷，朝游出杜原。终藉叔孙礼，方知皇帝尊。”太宗说：“每次魏征说话，必定用礼来约束我。”不久因魏征修订《五礼》，按例应当封一个儿子为县男，魏征请求让孤兄的儿子叔慈受封。太宗很伤感地说：“卿的这份心意，可以勉励民俗。”于是应许了他的请求。
贞观十二年(638)，礼部尚书王王圭上奏说：“三品以上的官员在路上遇到亲王，都下车，违反法度来表示恭敬，这违背了礼仪的标准。”太宗说“：你们自己的地位都尊贵，就轻视我的儿子吗？”魏征进言说“：从古至今，亲王列在三公之下。现在三品都是天子列卿和八座之长，为亲王下车，不是亲王所应当受的礼。求之于旧例，又没有可以作为凭证的依据；施行于现在，又违背了国法。”太宗说：“国家所以立太子，是准备他做国君。然而人的长短，不在老少，假如没有太子，那就依次立兄弟。这样说来，怎么能轻视我的儿子呢？”魏征说：“殷代崇尚质朴，有兄长去世其弟即位的礼义；自周以来，立太子必定要是嫡出的长子，以这杜绝各个兄弟的私念，堵塞祸乱的根源，这是国君应当十分慎重的事。”于是太宗同意了王王圭的奏言。适逢皇孙诞生，太宗召公卿入宴，太宗对侍臣说：“贞观以前，跟随我平定天下，辗转奔波于乱世，这是房玄龄的功劳。贞观之后，尽心对我，进献忠直的劝告，安国利民，敢于冒犯国君尊严直言规劝，纠正朕的过失的，只有魏征一人而已。古代的名臣，也不能超过他们。”于是亲自解下佩刀，赐给他们两人。
魏征因认为戴圣《礼记》编得没有条理，于是编《类礼》二十卷，依类排列次序，删削其中重复的内容，搜集前辈儒家的注释，择善取用，精心研究深思熟虑，经过数年才完成。太宗看了后认为写得好，赐绢一千段，命抄录数本用来赐给太子和诸王，收藏在秘府中。
在这之前，太宗派遣使者到西域立叶护可汗，使者还未回来，太宗又派遣使者携带金银绢帛到西域各国买马。魏征说“：现在确立可汗的事还未定下来，陛下就派人到西域各国买马，西域人一定会认为陛下意在买马，不是专意去立可汗。可汗得到确立，一定不会感念陛下的恩德。西域各属国听说这事，就会认为中原轻义重利，不一定能够得到马却先失去了义。从前汉文帝时，有个献千里马的人，文帝对他说：我不顺利每天走三十里，顺利每天走五十里，銮车在前，跟着的车在后，我单独乘千里马将走到哪里去呢？文帝于是赏给献马者旅费让他回去了。汉光武帝时有人献千里马和宝剑，汉光武帝让马去驾鼓车，把宝剑赐给骑士。陛下所施行的事，都远远超过三王之上，怎么到了这件事，却在汉文、光武之下呢？再说魏文帝想寻求购买西域大珠，苏则说：‘如果陛下恩惠遍及四海，那么大珠就会不寻找而自来；寻找而后得到它，也不值得宝贵。’纵然陛下不能敬慕汉文帝的高尚行为，可是能不敬畏苏则的言论吗？”太宗采纳了魏征的意见，停止派遣买马的使者。
当时公卿大臣一起上书，请太宗举行封禅。惟独魏征认为不可。太宗说：“我想让您尽情说说这事。难道我的功业还不高吗？道德还不厚吗？天下还没治理太平吗？异族不仰慕我的仁义吗？为什么不能封禅？”魏征回答说“：陛下的功业虽然很高，但百姓受到的恩惠还不多；陛下的道德虽厚，但恩泽还没有遍及每一个角落；天下虽已太平，还不足以供应用度；异族仰慕仁义，但还不能满足他们所求；祥瑞虽然到来，但网罗还很密；虽然连年丰收，但仓库还嫌空虚；因此，我认为还不到举行封禅的时候。臣不能用很远的事来比喻，暂且借人来打个比方。现在有一个患病十年的人，经过医治已经好了，但体力还未恢复，就想让他背一石米，一天走一百里路，一定是做不到的。隋朝的祸乱，不只十年，陛下像良医一样把它治好，疾苦虽然治好太平无事，但财物还不是很充实，向天地祭告说已经功成业就，我私下还有些怀疑。而且陛下东去泰山封禅，各国都要派使者前来祝贺，域外极远的地方，没有不奔走前来的。现在伊水、洛水以东，直到海边，灌木丛生，大泽纵横，苍茫千里，人烟断绝，鸡犬不闻，道路荒凉，行旅艰难，怎么可以引那些异邦外人进入，看到我们的虚弱？就是竭尽财力给以厚赏，也不能满足异族的欲望；即使连年免除赋役，也不能抵偿百姓的劳力费用。再遇上水旱灾害，风雨的变幻，庸人肆加议论，即使后悔也不能追回了。哪里是惟独臣诚恳规谏，也有众人的讽诵。”太宗听后不能反驳。那以后，右仆射空缺，太宗欲拜魏征任职，魏征坚决推让不受，才没有任命。
后来皇太子承乾不学习德行和术业，魏王泰的宠爱一天天增长，朝廷内外众官，都有些疑虑和议论。太宗听到后很厌恶这些议论，对侍臣说：“当今朝臣忠诚正直的，没有人能超过魏征，我派他辅佐皇太子，用这杜绝天下的怨言。”贞观十六年(642)，太宗任命魏征为太子太师，知门下省事如旧。魏征自称有病推辞，太宗下诏回答说：“汉朝的太子以四老为辅佐，我现在依靠您，也是这个道理。知道您患病，你卧病也可以保全太子。”
那年，魏征病危，宫廷中派出使者探望。魏征的住宅原先没有正室，太宗把原来自己准备建小殿的材料为魏征修造正室，五天就修成了。太宗派宫中使者携带白色的褥子和布被赐给魏征，用这满足魏征崇尚简朴的心愿。到魏征病重，太宗再次到魏征的府第，抚摸着魏征流泪，问他有什么要求，魏征说“：寡妇不愁织布的纬线少，而忧虑宗周的危亡。”过了几天，太宗夜里梦见魏征像平时一样，到清晨魏征去世的消息就奏报上来了，时年六十四岁。太宗亲自到魏征家中吊唁，哭得非常悲伤，下令停止上朝五天。追赠魏征为司空、相州都督，赐谥号文贞，宫廷供给手持羽葆、班剑的仪仗队和吹鼓乐手共四十人，送给办丧事用的绢帛千段、米粟千石，让魏征陪葬昭陵。将要下葬的时候，魏征的夫人裴氏说：“魏征平生节俭，现在让他按一品官的礼节安葬，所需仪仗、器物极多，不符合魏征的心意。”对朝廷供给的一切仪仗和物品都推辞不受，竟用布车载棺柩，没有花纹色彩等装饰。太宗登上御苑中的西楼，望着魏征的灵柩痛哭，诏令百官把魏征的灵柩送出郊外。太宗亲自为魏征做碑文，并将它书写在石上。魏征死后，太宗对他追思不已，赐给实封九百户。有次上朝时太宗感叹地对侍臣说“：用铜做镜子，可以端正衣冠；用历史做镜子，可以知道兴衰更替；用人做镜子，可以了解得失。朕常保持这三面镜子，用来防止自己的过失。现在魏征去世，我失去了一面镜子！魏征去世后朕派人到他家里，得到他的一页遗表，才刚起草，字都难以辨识，只有前面几行，稍微可以辨认，上面写道：‘天下的事情，有善有恶，任用善人国家就安定，任用恶人国家就衰败，公卿大臣中，感情有爱有憎，自己憎的就只看见他的恶，自己爱的就只看见他的善。爱憎之间，应当审慎，如果爱而知道他的恶，憎而知道他的善，除去邪恶不犹豫，任用贤人不猜忌，国家就可以兴盛了。’遗表的大意就是这样，然而朕思考这事，自己恐怕不能避免魏征所说的这些过错。公卿侍臣，可以把这些话写在手板上，知道朕有过错一定要进谏。”
魏征的相貌不超过平常人，而很有胆量智慧，常冒犯天子的尊严进谏，即使遇到君王威吓震怒，也神色不变。曾暗地推荐中书侍郎杜正伦和吏部尚书侯君集有宰相之才。魏征去世后，杜正伦因罪被罢免官职，侯君集叛逆朝廷被杀，太宗开始怀疑魏征与他们是同党。魏征又自己抄录前后谏言多次给史官褚遂良看，太宗知道这事，更不高兴。于是亲手下诏取消了衡山公主与魏征长子叔玉的婚约。魏征的家族从此渐渐衰落了。
魏征有四个儿子：叔玉、叔琬、叔王..、叔瑜。叔玉承袭魏征的爵位，官至光禄少卿；叔瑜官至潞州刺史；叔王..任礼部侍郎，武则天当权时被酷吏杀害。
神龙初，继封叔玉的儿子魏膺为郑国公。
叔瑜的儿子魏华，开元初任太子右庶子。