令狐德棻，宜州华原人。父亲名熙，在隋朝曾任鸿胪卿。他祖先是敦煌县的豪门大姓。令狐德棻通晓文艺、史学。
隋炀帝大业末年，要他当聄城长，碰上时局动荡，没去上任。淮安王李神通占据太平宫起兵响应高祖李渊，成立总管府，安排令狐德棻任总管府记室。高祖进入关中，推荐他担任大丞相府记室。高祖武德初年，任起居舍人，提升为秘书丞。
高祖曾经问道：“男人的帽子、女人的发髻、一样高大，为什么呢？”令狐德棻回答说“：帽子、发髻在头上，是君主的象征。
晋朝将要灭亡时，君主权势弱小，臣子权势强大，所以江北的女子，上衣窄小、裙子长大。南朝宋武帝刘裕登位，君主恩德庄重威严，上衣和裙子的大小比例随着也改变了。这是近代的例证。”高祖认为是这样。
这时正是大乱过后，经典书籍散失，宫中资料残缺，令狐德棻就请求高祖重新征购流散在各地的书籍资料，设立机构任命官吏整理补录。没几年工夫，图书典籍大致齐全。他又建议“：最近几个朝代没有编纂正式历史，梁、陈、北齐的文史资料还可做依据，至于北周、隋朝的史事记录大多脱漏缺损。如今还有耳闻目睹的人在，编纂史书可做依据；一旦时过境迁，事情都模糊不清，无法收集。陛下从隋朝接过帝位，隋朝继承北周的帝位，两代皇祖的功业多半建立在北周，如果不评议次第，各编一部正史，那么祖先的业绩、历代的功劳不能发扬光大，后世就不能流传了。”高祖认为是这样。于是诏令中书令萧蠫、给事中王敬业、著作郎殷闻礼主编魏史，中书令封德彝、舍人颜师古主编隋史，大理卿崔善为、中书舍人孔绍安、太子洗马萧德言主编梁史，太子詹事裴矩、吏部郎中祖孝孙、秘书丞魏征主编齐史，秘书监窦..、给事中欧阳询、文学姚思廉主编陈史，侍中陈叔达、太史令庾俭以及令狐德棻主编北周史。搜集整理讨论撰写，大多过了一年也没有编纂成功，便停顿下来。
太宗贞观三年(629)，又下诏命令撰写定稿。有人认为魏史已有魏收、魏澹编撰的两种版本，写得已很详细完备，但北周、齐、梁、陈、隋五朝的历史应当编纂。令狐德棻又与秘书郎岑文本、殿中侍御史崔仁师编北周史，中书舍人李百药编齐史，著作郎姚思廉编梁史、陈史，秘书监魏征编隋史，左仆射房玄龄主持这项工作。编纂这些史书的提议，由令狐德棻提出，史书编写成功后，赏赐给他四百匹绢。他被提升为礼部侍郎，兼职编写本朝历史。逐步加封爵位为彭城县子。后又改任太子右庶子。太子李承乾被废除，令狐德棻受株连罢官成为普通百姓。后来召回任命为雅州刺史，又因事获罪免职。碰上编纂晋史，房玄龄奏请起用他。参加撰写的共十八人，令狐德棻是老前辈，所以分类、条例多半由他拟定。授予秘书少监职务。
高宗永徽初年，又任礼部侍郎、弘文馆学士，主持编写本朝历史，提升为太常卿。高宗曾经召集宰相和弘文学士在中华殿论辩，问：“怎样做才是王道？怎样做才是霸道？又应该把哪种摆在前头？”
令狐德棻说：“王道采用德政，霸道采用刑罚。夏朝、商朝、周朝纯粹采用德政就是王道，秦朝专门采用刑罚就是霸道，到了汉朝王道、霸道都用，曹魏、晋朝以后，王道、霸道都丢失了。如果要用，先用王道，但最难用好。”高宗说：“如今什么最为重要？”令孤德棻回答说“：古人主持朝政，把清心寡欲，减轻百姓负担作为根本。如今天下很太平，全年粮食大丰收，只有减少税收、减轻劳役最为重要。”高宗又问夏禹、商汤兴盛，夏桀、纣王衰亡的原因，令狐德棻回答说：“《左传》上讲：‘夏禹、商汤遇事归罪于自己，他们兴盛就迅速；夏桀、纣王凡事归罪于他人，他们衰亡也就很快。’这两位国君迷恋女色，杀戮劝谏的人，开创炮烙的酷刑，这就是他们灭亡的原因。”高宗非常喜悦，用丰厚的赏赐酬谢他的论述。提升他为国子祭酒、崇贤馆学士，封给公的爵位。
以金紫光禄大夫的头衔辞职退休。去世时八十四岁，谥号为宪。