薛胄字绍玄，河东汾阴人。
父亲薛端，北周蔡州刺史。
薛胄小时就很聪明，每读一些奇书，就通晓其中的意思。
他常常感叹那些作注的人没有领会前人书中蕴含的深义，就用自己的理解来为之辨别、纠正，读书人没有不称赞的。
他性情豪爽，立志于功名。
在周明帝的时候，他继承了文城郡公的爵位，屡屡升迁，升到了上仪同的官职，不久拜为司金大夫，后来又加授开府。
隋高祖受禅后，提拔他做了鲁州刺史，没去上任，任检校庐州总管事。
不久又授为兖州刺史。
到任后，关押的数百名犯人，他审讯上十天就一一结案了，监狱里空荡荡的。
有一个陈州人名叫向道力的，假充高平郡守，在他就要去上任的时候，薛胄在途中遇到了他，发现他有问题，想把他留下来追问。
司马王君馥苦苦规劝，薛胄才让他到高平郡去了。
走后不久，薛胄又后悔了，马上派主簿去追赶拘禁道力。
有个在官署里任职的人，名叫徐俱罗，他曾当过海陵郡守，在此之前已被道力代替了他，等到现在，十年过去了，官府和老百姓都不曾发觉。
俱罗就对王君馥说：“向道力代我任郡守，已经多年了，刺史大人现在怎么还怀疑他呢？”王君馥把俱罗的话告诉薛胄，又一再向他请求。
薛胄呵斥王君馥说：“我已经清楚地知晓这个人是冒充的，司马你包庇奸人，罪当连坐！”王君馥这才停止劝说，于是前往逮捕道力，道力非常害怕，供认了假充之罪。
薛胄发现坏人并使之伏法，大都类似此事，当时人们都称他为神明。
在这之前，兖州城东边，沂水、泗水合往南流，在大泽之中泛滥成灾，薛胄于是命令人们积石筑坝将其堵住，并疏通水道，使它向西流去。
这样，池塘沼泽之地都变成了良田。
又打通河道运输，使淮海边的人们都受到了利益。
老百姓们都依赖这条河得以为生，称这条河为“薛公丰兖渠”。
薛胄因天下太平，建议皇上登高祭天，以宣扬功德的盛大显赫。
于是派遣博士登上泰山，观览古迹，作《封禅图》和祭天的仪式礼节一并呈献给皇上。
高祖谦虚推让，没有应允。
后来薛胄转任郢州刺史，前前后后都有仁政。
后来调他回京，拜他为卫尉卿，不久转任大理卿，任职期间，执法宽厚公平，很有称职的名声。
后来薛胄升任刑部尚书。
当时左仆射高赹渐渐被皇上猜忌，等到王世积被杀之后，高赹也因事受到牵连。
皇上借此想定高赹之罪。
薛胄为他洗刷罪名，并且不偏不倚地讨论他的案件。
就因这件事，薛胄违背了圣旨，被用镣铐拘禁起来，很久才得到赦免。
后来派他查核相州政事，很有能干的名声。
恰逢汉王杨谅在并州叛乱，派叛将綦良向东掠夺土地，攻打慈州。
刺史上官政向薛胄求援，薛胄害怕叛军厉害，不敢抵抗。
綦良又率兵攻打薛胄，薛胄想用计退兵，就派亲近之人鲁世范劝说綦良：“天下的事情难得说清啊，薛胄作为人的臣子，在官与不在官，总要找到他应得的位置，你又何必苦苦相攻呢？”綦良于是弃之而去，进而谋取黎阳。
等到綦良被史祥击败，他弃军逃奔薛胄。
朝廷以为薛胄有二心，把他押解到大理寺。
相州的官吏、老百姓一向怀念他的恩德，到朝廷为他说好话的有一百多人。
薛胄最后还是因牵连被除名，发配流放岭南，在途中因病死去。
他有两个儿子：薛筠、薛献，一并知名于世。