卫玄字文升，河南洛阳人。
祖父卫悦，西魏司农卿。
父亲卫扌剽，侍中、左武卫大将军。
卫玄小时即有才气见识，北周武帝为藩王时，召卫玄任记室。
升任给事上士，承袭兴势公的爵位，食邑四千户。
转任宣纳下大夫。
周武帝总理国政后，授卫玄为益州总管长史，赐给他万钉宝带。
稍有升迁，到任开府仪同三司、太府中大夫、兼管内史事，仍兼任京兆尹，有强干之名。
周宣帝时，卫玄因忤逆圣旨而被免除官职。
隋高祖作北周丞相，卫玄代理熊州刺史。
和州蛮人反叛，卫玄以行军总管身份打平了他们。
高祖受禅后，卫玄升任淮州总管，晋封同轨郡公爵。
后坐罪免职。
不久，拜授岚州刺史。
碰上大修长城的劳役，有诏让卫玄监督。
不久代理朔州总管，后任卫尉少卿。
仁寿初年，山獠造反作乱，卫玄出京当资州刺史，以镇守安抚那里。
卫玄到任后，当时山獠正在围攻大牢镇，卫玄单人独骑到獠人的兵营，对獠人说：“我是刺史，奉皇上圣旨来安抚你们，不要怕。”诸贼不敢动。
卫玄于是晓以利害，獠人的渠帅受了感动，解围而去。
前后归顺的獠人有十几万人。
高祖十分高兴，赐卫玄缣纟采二千匹，授他为遂州总管，仍让他安抚剑南。
炀帝即位，又调他当卫尉卿。
夷人、獠人舍不得他走，都来送行，几百里的路上，送者不绝。
卫玄晓谕他们说：“天子下诏书调我回去，我不能久留。”于是与他们告别，夷人、獠人挥泪而去。
过了一年多，转任工部尚书。
其后拜授魏郡太守，仍旧担任工部尚书。
炀帝对卫玄说：“魏郡是有名的都市，是要冲之地。
那里的百姓很奸刁，所以麻烦你去治理。
这个郡离首都并不太远，你应该常回京师，参谋朝政。”赐他缣纟采五百段，而派他去。
不久，拜授右侯卫大将军，代理左侯卫大将军之事。
大业八年(612)，转任刑部尚书。
辽东战争中，他代理右御卫大将军，率部出增地道。
当时各路人马大多出师不利，只有卫玄所部全部回来。
拜授卫玄为金紫光禄大夫。
大业九年(613)，炀帝到辽东，派卫玄与代王杨侑留守京师，拜授卫玄为京兆内史，仍旧担任刑部尚书，同意卫玄见机行事，又令代王待卫玄为老师。
碰上杨玄感围逼东都洛阳，卫玄率领步兵、骑兵七万人马增援东都。
部队来到华阴，挖了杨素的坟墓，焚烧了他的骨头，把坟地全部铲平了，以显示必死的决心给士兵看。
出了潼关，有人担心崤山、函谷关之间有埋伏，请从陕县沿黄河东下，直奔河阳，以进攻叛军的背后。
卫玄说：“以我看来，这一计谋不是杨玄感那小子所想得出来的。”于是击鼓前进。
过了函谷关，真如所预料的没有伏兵。
卫玄于是派武贲郎将张峻为疑兵，走南道，卫玄率统大部队奔向城北。
杨玄感迎战，卫玄边战边走，驻军于金谷。
他在军中扫地以祭高祖说：“刑部尚书、京兆内史臣卫文升，冒昧地昭告于高祖文皇帝的神灵：自从皇家承受天命，到现在三十多年，武功文德，渐渐影响海外。
杨玄感辜负圣恩，自作蛇豕，蜂飞蚁聚，犯我王师。
臣下我两代受恩，一心侍奉国家，统率熊罴之众，志在剿灭逆党。
如国运尚在，应让丑类冰碎；如国运完了，则让我老臣先死。”他语气抑扬，三军感动，无不呜咽。
当时卫玄寡不敌众，与贼人频频作战，频频失利，死伤大半。
杨玄感率全部精兵来进攻，卫玄苦战，贼人稍稍退却。
卫玄进而驻军北芒。
刚好宇文述、来护儿的援兵赶到，杨玄感惧怕，因而向西逃走。
卫玄派通议大夫斛斯万善、监门直阁庞玉两人为前锋，追赶叛军，赶到阌乡，与宇文述等合击破敌。
炀帝回到高阳，调卫玄到行宫去。
炀帝慰劳他说：“你是国家的大臣，使我无西顾之忧。”于是下诏书说：“近来妖雾充斥，搅动关、河。
文升率领义师，应机赴敌，在华山黄河一带，奋勇杀敌，打败凶丑。
应该下令奖赏，授他为右光禄大夫。”赐给他良田、府第、物资巨万。
他回来镇守京师长安，炀帝对他说：“关西就全部交给你了。
你安全，国家就安全；你危险，国家也危险。
出入要有卫兵防卫，坐卧都要关好门。
勇士注重防身，就是这个意思。
现特给你一千兵卒，以补充你的卫队。”赐给他玉麟符。
大业十一年(615)，有诏让卫玄安抚关中。
当时反贼蜂起，百姓饥荒，卫玄竟不能救助，而官府腐败，公开行贿。
卫玄自因年老，上表请求退休。
炀帝派使者、内史舍人封德彝去对他说：“京师长安，是国家的根本，是王业的根基，宗庙园陵所在的地方。
借你这个老帅，睡在那里镇守。
我为国家考虑，不能同意你退休。
所以派德彝去，口述我的旨意。”卫玄才作罢。
大唐义军入关，卫玄自知不能守住长安，又忧又怕，自称有病，不管政事。
长安攻陷后，他回到家里。
义宁年中去世，时年七十七岁。