卫绾是代郡大陵人，因有弄车之技当上郎官，服侍文帝，累积功劳逐渐升为中郎将，性情敦厚谨慎，没有其他杂念。
孝景帝做太子时，曾召请皇上左右近臣宴饮，卫绾装病不去。
文帝临逝前嘱咐景帝说“：卫绾是个忠厚长者，好生对待他。”到景帝即位，过了一年多，对卫绾不闻不问，卫绾则办事日益谨慎认真。
景帝前往上林苑，命中郎将卫绾作为护卫共乘一车。
回宫后景帝问“：你晓得为什么能和我同乘一车吗？”卫绾说：“我是代郡的戏车之人，侥幸因功升为中郎将。
我不知道为什么。”皇帝质问他：“我做皇太子召请你，为什么不肯来？”回答“：真是死罪，我病了。”皇帝赐他剑，卫绾说“：先帝已赐给我六柄剑了，臣不敢再接受赏赐。”皇帝说“：剑是容易被人拿去交换的，难道还独有你把那些剑保存至今么？”卫绾说“：都保留着。”皇上让取来六柄剑，剑都在鞘中，不曾取用过。
卫绾的下属郎官有过失，他总是遮掩，也不与别人争执，有了功劳，总是谦让给他人。
皇帝认为他清廉忠实，没有其他心肠，就任命他为河间王太傅。
吴楚叛乱时，诏令卫绾为将，领河间兵力讨伐叛军，立下功劳，升任中尉。
三年后，因军功封为建陵侯。
第二年，皇帝废除太子，杀了太子的外家亲属栗卿等人。
皇上因为卫绾年老德高，不忍心动他，赐给告假还乡，另派郅都审捕栗氏。
之后，皇上立胶东王为太子，召回卫绾，任命为太子太傅，升任御史大夫。
五年后，替代桃侯刘碐做了丞相。
朝中理事，守职分而已。
不过他从开始当官直至位居丞相，始终无所建树也无有过失。
皇帝认为他敦厚老成适于少主，对他很尊重信任，赏赐很多。
他做了三年丞相，景帝崩逝，武帝即位。
建元年间，因当初景帝卧病之时，官府中多有无辜受冤的囚犯，身为丞相未能负责申冤，被免去相职。
后卫绾去世，谥号哀侯。
儿子卫信袭爵，因酎金之事，封地被除。