垣崇祖字敬远，一字僧宝，是垣护之弟弟的儿子。父亲垣询之，骁勇有气力。元凶劭弑杀皇上，他担任辅国将军张柬的副官。当时张超之动手把皇上杀死，也是隶属于张柬的一个领军。垣询之打算把他杀掉，顾虑张柬不同意；张柬早有这种想法，又不知道垣询之是否同意，互相观察。正巧张超之要前来商量事情，张柬脸色变化，垣询之觉察到了，便共同定下计谋，派人召见张超之。张超之心里怀疑而没到，另外住到了其他地方。垣询之不知道，径直前往去杀他，在床上杀死了他的仆人，于是和张柬一起南逃。当时孝武帝已经即位，让他做了积射将军。梁山战役，奋力作战，中了流箭身亡，追赠为冀州刺史。
垣崇祖十四岁时，很有才干谋略，伯父垣护之对自己宗族的人说：“这孩子必定会光大我们的族门！”后来跟随徐州刺史薛安都入魏朝。不久又派门宗占据朐山归宋朝，求往淮北立功，明帝让他担任北琅笽、兰陵二郡太守，封为下邳子。
后来齐高帝镇守淮阴，垣崇祖当时戍守朐山，接受他的统率，对他十分敬奉，高帝因为他的武勇，待他很好，垣崇祖对他的妹夫皇甫肃说：“这真是我的君主。”于是秘密表白了自己的忠诚之节。高帝的威名已经很大，宋明帝尤其忌恨，征调他为黄门郎，谋划害死高帝，垣崇祖献计使他得以免祸，从此更加亲信，参与密谋。元徽末年，高帝惧怕遭祸，让垣崇祖入魏朝。垣崇祖便把家小托付给皇甫肃，带着几百人将要进入魏朝边界，再听以后的指示。正赶上苍梧王被废黜，召垣崇祖回到京都。齐高帝新登帝位，恐怕魏朝讨伐，便以送刘昶作为缓和。高帝认为军队的入侵必将是在寿春，非垣崇祖无人可以抗御，便调他为豫州刺史、监豫司二州诸军事，封为望蔡侯。
建元二年(480)，魏朝派刘昶进攻寿春，垣崇祖便在城西北建立堤堰堵塞肥水，在堰北建起一座小城，派了几千人守卫。他对长史封延伯说：“敌人必定全力进攻小城，如果破开这道堤堰，放水一冲，比三峡还急，自然淹没，岂不是出小力而获大利？”后来魏军由西路聚集到堰南，分军到东路，赤膊攻击小城，垣崇祖戴着白纱帽，坐轿上城，亲自转动车前扶手。下午半晌时，决开了小史埭，水势奔腾而下，魏朝的攻城军队，淹死了一千余人，大部队退走。起初，垣崇祖在淮阴见到了高帝，便自比韩信、白起，只有皇上独自认可。等战败魏军的捷报送到，皇上对朝臣说：“崇祖总是自比韩、白，现在真是其人呀。”晋升他为都督。垣崇祖听说陈显达、李安人都增加了军事仪仗，便也上表请求鼓吹横吹乐队。皇上的敕令说：“韩、白怎能不与众异样？”给他配了乐队一部。
垣崇祖担心魏朝再攻淮北，上表请求迁徙下蔡戍到淮东。当年冬天，魏朝果然要攻下蔡，等听说内迁，于是扬言要平除故城。众人怀疑魏朝会在故城建立戍卫，垣崇祖说：“下蔡离军镇近在咫尺，魏人岂敢设置戍卫？实际是想要除掉此城。我正怕他们不住地奔走，砍杀不尽哩！”魏军果然挖掘下蔡城，垣崇祖把他们打得大败。
武帝即位，他担任五兵尚书，兼任骁骑将军。起初，豫章王十分得宠，武帝在东宫，垣崇祖不肯趋附。等破了魏军，诏令让他回朝，和他共同密议，武帝对他怀疑，曲意加以礼待。酒后对他说道：“世间传言说，我已经敞开怀抱，从今往后，以富贵相赠。”垣崇祖拜谢。离去以后，高帝又派荀伯玉给他下令完成边塞军事任务，他接受了任务连夜出发，无法到东宫告别，武帝以为他是不尽诚心，便记在心里。永明元年(483)，武帝下诏令说他与荀伯玉煽动边乱，把他杀死。旧友当中没人敢去的，独有前豫州主簿夏侯恭叔拿出家财为他出殡葬，当时的人把他比作栾布。