刘祎之，常州晋陵人。他的祖父刘兴宗，是前朝陈鄱阳王的咨议参军。他的父亲刘子翼，善诵，有学行，隋朝大业初年(605)，历任秘书监，河东柳顾言很看重他。他性不能容忍是非，朋友同事有短，他当面指责。友人李伯药常称扬他说：“刘四即使骂了人，人都不恨。”贞观元年(627)，唐太宗召他入京，他以母老坚决推辞，太宗答应他终养。江南大使赞扬他至孝，常常送给他粮食绸布，并上表表彰他的家族，还把他所居住的地方改名为孝慈里。他母亲去世后，服孝完，太宗征拜他为吴王府功曹，再升迁著作郎，弘文馆直学士，参与编写《晋书》，加朝散大夫之职。永徽元年(650)去世，高宗遣使者吊赠，送灵柩还乡。有文集二十卷。
刘祎之少年时代与孟利贞、高智周、郭正一一起以文章知名，当时，以刘、孟、高、郭齐名。不久他与孟利贞等同进昭文馆。上元二年(675)，他升迁左史，弘文馆直学士，与著作郎元万顷，左史范履冰、苗楚客，右史周思茂、韩曹宾等，都被召入宫中，共同修写《列女传》、《臣轨》、《百僚新识》、《乐书》，共千余卷。当时又密令他参与决策，来分担宰相之权，时人称他为“北门学士”。刘祎之的兄长刘懿之，当时任给事中之职，兄弟并在两省，谈论者很是赞美他们。
仪凤三年(678)，转任朝议大夫、中书侍郎，兼豫王府司马，不久又加中大夫之职。刘祎之有姐在宫中为内职，武则天令她去探望荣国夫人的疾病，刘祎之私自偷见他的姐姐，因此被流配隽州。经过数年，武则天又上表请求高宗召刘祎之回京，拜中书舍人。任相王府司马，又升迁检校中书侍郎。高宗对他说“：相王是我的爱子，因为卿忠孝之家，我想凭借卿高尚品德做师范，能够出现蓬生麻中，不扶自直的好效果。”刘祎之在家敬老爱幼，与亲友和睦相亲，很是受士族的称赞，他每得俸禄，总散于亲属，高宗因此很是看重他。武则天临朝，也很亲近他并委以重任。到豫王即位，刘祎之参与谋划，拜中书侍郎，代理宰相职务，赐爵临淮男。当时，国家和军队中多事，朝廷的所有诏敕，都出自刘祎之笔下，他构思敏捷，都立待可成。到官名改变，刘祎之为凤阁侍郎，代宰相之职。
当时有司门员外郎房先敏犯了错误，降职为卫州司马，他找宰相申诉。内史骞味道对他说“：这是皇太后处分的。”祎之对房先敏说：“因为犯错误而改官，一向是由下向上奏请的。”武则天听到他们的话，认为骞味道善则归己，过则推君，于是贬骞味道为青州刺史；认为刘祎之能推善于君，引过在己，便加官太中大夫，赐五色帛百段，细马一匹。还以此事对侍臣说“：作为臣子处事，在扬君之德，君德发扬，难道不是臣下的美事？况且君是元首，臣是支体，情同一体，好坏也在一体。未闻手和脚的毛病转移到腹背，而能一体安康的。骞味道不存忠心，已经贬官；刘祎之竭忠奉上，情甚可嘉。”纳言王德真对曰：“过去戴至德每有善事，必推于君。”太后说：“所以先朝总是称扬至德能这样为人处事，到他临终，也受到褒扬推崇。为臣之道，难道有超过此行的吗？这样传名万代，难道不美吗？”
唐高宗仪凤三年(678)，吐蕃造成边患，高宗对侍臣们说：“吐蕃小丑，屡次侵犯我边境，我们本来的任务是谋求安定和睦，未能立即诛讨夷狄。而夷狄豺狼成性，不知好歹，恩将仇报，我们放下不管则疆场日日紧张，处理它但又未有上策。现在应该议论得失，请各位各抒己见。”当时，刘景光、郭正一、皇甫文亮、杨思徵、薛元超各有所奏。刘祎之那时是中书舍人，发表意见说：“臣看自古明王圣主，皆有夷狄之患。吐蕃时时骚扰边境，如同禽兽，得到他们的土地，不可居住；被他们侵扰，也算不上耻辱。愿陛下息万乘之威，且宽百姓之劳役。”高宗很赞赏他的意见。
后来，刘祎之曾私下对凤阁舍人贾大隐说：“太后既然能够废除昏君立明君，又何用自己临朝行天子事呢？不如返政给皇帝，来安天下人的心。”贾大隐把这话密奏给武则天，武则天很不高兴，对左右的人说：“刘祎之是我所引用的人，意有背我之心，哪里还顾念我对他的恩呢！”垂拱三年(687)，有人诬告刘祎之收受归诚州都督孙万荣的钱财，又兼与许敬宗的妾有私情，武则天特令肃州刺史王本立审讯此案。王本立宣读太后的手敕，刘祎之说：“未经过凤阁鸾台，怎么能称敕呢？”武则天得知大怒，以刘祎之拒抗天子的刺史罪赐死于自己家中，时年五十七岁。
当初，刘祎之已经下狱，睿宗为他申辩，刘祎之的亲友都以为太后一定会宽宥，私下庆贺，但刘祎之说：“我必死无疑。太后临事独断专横，威福全由自己的心意，皇帝上表，只不过使我加速致祸罢了。”刘祎之在狱中，曾经上疏申诉。到临死前，自洗沐，神色自若，命他的儿子执笔起草谢表，他的儿子见将与父亲诀别，悲痛得不能书写，监刑的人催促，刘祎之就自己拿起笔一气呵成，词理恳切，见到刘祎之谢表的人无不伤痛。当时麟台郎郭翰、太子文学周思钧一起赞扬感叹他的文采。武则天听见便很讨厌他们，于是降郭翰为丞州司马，降周思钧为播州司马。睿宗即位，以刘祎之为宫府旧僚，追赠中书令。有文集七十卷，传于当时。