刘之遴字思贞，八岁能写文章。他的父亲刘虬说：“这孩子必然会以文学使我们的家族兴盛。”他常常对他的儿子们说：“如果和颜氏相比，之遴是得了我的文风。”由此州里很称赞他。当时有个和尚僧惠有卓异的见识，每次到刘虬那里去，必定喊着刘之遴的小名说：“僧伽是个有福有德的孩子。”于是握着他的手走了进去。
十五岁的时候，举为茂才，进行明经对策的时候，沈约、任窻见到他后感到非常诧异。吏部尚书王瞻曾经等候任窻，遇到刘之遴在座，任窻对王瞻说：“这是南阳刘之遴，学优而未仕，您这明鉴之士应该加以任用。”于是把他聘为太学博士。任窻说：“对他进行称赞，不如当面测试。”当时张稷新任尚书仆射，托任窻给他写一份推辞的奏表，任窻让刘之遴代作，执笔立即写成。任窻说：“荆南的秀气，果然有异才，以后为官必定超过我。”御史中丞乐蔼就是刘之遴的舅舅，御史弹劾官员的奏章，都是让刘之遴起草。后来他做了荆州中从事，梁简文帝到了荆州，便升迁他为宣惠记室。刘之遴好学明鉴，博览群书，当时刘显、韦棱都号称记忆力强，刘之遴常常与他们一起讨论，都超不过他。
逐步升迁为中书侍郎，后来任命为南郡太守。武帝对他说：“卿的母亲年纪和德行都已经很高，所以让卿衣锦还乡，去尽奉养的天职。”转任西中郎湘东王萧绎的长史，太守职务依旧。起初，刘之遴在荆州府时，常常寄居在南郡，忽然梦见前太守袁彖对他说：“您以后当会成为折臂太守，就住在这里。”后来刘之遴驾车的牛受惊奔跑，他从车上掉下来，摔折了胳膊，右手偏直，不再能屈伸，写字只能以手去就笔，他哀叹说：“难道要遭受墨刑而做诸侯么？”周舍曾经跟他开玩笑说：“虽然并排坐位可以横卧，却恐怕简陋的巷子里没有枕头。”后来他连续两次辅佐藩王，两次做本郡的长官，曾任秘书监。
后来他出京担任郢州行事，刘之遴心里不愿意出去，坚持推辞说：“去年我命运毁于离巽，不敢东下；今年所忌讳的又在西方。”武帝手敕说：“朕听说有了妻子儿女，对双亲的孝心就薄弱了，有了爵位俸禄，对君王的忠心就薄弱了。卿既然家内满足了，理当会忘记奉公的志节。”于是被有关部门上奏免官。后来担任都官尚书、太常卿。
刘之遴好古爱奇，在荆州收集了古器数十上百种，其中有一个古器形状好像盆盂，可以容纳一斛，上面有涂金的字，当时的人没有能认识的。又在东宫献了古器四种。其中第一种，是用铜雕刻的酒器二枚，两耳有银刻的装饰，铭文说：“建平二年造。”其中第二种，是金银涂刻的古樽二枚，有篆字铭文写道：“秦容成侯适楚国之岁造。”其中第三种，是外国澡罐一口，有铭文说：“元封二年，龟兹国献。”其中第四种，是古代制造的澡盘一枚，铭文写着：“初平二年造。”
当时鄱阳嗣王萧范得到了班固所写的《汉书》真本献给了东宫，皇太子让刘之遴与张缵、到溉、陆襄等参校异同，刘之遴录下了其中相异的地方几十处，其大略是说：“按古本《汉书》说是永平十六年(73)五月二十一日己酉，郎班固上，而今本没有上书的年月日。又按古本的《叙传》号为中篇，而今本称为《叙传》。又今本《叙传》记载班彪的事迹，而古本上说‘班彪自己有传’。又今本的《纪》以及《表》《志》《列传》不符合次序，而古本符合次序，总共编成三十八卷。又今本的《外戚》在《西域》后面，古本的《外戚》紧接在《帝纪》下面。又今本中的《高五子》、《文三王》、《景十三王》、《孝武六子》、《宣元六王》混杂在各篇传记的案卷中，古本的《诸王》都排列在《外戚》的下面，在《陈项传上》。又今本的《韩彭英卢吴述》中说：‘韩信只是个挨饿的奴隶，英布实际上是个受过墨刑的囚徒，彭越也是一个盗贼，吴芮做江湖小官。风云兴起而蛟龙腾跃，结果变成了侯王。’古本叙述道：‘淮阴坚毅，持剑闯荡，国家英才，实在要称彭越、英布。结果变成了侯王，风云兴起而蛟龙腾跃。’又古本第三十七卷注音释义，以帮助理解，而今本没有这一卷。”
刘之遴好写文章，多学古体，与河东裴子野、沛国刘显总是一起讨论古籍，因此成为好友。当时《周易》、《尚书》、《礼记》、《毛诗》都有武帝的解说，只有《左氏传》还缺着，刘之遴便著了《春秋大意》十类，《左氏》十类，《三传同异》十类。共合三十类上奏。武帝非常高兴，下诏书回答说：“看过了所写的《春秋》义解，考校事实讨论书本，词语虽少而意蕴深远，编年的内容，阐述的意义广博。左丘明继承了儒家的风范，公羊氏崇尚西河的学说不追随铎椒的阐释，不采取瑕丘的解说。继承胡母氏，董仲舒为盛，因循《谷梁传》，要数车千秋。张苍传给左氏，贾谊承袭荀卿，源本分为流派，意旨很不相同，详略各异，由来已久。过去我年纪较轻，研讨的时间很长，自从把它丢开后，至今将近六十年。加上晚秋天短，事忙很少闲暇，半夜里就要起床，来不及翻阅研讨。必须等待夏季，打算再作研究，如果温习旧业还能随心，另外再来回答你的提问。”
开始武帝在齐朝担任荆州府咨议，当时刘之遴的父亲刘虬隐居在百里洲，很早就与他互相听说。武帝偶然困难，派人去向刘虬换谷子一百斛。刘之遴当时在父亲身边，说：“萧咨议遇到挫折，怎么能够把谷子舂好，希望拿米给他。”刘虬依从了他。武帝即位后常常怀念他们。侯景起初立萧正德为皇帝，刘之遴当时落在了侯景那里，将要让他交授玉玺。刘之遴预先知道了，便剃去头发披上了法衣才免掉。在此以前，平昌人伏挺出家，刘之遴写诗嘲笑他说：“《传》闻伏不斗，化为支道林。”等刘之遴遇到了变乱，便披上了僧人的黑衣，当时人便拿他取笑。
不久避难回乡，湘东王萧绎曾经嫉妒他的才学，听说他西上到了夏口，便秘密地送药把他杀死。他不想让别人知道，便自己为刘之遴做了墓志铭，给了丰厚的馈赠。刘之遴前后的文集共五十卷。
他的儿子刘三达字三善，几岁就能清谈、写文章。州将湘东王萧绎听说了，便聚集了很多的宾客，召他来测试。他说理作诗，都很有条理。十二岁时，有一次听了江陵令贺革讲《礼》回来，便进行复述，不漏一句。十八岁死去。刘之遴深怀哀悼和遗憾，给他的墓题字称作“梁妙士”，以作表彰。