庾肩吾字慎之，八岁就能赋诗，兄长庾於陵对他十分友爱。起初他担任晋安王的国常侍，晋安王常常迁移守地，庾肩吾一直跟随迁移。在雍州，他被任命与刘孝威、江伯摇、孔敬通、申子悦、徐防、徐詀、王囿、孔铄、鲍至等十人抄录众多典籍，供给很多果品，号为高斋学士。晋安王做了皇太子，庾肩吾兼东宫通事舍人。后来担任湘东王录事、咨议参军、太子率更令、中庶子。
简文帝创建了文德省，设置了学士，庾肩吾的儿子庾信、徐詀的儿子徐陵、吴郡的张长公、北地的傅弘、东海的鲍至等人成为其中的人选。齐朝永明年间(483～493)，王融、谢緿、沈约在文章中开始使用四声，作为创新，到了这时，转而拘守声韵，更加靡丽，超过了以往。简文帝在给湘东王的信中论述道：
“近来见京城的文体，钝弱超过往常，比着学习浮华，争相讲求舒缓，既不同于比兴，也背离了《风》《骚》。六典三礼，使用则有地方，吉凶嘉宾，运用也有处所，不曾听说吟咏性情，反而模拟《内则》之篇，执笔写史，又去依照《酒诰》之作。迟迟春日，反而去学《归藏》，湛湛江水，却是如同《大传》。
“我既然在写文章方面很笨拙，不敢轻易地有所指责，只是以当代的作品，依次与古代的才士相比，远有杨、马、曹、王，近有潘、陆、颜、谢，看他们的遣词用心，全不相似。如果以今天的文章为是，那么就是过去的贤人为非，如果认为过去的贤士可以称扬，那么今天的文体就该抛弃。如果说他们都是各怀己见，则不敢赞同。又当时有效法谢康乐、裴鸿胪文章的，也对他们很有疑惑。为什么呢？谢氏吐言高拔，出于自然，时而有不够严谨的，是他的糟粕。裴氏则是良史之才，完全没有篇章的美感。这就是学谢而没有得到他的精华，只是得了他的冗长；学裴则弃绝了他的所长，只得了他的所短。谢固然是精巧而不可效法，裴也是质朴而不应羡慕。所以心猜臆断之属，好名忘实之类，追随谢氏，哪是三千弟子所能赶上，遵从裴氏，害怕两唐不能流传。所以玉徽金铣，反而被不识货的人所鄙视，《巴人》《下俚》，更能为郢城中的人所爱听。《阳春》曲高而不能唱和，妙声断绝而无法寻找。竟然不精细探讨，衡量文雅质朴，虽然有异巧之心，但终究愧于高手。所以手握珍宝怀藏美玉之士，望着郑国而知道退返；头戴章甫脚穿翠履之人，远见闽乡而深长叹息。诗歌已是这样，散文却又相同。只是墨汁不会言语，要受他们渲染，纸张没有情感，任凭他们叠画。太厉害了，文章的邪道横流，竟到了这种地步！
“就像近代谢緿、沈约的诗歌、任窻、陆亻垂的散文，这些都是文章的冠冕，作品的楷模。张士简的辞赋，周升邈的论辩，也都属于高手，很难再次遇到。文章没有衰落，必定会有英才，其中的领袖人物，非贤弟还能有谁！常常想作讨论，无人可以交谈，想念我的子建，与你共同商榷。辩明文学的清澈与混浊，让它能如同泾水和渭水，这样论人物，颇似汝南王。红白已经判定，评论有所不同，使那些身怀鼠技的人知道惭愧，滥竽充数的人自感耻辱。相思不见，多么忧伤！”
后来简文帝即位，以庾肩吾为度支尚书。当时上游的藩镇，都凭据州城抗拒侯景，侯景假传诏令让庾肩吾出使江州去劝说当阳公萧大心。萧大心投降了贼军，庾肩吾于是逃到了东部。后来贼将宋子仙攻下了会稽，悬赏抓到了庾肩吾，打算把他杀掉，首先对他说：“我听说你能作诗，现在可以当即作一首，如果能够，就可以保全你的性命。”庾肩吾挥笔便写成了，辞采极美，宋子仙便放了他，让他做建昌令。他于是从小路奔往江陵，曾担任江州刺史，兼义阳太守，封为武康县侯。死后，赠他为散骑常侍、中书令。他的儿子名叫庾信。