颜延之字延年，是琅笽临沂人。曾祖颜含，是晋朝的光禄大夫。祖父颜约，是零陵太守。父亲颜..，为护军司马。颜延之少年时候是个孤儿，家里贫穷，住处靠近外城，好读书，无所不看，文章为当时之冠。好饮酒，不拘小节。年龄三十岁还没有结婚。妹妹嫁给了东莞刘穆之的儿子刘宪之。刘穆之听说了他的美好才学，准备让他做官，想先与他相见，颜延之不去。
后来他做了宋武帝豫章公世子的中军行军参军。等武帝北伐的时候，授命为宋公，府中派颜延之前往庆贺这一特殊任命。行至洛阳，环视旧时的宫室，都已经成了庄稼地，便悲凄地吟咏起《黍离篇》。路上作诗二首，为谢晦、傅亮所欣赏。
武帝受命登基，他被补为太子舍人。雁门人周续之隐居在庐山，以儒学著称。永初年间(420～422)，被征调到京城，开设馆堂让他住在里面。武帝亲自去探视，朝廷的贤才都到了。颜延之在宫中的官员中地位较低，却被引到了上席。皇上让人问了周续之三个问题，周续之以很好的辩词作了回答，颜延之总是用简要的言语连续压倒周续之。皇上又让他正面作出解释，言词简洁，说理畅达，无不称赞。又调任太子中舍人。当时尚书令傅亮认为自己的文章在当时无人能比得上，颜延之凭依自己的才华，不肯在他以下，傅亮十分恼恨。庐陵王刘义真待颜延之很好，徐羡之等人怀疑颜延之与他是同党，心里很不高兴。
少帝即位后，颜延之逐步升迁到始安太守。领军将军谢晦对颜延之说：“过去荀勖忌妒阮咸，排斥他去管理始平郡，现在您又掌管始安郡，这可以称作是‘二始’了。”黄门郎殷景仁也对他说：“这就是常说的人们嫌恶俊杰之士，世俗毁谤文雅之人。”颜延之到始安郡去，路上经过汨潭时，为湘州刺史张邵写了一篇《祭屈原文》以表达心意。
元嘉三年(426)，徐羡之等人被诛杀，颜延之被征召为中书侍郎，又转任太子中庶子，兼任步兵校尉，所受到的封赏和待遇非常优厚。颜延之因为有才学而受赏识，当时的人大多对他推崇折服，惟有袁淑年纪比颜延之小一半，却并不称许尊重他。颜延之气愤地在众人面前斥责他说：“从前陈元方与孔元骏做文学时年纪相同，而孔元骏却在陈元方的坐床前面下拜，现在你为什么不来拜我呢？”袁淑无言对答。
颜延之疏放怪诞，不能被当局所喜欢，他见刘湛、殷景仁独自担当要职，心里感到不平。常常说“天下事哪是靠一个人的智慧所能做完的”。言词激烈，常常触犯权要人物。又在少年时候他曾经做过刘湛的父亲刘柳的后将军主簿，到了现在，他对刘湛说：“我的名声和职位不上升，应当是因为做过您家的吏人的缘故吧！”刘湛很恼恨，告诉给了彭城王刘义康，把他派出京城去做永嘉太守。颜延之十分怨愤，便作了一首《五君咏》，以描述竹林七贤，山涛、王戎以显贵的身份被罢免。咏稽康说：“鸾翮有时铩，龙性谁能训！”咏阮籍说：“物故不可论，途穷能无恸！”咏阮咸说：“屡荐不入官，一麾乃出守。”咏刘伶说：“韬精日沉饮，谁知非荒宴！”这四句实际上就是他的自叙。刘湛和刘义康因为他词语中的含义不谦逊，大怒，想把他罢免到远方的郡中去。文帝给刘义康的诏书中说：“应该让他在故乡思过，如果还是不改，就要放逐到东部去；要是发展到难以饶恕的地步，自然可以把情况如实记录下来。”于是颜延之一连七年闲住在乡间，不问外界的事情。
中书令王球以名公儿子的身份超脱于时事之外，与颜延之彼此非常要好，常常救济他家的穷困。晋朝的恭思皇后埋葬，参加丧事活动的众多官员，都取用义熙元年(405)授官的人。让颜延之兼任侍中，地方官吏呈送书信，颜延之喝醉了，把信扔在地上说：“颜延之侍候不了活着的人，怎么侍候得了死去的人呢？”文帝曾经召见颜延之，频频传诏却不见他来，他天天只在酒店脱衣露体地唱着挽歌，完全不作回答，另一天酒醒以后才去晋见。文帝曾经询问他几个儿子的才能如何，颜延之说：“颜竣学到了我的散文，颜测学到了我的韵文，颜..学得到了我的忠义，颜跃学到了我的饮酒。”何尚之嘲讽道：“谁学到了您的张狂？”颜延之回答说：“我的张狂是无人可以学到的。”何尚之担任侍中有一次值班，颜延之醉醺醺地来找他。何尚之望见他来了就假装睡觉，颜延之挑开帘子仔细看了看说：“朽木难雕。”何尚之对左右人说：“这个人醉了十分可怕。”颜延之在家闲居无事，便写了一篇叫作《庭诰》的文章训诫子弟。
刘湛被处死以后，颜延之被起用为始兴王刘浚的后军咨议参军、御史中丞。他在任上很清闲，什么事情也不上奏。调任国子祭酒、司徒左长史。何尚之平素与颜延之狎昵，他给王球写信说：“颜延之以后会有其他任命，教府将不再有今天的光辉。”因为有人告他买了别人的田地而不肯按价还钱，尚书左丞荀赤松向皇上禀奏道：“买地要房，是从前的贤人所鄙视的。颜延之只看财利，轻率冒犯旧时的传统，倚仗诏赐的恩惠，排挤其他值勤官员，将近一年了，仍然没完没了。贪图财利，无所顾忌。颜延之从前曾经因为犯事而被斥退，又被提拔上来，却竟然并不悔改，不停地怨愤诽谤。交结卑贱小人，沉迷在饮酒当中，胡乱讥刺诽谤，诋毁朝中官员。仰仗自己的过分荣耀，增生刻薄品性，私下凭恃皇上的关照，养成强横的心理。对外表示要求很少，而内怀竞争意识，争薪水，求升官，不知道终止。参加宴会排定位次，肆意辱骂上座宾客。皇上以海量宽容，常常加以教养训练。爱心包括了具有雕虫小技的人，不忍将他抛弃。而他却骄纵没有节制，一天一月逐渐增长。我听说名声超过实际，孟子感到可耻，况且声不打外面来，名是从自己出。虽然心智低劣，却自比很高，假气虚加张扬，竟不惭愧畏惧。怎么可能再辅佐五教，给朝廷增加光彩！请求以颜延之关于买田的讼词不真实、胡乱干扰皇上的视听、以强欺弱的原因，免除他所担任的官职。”诏令加以认可。后来他担任了秘书监、光禄勋、太常。
当时和尚释慧琳因为才学被文帝所欣赏，朝廷的政事很多都与他谋划，于是士人和平民敬仰。皇上每次引见他，常常上去坐在单独一个坐榻上，延之十分嫉妒他。有一次趁着醉酒告诉皇上说：“从前同子陪同乘车，袁丝神情严肃。这是三台的座位，怎么可以让受刑之后的人坐上？”皇上发怒而面色改变。
颜延之性格既急躁，又加上饮酒过量后，放肆地直言，毫不回避，所以闲谈的人都不和他在一起，称他作颜彪。他居身节俭，不谋取财利，布衣服、素饭菜，在郊野独自喝酒。当他感到舒适的时候，旁若无人。元嘉三十年(453)，辞官归居。
元凶劭杀死皇上自立，任命他为光禄大夫。长子颜竣为孝武帝南中郎咨议参军。后来义军入京讨伐，颜竣制订密谋，兼写了檄书，刘劭召来了颜延之拿了檄文让他看，问他说：“这文章是谁写的？”颜延之说：“是颜竣的手笔。”又问：“你怎么知道？”他说：“颜竣的文体，臣不会不认得。”刘劭又说：“言辞怎么会到这种地步？”颜延之说：“颜竣尚且不顾老臣我，怎么还能为了陛下？”刘劭的怒气才消了，于是得以免祸。
孝武帝即位，任命他为金紫光禄大夫，兼任湘东王师。他曾与何偃一同跟从皇上到南郊去，何偃在路上远远地呼喊颜延之说：“颜公！”颜延之因为他太轻佻，便加以责怪，回答他说：“我不是三公之公，也不是田家之公，又不是您家阿公，为什么呼我为公？”何偃羞惭而退。
颜竣后来贵重，权倾朝廷，凡是他所供应的资财，颜延之一点也不接受。器物服装都没有改变，宅院房舍依旧，常常乘着弱牛车，遇到了颜竣的仪仗队，便躲在路旁。他又爱好骑马在街巷中游逛，遇到好友熟人就坐在马鞍上要酒喝，得到了必定要喝尽，欣然自得。他曾经告诉颜竣说：“平生不喜欢见要人，现在不幸见到了你。”他见颜竣建造宅院，便对他说：“要很好地自为，不要让后世人笑你愚蠢。”他上表解去了王师的职务，配给他亲信二十人。
他曾经有一天早晨去找颜竣，遇到宾客盈门，颜竣还躺着没起，颜延之发怒说：“恭敬自谦，是福气的根基。骄矜傲慢，是灾祸的起点。何况你是出自粪土当中，而升到云霞之上，骄气不可长，这样难道能持久吗？”
颜延之有个爱姬，没有这个爱姬在跟前他便吃不饱，睡不安。爱姬凭着得宠，曾经摇荡颜延之，以致使他从床上掉下来摔伤，颜竣便杀死了她。颜延之痛惜至极，常常坐在灵柩上哭着说：“是贵人杀了你，不是我杀了你。”有一次冬天在灵位前哭着，忽然看见妾推倒屏风来压颜延之，颜延之害怕地坠落在地上，于是生了病。孝建三年(456)死去，年纪七十三岁。赠为特进，谥号为宪子。
颜延与陈郡谢灵运共以辞采齐名，而速度快慢悬殊。文帝曾经分别下令让他们拟作乐府《北上篇》，颜延之受到诏令便作成了，谢灵运好久才写就。颜延之曾问鲍照自己与谢灵运两人的优劣怎样，鲍照说：“谢的五言诗如初开的芙蓉，显得自然可爱。您的诗像铺展的锦绣，也是彩绘满眼。”颜延之常常贬斥汤惠休的诗，对别人说：“惠休的作品，只是里巷中的歌谣罢了，看来要贻误后生。”当时谈论的人认为颜延之、谢灵运两人自从潘岳、陆机以后，文士无人能赶得上，江右最称道潘、陆，江左最称道颜、谢。