徐陵，字孝穆。他母亲臧氏，曾经梦见五色彩云化为凤鸟，停在自己的左肩上，后来便生下徐陵。当他几岁时，家里人带他去问候僧人释宝志，释宝志抚摸着他的头顶说：“这是天上的石麒麟啊！”光宝寺的慧云法师总是感叹于徐陵的早熟，称他为颜回。八岁时他能写诗文，十三岁便通晓《庄子》、《老子》的本义。长大以后，博览各种文籍，性情豪放而有口才。他父亲徐扌离任晋安王谘议，晋安王又召徐陵参与宁蛮府军事。晋安王被立为皇太子后，在东宫设置学士，徐陵也是其中之一。又迁任尚书度支郎。
后徐陵出任上虞县令。御史中丞刘孝仪原先和徐陵有仇隙，他听人传说徐陵在县里贪污和收受贿赂，便弹劾他，于是坐罪免职。过了很久，又被任命为通直散骑侍郎。梁简文帝在东宫时，撰写了《长春殿义记》，让徐陵写序。又让徐陵到少傅府撰写自己所主持的《庄子义》一书。
太清二年(548)，徐陵兼任通直散骑常侍出使魏国，魏人在馆内设宴请客。当天极热，魏国主客魏收开玩笑地对徐陵说：“今天这样热，肯定是徐常侍带来的。”徐陵随即回答说：“以前王肃来到这里，开始给魏国制定礼仪；今天我来聘问，让你们又知道冷热了！”魏收听后，大感羞愧。当时齐文襄帝还担任宰相，他认为魏收失言，便将他关闭了一整天。
当侯景入侵时，徐陵的父亲徐扌离早就在围城之内，他收不到父亲的家信，便只吃素食，穿粗布衣服，就像服丧一样。这时，正值魏国禅让于齐，梁元帝在江陵承制，又派徐陵为使者和齐国通问。徐陵到齐以后，多次请求回南朝复命，但齐国却一直拘留他不让回去。于是，他写了一封信给仆射杨遵彦，但也没有接到回复。当西魏讨平江陵之后，齐国送贞阳侯萧渊明继承梁国国君之位，这才派徐陵随他回梁。太尉王僧辩起初在边境上拦阻不肯接纳，萧渊明反复写信，都是由徐陵撰文。当萧渊明入梁之后，王僧辩得到徐陵，大为高兴。任命他当了尚书吏部郎，兼撰写诏诰之职。当年，陈武帝杀了王僧辩，又进讨韦载，而任约、徐嗣徽乘虚而入，攻打石头城。徐陵感激王僧辩以前对自己的知遇之恩，便跑去投靠任约。任约被讨平之后，陈武帝把徐陵放了，并不问罪，而任命他为尚书左丞。
绍泰二年(556)，又派他出使齐国。回来之后，又任命他为给事黄门侍郎、秘书监。陈朝接受梁禅位后，又加封他为散骑常侍。天嘉四年(563)，担任了五兵尚书，兼领大著作。六年，被任命为散骑常侍、御史中丞。当时，安成王陈顼任司空，他身为皇帝的亲弟，地位尊贵，权倾于朝野。直兵鲍僧睿借着安成王的威风，阻止别人告状，大臣们没人敢说话，徐陵却出来弹劾他。陈文帝见徐陵服饰、奏章十分端整严肃，一副凛然不可侵犯的样子，不禁为之收容而正坐。徐陵进读奏章时，安成王正在殿上侍立，他仰视文帝，汗流浃背，面容失色。徐陵派殿中郎送安成王下殿。从此以后，朝廷上下肃然。
又改任吏部尚书，兼领大著作。徐陵认为从梁朝末年以来，选举任用官员大多失去其原来的规矩，于是制定了有关原则制度，全面审核每人的名实是否相符，有冒进求官的，到处奔走钻营的，他便写信公开告诉他们说：“永定年间(557～559)，圣朝草创之初，干戈未曾平息，尚无条令秩序。府库空虚，赏赐空乏，白银难得，委任书易办。权且以官阶代替钱财绢帛，本义在于安抚接纳，不计官员多少。致使员外郎、常侍之官，在路上比肩摩踵；谘议、参军之属，市内人员无数，这岂是朝廷典章所应如此？如今衣冠礼乐制度，日加完备，年有增益，怎能仍按旧例，作非理之望？所见诸君多已职务超越本分，仍说大受委屈，未能满足更高的愿望。如有人问梁朝的朱异也担任卿相，这难道不是超过其本分吗？这是由皇帝亲自拔擢起来的，和选官的程序无关。梁武帝说：‘世上的人都说有不同眼色，我就特别看不上范悌。’宋文帝也说：‘人怎么会没有运气，每当有好官位时，我就想起羊玄保。’这类清高又显贵的职务，不是从选任而来的。我既身居选职，请诸贤深明我的心意。”于是众人都感到信服了。当时的议论将他比为毛王介。
当宣帝入朝辅政时，策划废黜那些有贰心的人，他让徐陵一起参与计谋。宣帝即位后，封徐陵为建昌县侯。太建年间(569～582)，准备让徐陵担任尚书左仆射，他上表反对并推荐周弘正、王劢等人。皇帝召他进入内殿，问他：“你为什么坚决推辞而另外推荐别人呢？”徐陵说：“周弘正原是您任藩王时的长史，王劢是太平年间(566～567)的宰相府长史，张种是皇上本乡的贤人贵戚，如果要选拔贤人旧臣，我理应居于后面。”他坚决推辞了几天，才奉旨任职。
当朝议准备北伐时，宣帝让朝臣举荐元帅人选。众人都认为淳于量合适，独有徐陵说：“不见得。吴明彻家在淮北，很熟悉当地风俗民情，是位有谋略的将才，当今没有人能超过他。”于是争论了几天仍不能作出决定。都官尚书裴忌说：“我赞同徐仆射的意见。”徐陵随即说：“不仅吴明彻是良将，裴忌也是很好的副帅。”当天便下诏任命吴明彻为大都督，任命裴忌任监军事，于是攻克了淮南的几十州土地。宣帝便设酒庆贺，举杯给徐陵说：“赏给你知人的功劳。”
太建七年(575)，任国子祭酒，徐陵因为公事的原因被免去侍中、仆射官职。但不久又加侍中，赐给手杖。十三年(581)，任太子詹事。他以年老为由，多次上表请求辞职，陈宣帝也格外对他优厚和礼遇，诏令将作监给他盖了大斋房，让他到斋中处理事务。陈后主即位以后，徐陵改任左光禄大夫，太子少傅。至德元年(583)去世，当年七十七岁，下诏追赠特进。起初，陈后主曾经自己写了诗文去给徐陵看，却说是别人所写的。徐陵嘲笑说：“连辞句都不像样子。”陈后主因此而怀恨在心，这时便谥为“章伪侯”。
徐陵器量宏大深远，举止有风度，本性又爱清静简朴，不营产业，俸禄和亲族们一起共用。太建年间，他的食邑户在建昌，当食邑户送米到水边时，亲戚中有贫困的，他都让去取走，几天之内便被取光。徐陵自己家里不久便断绝粮食了。府吏们很奇怪地问他什么原因，徐陵回答说：“我还有坐车、牛和衣裳可以卖，别的家里有可出卖的东西吗？”他就是这样周济别人。
徐陵从小就崇信佛教，对佛经多能训释讲解。陈后主在东宫当太子时，让徐陵讲解《大品经》，佛门义学中的名僧，都从远方云集而来，每当在讲堂上探讨时，四座没有人能和他抗衡。他眼中有青色瞳子，当时人都认为是聪明的相貌。自从陈朝创业以来，文檄军书以及受禅的诏书策文，都是徐陵所写的，被人称为一代文宗。但他也不以此来傲视别人，也不曾诋毁和指斥其他写诗文的人。他对于后进的人，都热心接待推荐，一点都不感到倦乏。陈文帝、陈宣帝时，国家有重大的文字要写时，一定让徐陵起草。他的文章能改变旧体，剪裁十分巧妙而严密，多有新意。每一文章写出，好事者已经传抄出来并能朗诵，于是他的文章流传到了周、齐，家家都有他的文集。后来遇到战乱，大多散失了，留存下来有三十卷。徐陵有四个儿子：徐俭、徐份、徐仪、徐亻尊。