檀道济，是高平金乡县人，世代居住在京口。少年时成为孤儿，守丧礼仪齐备，事奉哥哥姐姐以谦和恭谨见称。宋武帝树立义旗，道济与兄长檀韶、檀祗等随从平定京城，一同在武帝建武将军府中参谋军事。逐渐升迁为太尉参军，被封为作唐县男。
义熙十二年(416)，武帝北伐，檀道济为前锋，所到之处望风降服。径直开进洛阳，一些人认为所抓获的俘虏应该全部杀掉，以作为京城的一大壮观。檀道济说：“讨伐罪人，慰抚民众，正在今天。”把俘虏全部释放送走。由此中原人感戴欢悦，归附的人十分众多。长安平定后，任命他为琅笽内史。
宋武帝承受天命，由于他辅佐登基的功劳，改封为永修县公，位居丹阳尹、护军将军。武帝生病，给他配备了仪仗二十人。后来出京担任镇北将军、南兖州刺史。徐羡之等人谋划废立皇帝，婉言劝说檀道济入朝，告诉他说将要废黜庐陵王刘义真，檀道济屡次述说不可以这样做，到底没有被采纳。即将废黜皇帝的那天夜里，檀道济到了领军府，在谢晦那里住宿，谢晦惶恐喘息不能入睡。而檀道济倒下便睡熟了，谢晦由此对他十分佩服。
文帝即位，配给他乐队一部，晋封为武陵郡公。他坚持推辞。檀道济平时与王弘要好，当时王弘受皇帝知遇正深，檀道济更加拉拢攀附，经常连通徐羡之等人，王弘也非常依靠他。皇帝将要诛杀徐羡之等人，召见檀道济，想让他率兵西讨。王华说：“不能这样。”皇上说：“道济是跟从别人的，过去都不是他出的主意，慰抚而任用他，一定用不着担心。”檀道济来到的第二天，皇上杀死了徐羡之、傅亮。随后派檀道济和中领军到彦之为前驱进行西伐，皇上向檀道济询问策略。回答说：“我过去与谢晦一同随从北征，入关的策略若是十条，谢晦所出的就要占其中的九条。他的才能谋略精明干练，几乎难以敌对；然而不曾孤军决胜，打仗恐怕不是他的优长。我熟悉谢晦的智谋，谢晦熟悉我的勇气。现在奉了皇上的命令外出征讨，必定是不待列阵就把他捉住。”当时谢晦本以为檀道济会与徐羡之一同被杀，忽然听说率军杀来，于是不战自溃。事情平定后，改任他为征南大将军、开府仪同三司、江州刺史。
元嘉八年(431)，到彦之侵入魏国，已经平定了黄河以南，后来又丧失了它。檀道济担任征讨军队的总指挥，向北攻占地盘，转战到了济水上，魏军强盛，于是攻克了滑台。檀道济当时与魏军打了三十多仗，大多数战胜，进军到历城，因为运输物资用尽而返回。当时投降魏国的人详细说明粮食已经吃光，因此士卒忧虑恐惧，都没有了坚强的斗志。檀道济趁夜间喊报时辰，聚量沙土，用所余下的少量米撒在上面。到了早晨，魏军认为储备的粮食有余，所以不再追赶，以为投降的人是胡说，斩首抵罪。
当时檀道济兵少力弱，军中十分恐惧。檀道济就命令军士全都披挂盔甲，外穿白衣服，坐着车子慢慢地出去到外面走动。魏军恐怕有埋伏，不敢逼近，于是他便回来了。檀道济虽然没有平定黄河以南地区，但是保全了军队安然返回，雄武的名声大振。魏军对他十分害怕，画他的像用来祛除恶鬼。归来以后，晋升为司空，镇守襄阳。
道济立功于前朝，威名很大，左右的心腹都身经百战，他的各个儿子又都很有才气，因而朝廷对他心存畏惧和怀疑。当时也有人这样看他，说：“怎么能知道他不是司马仲达呢？”
宋文帝卧病多年，多次遇到危险，领军刘湛贪图执掌朝政，恐怕檀道济有不同说法，又彭城王刘义康也害怕皇帝去世，檀道济不再可以控制。元嘉十二年(435)，皇上病重，正遇上魏军南伐，召檀道济入朝。他的妻子向氏说：“功勋高于世人，这是道家的忌讳，现在无事而相召见，该是灾祸到了。”等赶到那里，皇上已经痊愈。十三年春，即将派他返回原镇，走到水边还没出发，有一群好似鹪鹩的鸟聚集在船上悲哀地鸣叫。正遇上皇帝疾病发作，刘义康伪造诏书召檀道济入宫，说是为他饯行，将他抓住交给廷尉，他和他的儿子给事黄门侍郎檀植、司徒从事中郎檀粲、太子舍人檀混、征北主簿檀承伯、秘书郎中檀尊等八人一齐被杀。当时的人们唱道：“可怜《白浮鸠》，枉杀檀江州。”檀道济死的那天，建邺地震，有白毛生长。又杀死了司空参军薛肜、高进之，都是檀道济的心腹。
檀道济被捕之后，十分愤怒，气势极盛，目光如同火炬，顷刻间拿酒来喝了一斛。然后脱下头巾扔在地下，说：“竟然毁掉你们的万里长城！”魏国人听了这个消息，都说“檀道济已经死去，吴地的小辈们不值得再害怕了。”从此连年南下攻伐，有饮马长江的志向。
文帝问殷景仁说：“谁可以继承道济？”回答说：“道济是因为屡建战功，所以才树立起威名，其余的人只是没有被任用罢了。”文帝说：“并不是这样的，过去有李广在朝中，匈奴不敢向南侵犯，而后继者又有几人呢？”元嘉二十七年(450)，魏军到达瓜步，文帝登上石头城远望，脸色非常忧愁。慨叹道：“如果有道济在世，那会弄到这种地步！”