陈伯之，是济阴睢陵人。十三四岁时，喜欢戴一顶獭皮帽子，带着刺刀，等邻村稻熟时，便去偷割。有一次被田主人发现了，呵责他说：“小子别动！”陈伯之说：“所幸您家稻谷很多，取一担算得了什么？”田主准备去抓他。他拔出刀来赶上前去，说：“小子，你想怎样？”田主们吓得返身逃走，陈伯之这才慢吞吞地挑着稻谷回家去。长大以后，他多次在钟离当强盗抢劫。他曾经当面抢人家的船只，船工抓了他，割下一只左耳。后来他跟随了本乡人车骑将军王广之，王广之喜爱他英勇，每夜让他睡在自己的下榻，作战时经常带他跟随在身边。由于陈伯之连立战功，累迁至骠骑司马，被封为鱼复县伯。
梁武帝起兵时，东昏侯让陈伯之假持节，都督前驱诸军事、豫州刺史，又转至江州，占据寻阳以对抗梁武帝。郢城被讨平后，梁武帝派人劝说陈伯之，当即让他担任江州刺史，他的儿子陈武牙任徐州刺史。陈伯之虽然接受了这一任命，却仍心怀两处。武帝见他犹豫不决，便领兵进逼，陈伯之退保南湖，然后归降，和众军一起东下。当时建康城还未平定，每当有人出降时，陈伯之便和他低声耳语。武帝怀疑他仍存有反复之心。这时，正值东昏侯的将军郑伯伦前来投降，武帝让他去见陈伯之，并对陈伯之说：“城里正对你十分恼怒，准备派人来引诱你，等你投降以后，活活砍掉你的手脚。你如果不归降，就要派刺客来杀你。”陈伯之大为惊慌，从此以后就不再有贰心了。城被讨平之后，被封为丰城县公，派他回州镇守。
陈伯之不认识字，当他到江州后，收到公文和有人诉讼时，只是点点头而已。有事时，由典签传他的口信，办和不办都由主事人决定。
陈伯之和豫章人邓缮、永兴人戴承忠都有旧交情，邓缮还替陈伯之藏过儿子，使之免祸，陈伯之特别感激他。当陈伯之到江州后，任用邓缮当别驾，戴承忠当记室参军。河南人褚纟胃，是京都中的轻薄儿，梁武帝即位后，他多次去求见尚书范云。范云很不喜欢褚纟胃，坚决不肯用他。褚纟胃更加恼怒，私下对自己的知心者说：“建武年后，那些草泽底下的人都成了贵人，我有什么罪而被弃置不用。如今天下正是草创之初，丧乱尚未可知，陈伯之在江州拥有重兵，他不是代州来的将领，心中经常生疑。况且火星守于南斗处，莫非因为我而出现的？如今前去，如果大事无成，就到魏国，何能小于河南郡守。”于是他投奔到陈伯之的书佐王思穆，得以侍奉陈伯之，大受亲宠。当时陈伯之的同乡人朱龙符任长流参军，他们一起乘陈伯之愚昧无知，任意作奸恶之事。
陈伯之的儿子武牙这时任直阁将军，梁武帝写了有关朱龙符罪状的手疏亲自交给武牙，武牙将手疏给陈伯之看。武帝又派人来代替江州别驾邓缮。陈伯之不肯听从命令，说道：“朱龙符是个勇士，邓缮在州任事有功绩。朝廷所派来的别驾，请改任为中从事。”邓缮于是日夜劝说陈伯之，他说：“朝廷府库空虚，又没有兵器甲仗，三仓中没有米。这真是万世一时出现的良机啊，机不可失。”褚纟胃、戴承忠等也总是加以赞同。陈伯之便对邓缮说：“如今前来要你，如果回复不得，便和你一起东下。”使者回去之后，武帝让吏部选一个郡来安置邓缮。陈伯之于是召集了府州的佐史们，对他们说：“我接到齐建安王的命令，他已率领江北义勇军十万人到达六合，现在命令以江州现有兵力运粮迅速东下。我受明帝厚恩，誓以死相报。”他又让褚纟胃假造了萧宝寅的书信出示给僚佐们看。他们在官厅前面建坛，杀了牲口盟誓。陈伯之首先歃血，长史以下官员依次序歃血。褚纟胃对陈伯之说：“如今已举大事，必须任用有名望的人。程元冲不能和大家同心，临川内史王观，是僧虔的孙子，为人不错，可召任他为长史，以代替程元冲。”陈伯之听从了，便任命褚纟胃当寻阳太守，戴承忠为辅义将军，朱龙符任豫州刺史。豫章太守郑伯伦召集郡兵抵抗。程元冲既已失去职务，便回家纠集了几百人，让陈伯之的典签吕孝通、戴元则作为内应。陈伯之每天早晨起来练习武艺，日晚就睡觉，身边手持武器的卫士们也都休息了。程元冲乘着防守松懈的时候，从北门进入，直到厅堂之前。陈伯之听到喊叫声，亲自率领部下冲杀出来，程元冲难以对抗，逃往庐山。
陈伯之派使者回去报告陈武牙兄弟。武牙等从盱眙逃走，盱眙人徐文安、庄兴绍、张显明出来拦击，不能阻止住，反而被杀。梁武帝派王茂攻打陈伯之，陈伯之兵败而逃，他们走间道亡命逃往江北，和儿子武牙以及褚纟胃一起到了魏国。魏国任命陈伯之为使持节、散骑常侍、都督淮南诸军事、平南将军、光禄大夫、曲江县侯。
天监四年，梁武帝诏令太尉临川王萧宏北上攻魏，萧宏让记室丘迟私下写信给陈伯之说：
“陈将军足下，别来无恙，有幸之极。将军勇冠三军，才为世所重视，鄙视燕雀之毛羽，追慕鸿鹄以高翔。昔日随机变化，受遇于时主，建功立事，开国称孤，乘朱轮华毂之车，拥重兵于万里，何等威武雄壮！如何一旦成为逃亡之臣虏，听鸣镝而两股战栗，对穹庐而屈膝下跪，又何等低下！寻求前时你所以去梁就魏之由，并非其他缘故，只因内不能反复思考，外受流言所误，迷惑狂妄，以致于此。
“圣朝赦免罪责，要求立功赎罪，不遗弃有缺点的人，加以任用，推真心于天下，安反侧于万物，此是将军之所知，不需由我一一叙述。昔日朱鲔参与杀害刘秀长兄，张绣刺杀了曹操爱子，汉王不使之心疑，魏王待之如故友。何况将军没有前人之重罪，而功勋见重于当代。迷途而知返，前贤所赞许；不远而复还，先典以为高。主上法网宽大推恩，可漏吞舟之鱼；将军祖坟安然，亲戚安居乐业。高屋未曾倾覆，爱妾依然健在，悠悠你心，有何可说！当今朝中功臣名将，如雁飞行，井然有序，佩紫绶而怀金印，谋划于帷幄之中，乘轻车持符节之特使，驰骋于疆场之上。皆杀白马以盟誓，传爵位于子孙。将军独强颜而偷生，效力于外族之君长，能不可悲！
“前以慕容超之强，身死于东市；姚泓之兴盛，面缚于长安。故知霜露所布，不育异类；华夏之邦，无取杂种。北寇僭称帝号于中原，经历多年，恶贯满盈，理应粉身碎骨。况伪孽种类，昏庸狡猾，自相残杀，部落分离，豪酋猜疑。正应当系其颈项于蛮夷邸舍，悬其首级于藁街之间。而将军却如鱼游于沸腾之油鼎，如燕筑巢于帷幕之上，不也令人迷惑不解吗？
“正是暮春三月，江南绿草正长，杂花生树，群莺乱飞。见故国之旗鼓，感生平于昔日，登高以抚弓弦，能不凄然怀恨！所以廉颇仍思为赵将，吴起哭泣于西河，人之常情，将军独无情吗？想应早作谋划，自求后福。
当今皇帝盛明，天下安乐。白环自西而献，木苦矢从东而来。夜郎、滇池，解发辫以求封职；朝鲜、昌海，叩其首接受教化；惟有北狄仍怀野心，崛起于沙漠边塞之间，苟延若干岁月之命而已。中军将军临川王殿下，明于大德，帝室至亲，总督重兵，方救民于洛氵内，伐有罪于秦中，如仍不改悔，此后才详思我之所言。聊述情怀，请君详加思虑。”
陈伯之收到信后，便在寿阳带领八千人马归降。武牙被北魏人杀害。
陈伯之到梁之后，被任命为平北将军、西豫州刺史、永新县侯。他尚未到任，又被任命为骁骑将军，又任太中大夫。过了许久，他死于家中。他的儿子中还有留在北魏的人。
褚纟胃留在魏国，魏人准备任用他。正值魏人举行元日庆会，褚纟胃戏写了一首诗说：“帽上著笼冠，衤夸上著朱衣，不知是今是，不知非昔非。”魏人看后大为愤怒，只派他出任始平太守。褚纟胃天天外出打猎，坠马而死。