柳彧字幼文，河东解人。世代居于襄阳。父柳仲礼，《南史》中有传。梁国被战败后，柳仲礼被周国俘虏，又在河东安下家。
柳彧少年时喜爱学习，对经史多有涉猎。周大冢宰宇文护用为中外府记室，过了很久，出任宁州总管掾。周武帝亲自执政，柳彧到朝中请求应试。武帝认为柳彧非同寻常，任命为司武中士。转任郑县令。平定齐国之后，武帝奖赏跟从征伐的官员，留守京城的人没有奖赏。柳彧上表说：“如今刚刚得到太平，有功者必定要得赏赐，赏赐应该分明，酬谢勋绩，报答功劳，务必要有所本。攻破城池，出自陛下谋划，斩敌将拔敌旗，必定出自陛下的神略，就像披坚执锐，征伐辛劳一样。至于镇守安抚国家，在宫中守卫，担任警戒，也是重要的。都是秉承已定的计划，不只是自己的能力。留守京师和跟从征伐，事情是一样的，功劳必须相等。”于是留守京城的人都一同加官晋级。
隋文帝受禅继位，柳彧历任尚书虞部、屯田二侍郎。按照当时的制度，三品以上的官员，门外皆竖有戟槊。左仆射高赹的儿子高弘德，封爵应国公，申行牒文，请求在门外竖立戟槊。柳彧在申请文书上批道：“仆射之子没有另外居处，父亲的戟槊已竖立在门外，尊贵有超出卑贱的道理，儿子有回避父亲的礼仪，岂能容许门外已经设置，内房又设立呢？”此事终于没有实行。高赹听到后，赞叹佩服。后来升任书侍御史，立于朝堂，神色端正，百官十分敬重畏惧。文帝嘉奖其刚直，对他说：“大丈夫应当建立功名于世，不能与世沉浮。”赏赐给柳彧钱十万，米一百石。
当时，刺史之职多由武将担任，很多人不称职，柳彧上表说：“伏见诏书任命上柱国和干子为杞州刺史，和干子年近八十，已是钟鸣漏尽之时。从前在赵州，对职务已是糊涂，政务由一群小人决断，贿赂公然盛行。百姓感慨，歌谣遍及道路，以至于说‘老禾不早杀，余种秽良田。’古人说：‘耕种应当问奴仆，纺织应该问婢女。’这说的是各有所能。干子擅长骑马射箭，冲锋陷阵；治理百姓，担当职务，则不是他所能明白的。如果说优待年老的人，自然可以多多赐给金银布帛；若令其做刺史，所损害的就特别大。臣死了也就罢了，岂敢不竭尽忠诚！”文帝认为柳彧说得对，干子终于被免职。
应州刺史唐君明，居母丧期间，娶雍州长史库狄士文叔父的妹妹。柳彧弹劾他说“：唐君明忽视丧母的悲痛，惑于燕尔新婚的亲情，把丧母的孝服遮掩起来，穿上那种带有文采的祭服。没有亲义，《春秋》记载这样的人将要灭亡；没有礼义，诗人想要这样的人快些死。士文任职于国家，名高位显，背弃二姓的重要对比，违背六礼的法式规范。请将唐君明终身囚禁，以惩戒风俗。”二家竟然连坐获罪。隋朝承接丧乱之后，风俗颓废败坏，柳彧多有矫正，文帝很赞赏他。
另，柳彧见文帝听政理事甚勤，文武百官奏请的事情多有繁琐零碎，因而上疏劝谏说：“君主发布命令，戒除繁琐。因此，舜把事情交付五臣，尧咨询四岳，设置官员，分担职务，各自都有自己的职责，尧、舜垂袖拱手无所作为，而天下平安。这就是所说的在求取贤才上辛劳，在任命使用上安逸。及见事无大小巨细，都请陛下裁处。陛下留心政务，不畏惧疲劳，至于建造房舍这样的小事，供给轻细微小之物，一日之内，应酬答对百官，以至于日已至晚忘记进食，夜至更深未能安寝，举动都是文书簿记，忧扰劳累陛下之本。伏愿陛下考虑臣的至诚之言，稍稍减少一些繁琐的事务。”文帝看了柳彧的上书，甚为赞赏。因为柳彧家中贫困，文帝敕令有司给柳彧建筑宅院，说“：柳彧是正直之士，是国家的瑰宝。”柳彧受到的重视就像这样。
右仆射杨素当权，显赫尊贵，百官都很畏惧，没有人敢于不顺从。曾因小小的罪过，敕令送往南台。杨素自恃宠贵，坐在柳彧的座位上。柳彧从外面进来，看见杨素这样，在台阶上端着手板正色道“：尊奉敕令追究公的罪过。”杨素急忙下来。柳彧依桌案坐下，让杨素站在大厅堂前，辩白诘问事情的来龙去脉。杨素因此忌恨柳彧。但因柳彧此时正得文帝的信任，所以杨素没有中伤柳彧。柳彧见近代以来，通都大邑的百姓每逢正月十五日，就作角抵戏，互相争竞夸耀，以至于浪费很多财力，上书请求禁绝角抵戏说“：私下见到京城和京城之外的州县，每逢正月十五日夜，人群充塞街道，鼓声震天，火炬照彻大地，人人头戴兽形面具，男子身穿女人之服，倡优耍弄杂技，奇形怪状。男男女女都来观看，互相不曾回避。竭尽资财，破费财产，都在此时一争高低。人们倾室而出，不论高低贵贱，男女互相混杂，黑白不分。污秽的行为因此而生，盗贼由此而起。不仅无益于教化，而且实在有损于百姓。请求颁诏天下，一并立即禁止。”诏令准许柳彧的上奏。
这一年，柳彧持符节出巡河北五十二州，奏请罢免贪赃枉法和不称职的长官二百多人，州县整肃，无不震惊畏惧。文帝嘉奖柳彧，赐给绢布二百匹，毛毡三十领，授予仪同三司。过了一年多，加授员外郎散骑常侍。仁寿初年，持节巡视太原道十九州。回京后，又赐绢一百五十匹。
柳彧曾经得到博陵李文博撰写的《政道集》十卷。蜀王杨秀派人来索求，柳彧把书送给杨秀，杨秀又赐给柳彧十名奴仆和婢女。等到杨秀得罪，杨素上奏，说柳彧以朝廷大臣交结诸侯王，将柳彧除去名籍，发配到怀远镇戍边。行至高阳，有诏令征回京师。回至晋阳，适逢汉王杨谅作乱，派遣使者召柳彧入城。杨谅造反的形势已经明显，柳彧入城后，估计难以幸免，就假装患了恶疾不能进食，自称已是十分危险。杨谅恼怒，把柳彧囚禁起来。杨谅失败后，杨素奏柳彧怀有二心，等待事情发生变化，表面虽没有造反，心里实际上已和叛逆者相同。柳彧又坐罪发配到敦煌。杨素死后，柳彧就自己上书申辩，诏令征还京师。死于途中。