杨忠的弟弟杨恽，字子幼，靠杨忠的关系担任郎官，补为常侍骑。
杨恽的母亲，是司马迁的女儿。
杨恽开始读外祖父《太史公记》，认为很像《春秋》。
杨恽以才能著称，好结交豪杰与儒生们，在朝中很有名气，提拔为左曹。
霍氏谋反，杨恽先得知，通过侍中金安上报告皇上，被皇上召见谈具体情况，霍氏被诛杀，杨恽等五人都受封，杨恽被封为平通侯，升中郎将。
郎官的惯例，是让郎官出钱购买物资，供给文书费用，才能外出。
外出郎官，称为“山郎”。
请一天病假，就抵销一次例假，有的无钱的郎官，以至一年多也没有一次例假。
而那些家境豪富的郎官，每天出外游玩，有的靠送钱财礼物得到好位置。
流行贿赂，彼此仿效。
杨恽担任中郎将后，废除“山郎”惯例，造一年的开支计划给大司农，用国库的钱来供给财用。
那些生病、请假、例假都按规定执行。
郎官、谒者有罪过，就上奏免职，荐举考核成绩优秀有操行才能的人，以至担任郡守、九卿。
郎官们风气大变，没有人不努力上进，断绝了请人说情、拜谒、贿赂的习惯，令行禁止，宫殿内协调统一。
因此被提拔为诸吏光禄勋，亲近皇上，被重用。
当初，杨恽得到了父亲的遗产五百万，等到自己封侯后，都用来分给宗族。
后母没有儿子，钱财也是几百万，死后都给了杨恽，杨恽又全部分给了后母的兄弟。
再次得到一千多万钱财，又全部分给别人。
他就是像这样轻财好义的。
杨恽在殿中廉洁无私，郎官都说他公平。
但是杨恽夸耀自己的德行和政治才能，又性情刻薄，喜欢揭发别人的隐私，同级官员有得罪自己的，一定要害他，用自己的才能压倒别人。
因此，朝廷中有很多人怨恨他，与太仆戴长乐失和，最终因此身败。
戴长乐，是宣帝在民间时的知己朋友，等到宣帝即位，就提拔亲近他。
长乐曾经在宗庙代天子先学习威仪。
回来对掾史说“：我亲自面见皇上，接受诏令，我辅助天子研习，禾宅侯驾车。”有人上书告长乐，认为这不是他应该说的，事情下到廷尉。
长乐怀疑是杨恽教人告他的状，也上书告发杨恽的罪过“：高昌侯的车子狂奔冲进北掖门，杨恽告诉富平侯张延寿说‘：听说以前曾有过狂奔的车直撞殿门的事，殿门的闩子撞断，马死，昭帝就驾崩了。
现在又这样，这是天时，不是人力造成的。’左冯翊韩延寿有罪，关进监狱，杨恽上书为他诉讼。
郎中丘常对杨恽说‘：听说您为韩冯翊诉讼，他该能活吧？’杨恽说‘：事情谈何容易？正直的人未必能保全自己。
我都不能保全自己，正是人们所说的，老鼠是不能在洞中衔着垫子的。’又有中书谒者令捎回单于使者的话，给各位将军、中二千石官员看。
杨恽说‘：冒顿单于得到了汉朝的美味佳肴，说是恶臭，单于不来朝，是很清楚的了。’杨恽曾登上西阁，观看阁上人物画像，指着桀纣画像对乐昌侯王武说：‘天子经过这里，一一问桀纣的过错，可以得到师傅了。’画像中的人物，有尧、舜、禹、汤不赞美，却提出桀纣。
杨恽从匈奴投降汉朝的人那里听说单于被杀，杨恽说：‘摊到不贤的君主，大臣为他谋划良策而不采用，让自己死无葬身之地。
就像秦朝时，只任用小人，诛杀忠良，最终灭亡；假使秦朝亲近任用大臣，就会至今不亡。
古今是一样的。’杨恽妄自引用灭亡的国家，诽谤当代，没有做臣子的礼节。
又对戴长乐说‘：正月以来，天气阴沉，久不下雨，这是《春秋》中记载的，夏侯君说的。
天子巡行，一定到不了河东。’把主上拿来随便谈论，尤其违背道理。”事情下到廷尉。
廷尉于定国审讯取证，证人证明，于是上奏道：“杨恽不服罪，召来户将尊，想让他告诫富平侯张延寿，说‘太仆一定有几件犯死罪的事，他活不长。
我有幸与富平侯结为亲家，现在只有三人知道说这话，您说当时没有听到杨恽说这话，自然与太仆的话相抵触。’尊说‘：不行。’杨恽发怒，手持大刀，说‘：富平侯要是证实太仆的话，我就要获灭族大罪！不要泄露我的话，让太仆听见，他要害我。’杨恽有幸能位列九卿职位，是值宿警卫皇上的近臣，皇上信任的人。
参与政事决策，不竭尽忠心，尽臣子道义，反而妄自怨恨，妖言恶毒，大逆不道，请求逮捕惩处。”皇上不忍心杀他，下诏免杨恽、戴长乐为庶民。
杨恽失去爵位以后，在家治产业，起房子，用钱财让自己快乐。
一年多后，他的朋友安定太守西河人孙会宗，是智谋之士，给杨恽写信劝诫他，对他说，大臣被废黜，退居家中，应当闭门惶恐，显出可怜的样子，不应当治产业，结交宾客，有声誉。
杨恽是宰相的儿子，年轻时就在朝廷中显名，一朝因私下闲谈被废黜，心里不服气，回复孙会宗的信说：我才能低，品行差，辞采事业都没有成就，幸亏靠父亲的面子，能够在宫廷值宿警卫。
遇上偶然机会，获得爵位。
终究不适合当侯，碰上祸事。
您可怜我愚昧，写信给我，指教我的不足之处，恳切殷勤。
但是，私下遗憾您不仔细想想事件的始终，就随随便便地随世俗而诽谤、赞誉。
我想说说我的愚昧浅陋的看法，这好像违背了您的意思，为自己掩饰过错，如果默不作声，又恐怕违背了孔子的“各自说说你们的志向”思想，所以冒昧简略地说说我的愚昧的想法，请君子察看！我家正兴盛时，乘坐朱轮的二千石以上官员十人，职位列于九卿，爵为列侯，总管侍员官，参与政事。
竟不能在那时有所建树，宣扬仁德教化，又不能与同僚齐心协力，辅佐朝廷，拾遗补缺，已经长久负有窃取官位而不尽职、无功受禄的斥责了。
留恋禄俸，贪图权势，不能自动退身，竟遭受变故，无端受到诽谤，幽禁在北阙，妻子儿女关满监狱。
在这个时候，自以为死不够用来抵挡罪责，哪里料到能保全性命，又能祭祀先人的坟墓呢？伏思圣明君主的大恩无法估量。
君子优游于道，乐而忘忧；小人保全身躯，乐而无罪。
私下想，自己罪过已大，品行已经亏损，干脆长期当农民直到老死吧。
所以亲自率领妻子儿女，合力种田植桑，浇灌园圃，置办产业，来供给公家主上，没有想到，又因为这而被讽刺非议。
人的性情不能制止的事情，圣人不禁，所以君主、父亲，是至尊至亲的，为君主、父亲服丧，有三年时间就结束了，我得罪已经三年了，种田人劳作辛苦，在一年一度的伏、腊节日里，烹羊烤羔，用一杯酒犒劳自己。
祖籍本是秦地，所以我会唱秦腔。
妻子本是赵地女子，很擅长弹瑟。
几个会唱歌的奴婢，在酒后耳热之时，仰天击缶而歌呜呜。
有首诗说：“南山种五谷，杂草没法除。
种豆百余亩，豆落只剩茎。
人生须行乐，富贵何处寻？”这一天，拂衣而喜，舞袖高低，踏着节拍起舞，确实是过分荒唐无节制，不知道这是不该做的。
我侥幸还有一些钱财，正在买贱贩贵，求取十分之一的利润。
这些商贾的事情，下贱的地方，我亲自去做。
我是地位低下的人，很多毁谤都会集中到我身上，令人不寒而眎。
即使是很了解我的人，还要随世俗非议，哪里还有什么好名声呢？董仲舒先生不是说过“：努力追求仁义，常常担心不能教化百姓的，是公卿大夫的想法；努力追求财富利润，常常担忧贫困的，是平民的事情。”所以，“道不同，不相为谋。”现在怎么能用卿大夫的标准来责备我呢？西河魏土，是魏文侯兴起的地方，有段干木、田子方这些人的遗风，凛然不可犯，都有节操，知道去就取舍。
不久前，您离开老家，到安定。
安定山谷之间，是昆夷的家乡，那里的后辈子弟贪婪无知，难道是习俗将人改变了吗？现在才看清您的志向了。
正当汉朝的兴盛时期，希望您努力功名，不须再与我多谈。
另外，杨恽兄长的儿子平安侯杨谭担任典属国，对杨恽说：“西河太守建平侯杜延年，以前因罪过出京，现在被征为御史大夫。
您的罪轻，又有功，将再被起用。”杨恽说“：有功有什么用？天子不值得为他卖力。”杨恽一贯与盖宽饶、韩延寿交好，杨谭马上说：“天子确实那样，盖司隶、韩冯翊都是努力工作的官员，一起因事被杀。”正好发生日蚀，驺马猥佐成上书告杨恽“骄傲奢侈，不思悔过，日蚀的灾祸，就是这人招来的。”奏章下到廷尉，廷尉审讯，找到了他给孙会宗的信，宣帝看了很反感，廷尉判处杨恽大逆无道，腰斩，妻子儿女迁移酒泉郡。
杨谭因不谏阻、纠正杨恽的过错，与杨恽应和，有怨恨的话，免为庶人，后召拜成为郎，那些在职的与杨恽交好的官员，未央宫卫尉韦玄成、京兆尹张敞、以及孙会宗等人，都被免官。