张绪字思曼，是张岱哥哥的儿子。父亲张演，是宋朝的太子中舍人。张绪少年知名，清简寡欲，他的堂伯张敷和叔父张镜、堂叔张畅都认为他很高贵奇异。张镜把他比作乐广，张敷称“与我们是同一类人”。张畅向孝武帝推荐，任用他做尚书仓部郎。都令史让他详细介绍一下郡县储米的情况，张绪肃然直视，对这些很不在意。宋明帝每次见到张绪，就赞叹他的清淡。
调转为太子中庶子、本州大中正，升为司徒左长史。吏部尚书袁粲告诉皇帝说：“臣看张绪有正始遗风，应该担任宫中职务。”又转为中庶子。后来做了侍中，调任吏部郎，参与掌管大选。元徽初年，东宫官员罢免，选曹打算让舍人王俭为格外记室。张绪认为王俭人才地位都很美，应该转为秘书丞。依从了他。张绪又调任侍中，曾经私下对客人说：“我一生不懂得惟诺应承。”有人把这话告诉给了袁粲、褚彦回，由此把他调出京城去做吴郡太守，而张绪起初并不知道。
升明二年(478)从祠部尚书转为齐高帝太傅长史。建元元年(479)担任中书令。张绪善于谈玄，很被人敬重并觉得惊异。仆射王俭曾说：“张绪在过江南渡的人物中没有能比的，在北方的士人中可以寻求。不知道汉代的陈仲弓、黄叔度是否能超过他？”
皇帝驾临庄严寺听僧达道人讲《维摩》经，因为坐得太远听不到张绪说话，皇上不便让张绪移动，便让僧达道人迁移地点，以便接近他。当时皇帝想任用张绪为右仆射，问王俭的意见。王俭说：“张绪少年时候就有美好的声望，确是很好的人选。南方士人向来很少担任这一职务。”褚彦回说：“王俭的少年时代可能记不起来了，江东任用的陆玩、顾和，都是南方人。”王俭说：“晋朝政治衰落，不可作为楷模。”先前张绪的几个儿子都是轻侠，中间的儿子张充少年时又不拘小节，王俭又一次进言，便放下了。
后来成立了国学，让张绪担任太常卿，兼国子祭酒；让王延之代替张绪为中书令。何点赞叹说：“晋朝以子敬、季延担任此职，现在以王延之、张绪担当，可以说是清雅官职。以后接替的人，实在是不容易。”张绪长于《周易》，语言精辟，道理深奥，一时间被奉为宗法。他常常说：“何平叔不懂《易》中的七个问题。”
武帝即位，转任吏部尚书，祭酒职务依旧。永明二年(484)，兼任南郡王师，加官给事中。三年，转为太子詹事，王师、给事中职务依旧。张绪每次朝见，武帝目送着他，对王俭说：“张绪因为地位尊崇我，我因为道德珍视张绪。”调任散骑常侍、金紫光禄大夫，王师职依旧，配给亲信二十人。又兼任中正。长沙王萧晃嘱托选用吴郡人闻人邕为州议曹，张绪因为他资格不当，坚持不答应。萧晃写信给张绪坚持请求，张绪严肃地对萧晃的送信人说：“这是我身家所在的州乡，殿下怎能强逼？”才算罢了。
张绪谈吐风流，听的人都忘记了饥饿和疲劳，见到的人态度肃然如同置身于宗庙。即使终日和他住在一起，也无法测度他。刘悛任职于益州，给武帝献了几棵蜀地的柳树，枝条很长，形状像是丝缕。当时旧宫芳林苑刚刚建成，武帝把它们种在太昌灵和殿前，常常玩赏嗟叹，说：“这些杨柳风流可爱，很像张绪当年的样子。”他就是如此地受到赏爱。王俭担任尚书令、丹阳尹，当时各位令史前来拜访，有一个令史善于俯仰，举止美观。王俭对他十分欣赏和惊异，问他说：“曾经和谁共过事？”回答说：“十多岁时在张令门下。”王俭一直目送着他。当时尹丞殷存至在座，说：“这是康成的弟子。”
永明七年(489)，竟陵王萧子良兼任国子祭酒，武帝给王晏下诏说：“我想让司徒辞去祭酒把它授给张绪，众人的议论以为怎样？”萧子良终于没有上任，以张绪兼任国子祭酒。
张绪口不言利，有财物就分散掉。端坐清谈，有时一整天也不吃饭。仆人们见张绪饿了，就为他备饭，然而他自己却没有要求过。
死了以后，没有房宅殡殓，他遗嘱“丧事不设柳謔做棺饰，只用芦葭。丧车拉着灵柩，灵柩上放上一杯水和香火，不设祭品”。堂弟张融很尊敬张绪，侍奉他像亲兄长一样。抱着酒在张绪的灵前酌饮痛哭说：“阿兄风流忽然终止。”追赠为散骑常侍、特进、光禄大夫，谥号简子。