张嵊字四山。他的父亲张稷起初去做剡县令，走到嵊亭，生了他，于是就取名叫嵊，字四山。他少年的时候就很有孝行，三十岁时，还穿着彩衣受张稷的杖打，常常多到几百下，收了眼泪仍然是欢喜的样子。他方正文雅而有志向和操守，能够清谈。感于家庭的灾祸，终身都是吃蔬菜，穿布衣，手里不拿刀，不听音乐。他的弟弟张淮言谈气质不合常规，张嵊就流着眼泪对他进行教训诱导。
他最初官任秘书郎，逐步升迁为镇南湘东王长史、寻阳太守。湘东王闲暇的时候谈玄，于是为他占卜，得到的是《节卦》，便对张嵊说：“你以后会东入为郡中长官，但恐怕不能终其天年。”张嵊说：“贵在得到适当的地位罢了。”当时伏挺在座，说：“君王令人可畏！”
回来后担任太尉卿、吴兴太守。侯景围困建邺，他派弟弟张伊率领郡中的兵士前往增援。城被攻陷，御史中丞沈浚逃难东归故乡，张嵊前往见他，对他说：“贼臣侵逼，是人臣效命的时候，现在我打算收集兵器，在贵乡坚守，即使是万死，也决无悔恨。”沈浚坚决劝张嵊举义。当时邵陵王萧纶东奔到了钱塘，听到消息后，派遣前舍人陆丘公任命张嵊为征东将军。张嵊说：“天子遇到危难，今天有什么情绪再接受这光荣称号？”只把命令留下而已。
贼军的行台刘神茂攻破义兴，派遣使者游说张嵊，张嵊杀死了他们的使者，仍然派军队进攻刘神茂。侯景派遣他的中军侯子鉴帮助刘神茂攻张嵊。张嵊的军队失败，他脱去军服坐在厅堂当中。贼兵到来用刀逼着他，他终不屈服，被抓住送给侯景。侯景将要把他释放，张嵊说：“赶快杀死是我的幸运。”于是杀死了他。子弟遇害的有十多人。侯景想保留他的一个儿子，张嵊说：“我全家已经写入了鬼的名单，不在你处求恩典。”于是全都死掉。贼平以后，元帝追赠他为侍中、中卫将军、开府仪同三司，谥号忠贞子。