张浚字德远，汉州绵竹人。唐朝宰相张九龄的弟弟张九皋的后代。其父张咸，考中进士、贤良两科。张浚四岁就成为孤儿，行为端正，没有谎言，认识的人认为他将成大器。进入太学，考中进士。靖康初年，任太常簿。张邦昌僭立为帝，他逃到太学中。听说高宗即位，乘马赶到南京，任枢密院编修官，改任虞部郎，升任殿中侍御史。皇帝到东南，后军统制韩世忠部队逼逐谏臣坠水而死，张浚上奏夺去韩世忠观察使一职，上下才知有国法。升任侍御史。
当时皇帝在扬州，张浚说：“中原是天下的根本，希望修葺东京、关陕、襄邓以待巡幸。”拂逆宰相的意思，授任集英殿修撰、知兴远府。尚未出发，升任礼部侍郎，高宗召见对他说：“你知无不言，言无不尽，我将要有所作为，正如想一飞冲天而无羽翼，你留下来辅助我吧。”授任御营使司参赞军事。张浚料想金人一定会来攻，而朝廷晏然，一点不作准备，极力向宰相建议，黄潜善、汪伯彦都笑他过虑。
建炎三年(1129)春天，金人侵犯南方，皇帝到钱塘，留下朱胜非在吴门抗御，让张浚一同节制军马。后来朱胜非被召回，张浚单独留下来。当时溃兵数万，所至之处剽掠不已，张浚招集平定下来。正好苗傅、刘正彦作乱，改元诏书到了平江，张浚命令守臣汤东野秘而不宣。不久，苗傅以檄书寄来，张浚痛哭，召东野及提点刑狱赵哲商量起兵讨贼。
当时苗傅等人任命承宣使张俊为秦凤路总管，张俊率领一万多人返回，准备解甲而归。张浚知道皇上对张俊很厚道，而张俊纯朴实在可以共谋大事，急忙邀请张俊，握手畅叙旧情，相对而泣，于是告诉他打算起兵问罪。当时吕颐浩节制建业，刘光世领兵驻屯镇江，张浚派人带着蜡书，约请颐浩、光世率兵来会，而命张俊分兵扼守吴江。上疏请求复辟。苗傅等人打算授任张浚为礼部尚书，命他率领所部到行宫，张浚认为大兵未集，不打算宣称讨贼，于是托称张俊骤回，人情震动，不可不滞留以招抚军队。
正好韩世忠水师到达常熟，张俊说：“世忠来了，事情可以成功了。”告诉张浚用信招他。世忠到后，对张浚痛哭道：“世忠与张俊以身听命。”张浚于是犒劳张俊、韩世忠将士，招呼诸位将校到面前，高声问道：“今日行动，谁顺谁逆？”人群都说“：贼逆我顺。”张浚说“：听说贼人以重赏求购我的头，如果张浚这次行动违天逆人，你们可取去我的头；不然，一有退缩，全部以军法处置。”人们都十分感愤。于是，命令世忠率兵入京，而戒令他赶快奔赴秀州，占据粮道等候大军到来。世忠到了秀州，立即大修兵器。
恰好苗傅等人以书信招浚，浚回信说“：自古言论不正当，称为指斥乘舆；行动不正当，称为震动宫廷；废立皇帝之事，称为大逆不道，大逆不道者要遭族灭。当今建炎皇帝没有听说有失德，一旦逊位，不应当听说。”苗傅等人得到书信大恐，于是派遣重兵扼守临平，急忙任命张俊、韩世忠为节度使，而诬蔑张浚打算危害国家，责令安置他在郴州。张俊、韩世忠拒不受命。正好吕颐浩、刘光世军队前后开到，张浚于是声讨苗傅、刘正彦罪行，传檄中外，率领诸军进讨。
当初，张浚派遣门客冯车番以计策前去游说苗傅等人，正遇大军到来，苗傅、刘正彦忧恐不知所出。冯车番知道可以行动，就以大义劝说宰相朱胜非，让他率领百官请求皇帝复位。高宗亲笔授任张浚为知枢密院事。张浚进驻临平，贼兵阻拒不能前进，世忠等人与贼兵作战，大败贼兵，苗傅、刘正彦逃脱。张浚与颐浩等人入宫晋见，伏地涕泣待罪，高宗问劳再三，说：“以往在睿圣，两宫隔绝。一天正在喝汤，小黄门忽然传来太母的命令，不得已贬你到郴州。我将汤水泼到手上没有感觉到，想你被贬，这件事谁可胜任。”留住张浚，引进内殿，说“：皇太后知道你的忠义，打算见你一面，刚才垂帘，看见你走过廊庭。”解下手上的玉带赐给他。高宗打算用他为相，他辞以晚进，不敢当。苗傅、刘正彦逃到闽中，张浚命令韩世忠追捕献给朝廷，与他们的死党一起伏诛。
当初，张浚驻扎在秀州，曾经夜里独坐，警备非常严，忽然有一人到前面，拿出怀中一纸说：“这是苗傅、刘正彦募人刺你的赏格。”张浚问他打算怎样，这人说“：我是河北人，粗读书，知道顺逆，岂能以身被贼利用？因为看见你防备不严，恐怕后来还有行刺者。”张浚拉着他的手，问他姓名，他不说而去。张浚第二天杀掉一个死囚示众，说：“这人是苗傅、刘正彦派来的刺客。”私下记住那个人的相貌寻找，终于还是未找到。
巨盗薛庆啸聚淮甸，兵至数万人。张浚恐怕蔓延开来，径自跑到高邮，进入薛庆的军营，宣谕朝廷恩意。薛庆感动下拜，张浚留下来招抚他的部队。有人传说张浚被贼兵捉住，吕颐浩等人急忙罢去张浚的枢密职务。张浚回来后，高宗惊叹，当天催促就职。
张浚认为中兴应当从关陕开始，考虑到金人可能先进入陕西攻取巴蜀，则东南不可保，于是慷慨请行。诏令任命张浚为川、陕宣抚处置使，得以见机处理官员升降。将出发时，御营平寇将军范琼，拥众从豫章到行都。在此之前，京城城破，金人逼胁皇帝、太后、太子、宗室北行，多出自范琼的计谋；又乘势抢劫，控制张邦昌，为他做侍卫。到这时入朝，狂傲无礼，而且请求宽宥逆党苗傅、刘正彦等人死罪。张浚奏称范琼大逆不道，请求申明法令。第二天，召范琼到都堂，数落他的罪状严厉责斥他，送到棘寺处死。把他的军队分隶神武军，然后出发。与沿江襄、汉守臣商议储蓄，以待皇帝驾临。
高宗询问张浚大计，张浚请求亲自担任陕、蜀之事，把幕府安置在秦川，另派大臣与韩世忠镇守淮东，命令吕颐浩护驾皇帝到武昌，又以张浚、刘光世与秦川互相首尾照应。计议已定，张浚出发，还未到武昌，而颐浩改变初议。张浚抵达兴元后，金人已攻取..延，骁将娄宿孛堇率领大军渡过渭水，进攻永兴，诸将不肯相援。张浚到后，立即出巡关陕之地，访问风俗，罢斥奸贼，以搜览豪杰为先务，诸将肃然听命。
谍报金人将进攻东南，张浚命诸将整顿部队待敌。后来金人大举进攻江、淮，张浚即整顿军队入京保卫。到房州时，知道金人已经北归，又回到关陕。
当时金兵元帅兀..还在淮西，张浚恐怕他又侵扰东南，设计牵制他，于是决定出兵，合五路军队收复永兴。金人大恐，急忙调兀..等由京西入援，大战于富平。泾原主将刘钅奇身率将士攻入敌阵，杀获很多。正好环庆主将赵哲擅自离开部队，赵哲军中将校望见尘土飞起，受惊而逃，诸军都溃败。张浚诛斩赵哲示众，退保兴州。命令吴..聚结军队扼险固守凤翔的和尚原、大散关，以切断敌人来路；关师古等人聚结熙河兵到岷州大潭，孙渥、贾世方等聚结泾原、凤翔兵于阶、成、凤三州，以固守蜀口。张浚上书请罪，皇帝下手诏慰勉。
绍兴元年(1131)，金将乌鲁进攻和尚原，吴..据险还击。金人大败而逃。兀..又合兵来攻，吴..及其弟吴瞞又阻击金兵，大败他们，兀..仅以身免死，急忙剪掉胡须逃归。当初，粘罕病重，对诸将说“：从我进入中国，未尝有人敢抵挡我的兵锋。只有张枢密与我抗衡。我活着，还不能攻取巴蜀；我死后，你们不要抱希望，但求自保而已。”兀..怒道：“这不是说我无能吗？”粘罕死后，兀..还是进攻，果然失败。授任张浚为检校少保、定国军节度使。
张浚在关陕三年，训练新集之兵，抵挡势狂之敌，以刘子羽为上宾，任命赵开为都转运使，提升吴..为大将驻守凤翔，子羽慷慨有谋略，赵开善于理财，而吴..每战必胜。西北遗民，归附者日益增多。故关陕虽然失陷，但保全蜀地，而且以形势牵制东南，江、淮之间也得以安全。
将军曲端，建炎年间，曾经逼逐主将王庶而夺其印。吴..在彭原战败，指诉曲端不整顿军队。富平之战，曲端意见不合，他的心腹张忠彦等人投降敌人。张浚当初起用曲端，中间因罪废职，还想再用他，后来终于把曲端下到监狱处死。
正好有人指责张浚滥杀赵哲、曲端无辜，而宠任子羽、赵开、吴..不正确，朝廷怀疑他。三年，派王似做张浚的副官。正好金将撒离曷及刘豫叛党聚兵进攻，攻破金州、刘子羽任兴元主将，约吴..同守三泉。金人到金牛时，宋军掩击，斩敌及坠入溪谷而死者有数千人。张浚听说王似到来，请求解去自己的兵权，并且认为王似不可任用。宰相吕颐浩不高兴，而朱胜非以旧怨天天诋毁张浚，诏令张俊到行宫。
绍兴四年初，辛炳任知潭州，张浚在陕西，以檄文征发他的部队，辛炳不放，张浚上奏弹劾他。到这时，辛炳任御史中丞，率领同僚们弹劾张浚，朝廷任命张浚以本官提举洞霄宫，住在福州。张浚已经离开朝廷，考虑金人不攻川、陕的部队，必将并力窥伺东南，而朝廷已经商议讲和，于是上疏极陈述这些形势。不久，刘豫的儿子刘麟果然勾引金兵进攻。高宗想起张浚以前的话，罢免朱胜非；而参知政事赵鼎请皇帝到平江，于是召张浚任资政殿学士提举万寿观兼侍读。入宫晋见，高宗下手诏辩白张浚所受的诬陷，授任他为知枢密院事。
张浚受命后，当天赶到长江边巡视军队。当时兀..拥兵十万驻在扬州，约期渡江决战。张浚长驱临江，召韩世忠、张俊、刘光世商议军事。将士们见到张浚，勇气十倍。张浚部署完诸将后，自己留在镇江指挥。韩世忠派部下王愈到兀..那里约战，并且说张枢密已在镇江。兀..说“：张枢密已贬到岭南，怎么能够在这里？”王愈拿出张浚写的文书给他看。兀..吓得色变，傍晚逃走了。
五年，任尚书右仆射、同中书门下平章事兼知枢密院事，都督诸路军马，赵鼎任左仆射。张浚与赵鼎同心辅治，务在堵塞佞臣，遏抑近习小人。当时巨寇杨么占据洞庭，官军多次进攻不能成功，张浚认为建康是东南的都会，而洞庭处在上流，惟恐滋延为害，请求趁盛夏敌人懈怠时进讨，上奏请行。到醴陵时，放出囚犯数百人，都是杨么的间谍，给些文书，让他们招谕诸砦，囚犯们欢呼而往。到潭州，贼众二十万余相继来投降，洞庭湖的贼寇被荡平。皇上赐给张浚书信称：“上流既然安定，则川陕、荆襄形势连接，势力倍增，上天是把中兴之功交付给你啊。”张浚于是建议派遣岳飞驻屯荆襄以图夺取中原，于是从鄂、岳到淮东，大会诸将，讨论秋防事宜。高宗派使者赐给他诏书令他急归，劳问他说：“你暑天巡行非常劳苦，湖湘群寇既然接受招抚，成全我不杀之仁，是你的功劳啊。”召到便殿相见，张浚献上《中兴备览》四十一篇，高宗叹赞不已，放在座位边。
张浚认为敌势未衰，而叛臣刘豫又占据中原。六年，集合诸将在长江边商议战事，张榜声讨刘豫的僭逆之罪。命令韩世忠占据承、楚以图取淮阳；命令刘光世驻兵合肥以招抚北军；命令张俊建康练兵，进驻在盱眙；命令杨沂中率领精兵为后翼辅佐张浚；命令岳飞进驻襄阳以窥伺中原。张浚渡江，遍抚淮上各部队。当时张俊部队进驻盱眙，岳飞派兵进入蔡州，张浚入宫晋见，极力请求皇上到建康。皇帝车驾进发，张浚先到江边，谍报刘豫与侄儿刘猊会合金兵来攻，张浚说“：金人不敢悉众而来，这一定是刘豫的部队。”边报不一，张俊、刘光世都夸大敌情，张浚说：“刘豫以逆犯顺，不剿除怎么立国？现在的事势，有进无退。”命令杨沂中前往驻扎濠州。刘麟逼近合肥，张俊请求增兵，刘光世打算撤军，赵鼎及签书折彦质打算召岳飞领兵东下。御书交给张浚，下令张俊、刘光世。杨沂中等人还保长江。张浚上奏称“：张俊等人渡江，就没有淮南，而长江之险与敌人共有。况且岳飞一动，襄、汉如有敌情，又依靠什么呢？”诏书同意他的意见。沂中部队抵达濠州，光世丢下庐州向南移，淮西震动。张浚听说，急忙乘马赶到县石，下令部队说：“有一个人渡江必斩！”光世重又驻下军队，与沂中会合。刘猊进攻沂中，沂中大败敌军，刘猊、刘麟都拔营而逃。高宗手书嘉奖，召张浚回朝。慰劳他。
当时赵鼎等人建议皇上回到临安，张浚说“：天下之事，不倡则不起，三年之间，陛下一再临江，士气百倍。现在六飞一还，人心会解体。”高宗忄番然听从张浚的计策。赵鼎出任知绍兴府。张浚认为亲民之官，治道所急，条具郡守、监司、省郎、馆阁出入迭补之法；又因为灾异奏请恢复贤良方正科。
七年，因为张浚退敌有功，诏令授任特进。不久，加任金紫光禄大夫。问安使何藓回来报告徽宗皇帝、宁德皇后相继去世，皇上痛哭不止，哀不自胜。张浚说“：天子守孝，不与百姓相同，必定考虑怎样继承宗庙社稷，现在灵柩未返，天下涂炭，希望陛下挥泪而起，敛发而行，一怒以安定天下百姓。”皇上命令张浚草拟诏书告谕中外，言辞非常悲切。张浚又请求下令诸大将率领三军穿丧服致哀，中外百姓都很感动。张浚上疏说“：陛下想念两宫，忧虑百姓。我才能至愚，受到任用，常常感慨自勉，誓杀歼灭仇敌。十年之间，对父母赡养不周，至于妻子和孩子，都无法顾及，心下想要成全陛下养孝之心，拯救百姓于水火。苍天不悯，祸变突然而生，使陛下抱无穷之痛，其罪谁来担负。想当初陕、蜀之行，陛下下令我说‘：我有大仇在北方，洗刷这个耻辱，只有你可以嘱托。’而我最终未能成功，使敌人肆无忌惮，今日之祸，祸端实由我致，请求赐给我罢免。”皇上诏令张浚处理政事。张浚再次上疏请罪，皇上不同意，于是请求皇上从平江出发，到建康。
张浚总理中外政事，政事繁多，一身任之。每次与皇上见面，一定说到耻辱之大，反复再三，皇上未尝不变色流涕。当时皇帝正励精克己，戒令宫廷内侍，不要超越法度，事无大小，必定征询张浚，赐给诸将诏书，往往命令张浚草拟。
刘光世在淮西，军队没有纪律，张浚奏请罢免光世，把他的部队隶属于督府，命令参谋兵部尚书吕祉前往庐州节制。而枢密院认为督府握兵不避嫌，请求设置武将，于是任命王德为都统制，从军队中选择郦琼为副职。张浚奏称不适宜，郦琼与王德有旧怨，列状诉到御史台，于是命令张浚为宣抚使，杨沂中、刘钅奇为制置判官进行安抚。还未到，郦琼举兵反叛，捉住吕祉投降刘豫。吕祉不走，詈骂郦琼等人，被碎齿斩首而死。张浚引咎求去位，高宗问谁可代替他，并且问“：秦桧怎么样？”张浚说：“最近与他共事，才知道他昏暗。”高宗说“：那么用赵鼎。”秦桧从此怨恨张浚。张浚以观文殿大学士身份提举江州太平兴国宫。
在此之前，张浚派人拿着手书到伪地离间刘豫，到郦琼叛逃，又派间谍拿着蜡书送给郦琼，金人果然怀疑郦琼，不久夺了他的职。台谏官员不断诋毁，张浚落职，以秘书少监分司西京，住在永州。九年，因为赦令重新做官，提举临安府洞霄宫。不久，授任资政殿大学士、知福州兼福建安抚大使。
金人遣使者来，以诏谕为名，张浚五次上疏争论。十年，金人背盟，又攻取河南。张浚上奏希望因机应变，就会大功可成，于是大修海船千余艘，为直指山东之计。十一年，授任检校少傅、崇信军节度使，充任万寿观使，免去朝请。十二年，封为和国公。
十六年，西方出现彗星，张浚打算极力指责时事，恐怕母亲忧虑。母亲惊讶他少言寡语，问他缘故，张浚告诉母亲实际情况。母亲背诵其父亲对策上的话说“：我宁可说了而死于斧钺，不能忍着不说以辜负陛下。”张浚才下定决心。上疏称“：当今事势，好像在头目心腹之间长成了个大疽，不切除不能痊愈。希望陛下在心里谋划，谨慎观察虚伪，使自己有不可侵犯之势，才有国家安全的希望；不然，后来将会吃下苦果。”事情交付三省审论，秦桧大怒，命令台谏官员论责张浚，贬任他为以特进提举江州太平兴国宫，住在连州。二十年，迁到永州。
张浚离开朝廷几乎二十年，天下士大夫不论贤者与不肖者，无不倾心敬佩他。武夫健将，说到张浚必定嗟嗟叹息，甚至儿童妇女，也知道有个张都督。金人害怕张浚，每次使者来，一定要问张浚在什么地方，唯恐他重新被起用。
当时，秦桧被宠固位，担心张浚发表公正意见损害自己，命令台臣只要有所弹劾，一定涉及到张浚，反称张浚是国贼，必欲杀掉他。秦桧任命张柄为知潭州，汪召锡出使湖南，让他们图谋害死张浚。张常先出使江西，审理张宗元案，株连到张浚，捕捉赵鼎的儿子赵汾交付大理寺，命令他自诬与张浚图谋不道，恰遇秦桧死了才得以幸免。
二十五年，朝廷任命张浚为观文殿大学士、判洪州。张浚当时因母丧将归葬。考虑到天下政事二十年来被秦桧所坏，边备松弛，又听说金亮篡立，必将兴兵攻宋，自以为大臣，义应与国家同甘共苦，不敢因为居丧嫌碍，上奏陈述。正好星象有变，朝廷征求直言，张浚认为金人数年间，势必兴兵来攻，而国家却溺于宴会，荡然无备，于是上疏极力陈述。而大臣沈该、万俟..、汤思退等人见了，认为敌人不会用兵，耻笑张浚狂妄。台谏汤鹏举、凌哲指责张浚归蜀，恐怕摇动远方，诏令仍住在永州。守丧满期后夺去职务，以本官奉祭祠。
三十一年春天，有旨命他自便。张浚到潭州，听说钦宗去世，痛哭不进食，上疏请求早定守战之策。不久，金亮挥兵大入，中外震动，重用张浚为观文殿大学士、判潭州。
当时金人骑兵横行，王权军溃败，刘钅奇退到镇江，于是改任张浚为判建康府兼行营留守。张浚到岳阳，乘船冒风雪而行，遇到朝东边来的人说：“敌兵正焚烧采石，火焰满天，千万不要轻率前进。”张浚说“：我赴君父的急难，只知一直往前寻找皇帝所在处而已。”当时长江上无一船敢沿北岸而行。张浚乘坐小船直往前进，经过池阳时，听说金亮已死，余众还有二万人驻扎在和州。李显忠的军队驻扎在沙上，张浚前往犒军，全军人见了张浚，以为他是从天而降。张浚到建康，即通知通判刘子昂置办行宫仪物，请皇帝早日驾临。
三十二年，皇帝到建康，张浚在路旁迎拜，卫士见了张浚，无不掩面哭泣。当时张浚起废复用，风采隐然，军民都倚重他。皇帝准备回到临安，慰劳张浚说：“你在这里，我没有北顾之忧了。”命他兼领节制建康、镇江府、江州、池州、江阴军军马。
金兵十万围攻海州，张浚命令镇江都统张子盖前往援救，大破金兵。张浚招集忠义之士，及招募淮楚壮丁，任命陈敏为统制。并且说敌人长于骑兵，我方长于步兵，保卫步兵莫如弓箭，保卫弓箭莫如战车，下令刘敏专门制弓弩修战车。
孝宗即位，召张浚入宫相见，庄重地说“：听说你的大名很久了，现在朝廷只有依靠你。”赐座并询问他，张浚从容说道“：人主之学，以心为本，一心合天，哪件事不成功？所谓天，是天下的公理而已。必定兢业自持，使自己清明，那么赏罚举行，无有不当，人心自然归向，敌仇自然可报。”孝宗悚然说“：我应当不忘记你的话。”授任少傅、江淮东西路宣抚使，进封为魏国公。翰林学士史浩打算在瓜洲、采石筑城。张浚认为不守两淮而守长江干道，是以弱示敌，懈怠战守士气，不如先在泗州筑城。到史浩任参知政事时，张浚的计划，史浩一定阻抑。张浚推荐陈俊卿为宣抚判官，孝宗召俊卿及张浚的儿子张木式赴行宫。张浚附奏请皇帝到建康，以震动中原的民心；用兵淮..，进舟山东，作为吴王..的声援。孝宗见到陈俊卿等人，询问张浚起居饮食颜色，说“：我倚重魏公如同长城，不容浮言动摇。”金人以十万兵力驻屯河南，声称进攻两淮，传布文书索取海、泗、唐、邓、商诸州及岁币。张浚认为北敌诡诈，不应当为之所动，把重兵驻扎在盱眙、濠、庐州备敌，终于无事。
隆兴元年(1163)，授任张浚为枢密使，都督建康、镇江府、江州、池州、江阴军军马。当时金将蒲察徒穆及知泗州大周仁驻扎在虹县，都统萧琦驻扎在灵壁，积蓄粮食修整城池，作为南攻的准备。张浚打算乘其未发先攻之，正好主管殿前司李显忠、建康都统邵宏渊也提出捣毁敌人二城之策，张浚详细告诉皇上。皇上表示同意，召张浚到行宫，命他先图取两城。于是派遣李显忠出兵濠州，直趋灵壁；邵宏渊出兵泗州，直趋虹县，而张浚亲自前去巡视。显忠到了灵壁，打败萧琦；宏渊围攻虹县，逼降徒穆、周仁，乘胜进克宿州，中原震动，孝宗赐给手书慰问说“：近日边报，中外鼓舞，十年来没有这样的战绩。”
张浚认为盛夏人疲，急召李显忠等人还师。正好金兵元帅纥石烈志宁率兵到宿州，与显忠作战。连日宋军稍微不利，忽然谍报敌兵大至，显忠连夜还师。张浚上疏请罪，有旨降任特进，改任江、淮宣抚使。
宿州部队回师，士大夫主和者都议论张浚的错误，孝宗又赐给张浚手书说：“现在的边事倚重你，你不要害怕人言而犹豫。前日举事之初，我与你共任之，今日也须与你完成之。”张浚于是以魏胜守海州，陈敏守泗州，戚方守濠州，郭振守六合。修理增扩高邮、巢县两城，修治关山滁州以扼守敌人进攻，在淮阴聚结水军、在寿春聚结骑兵，大大整顿两淮守备。
孝宗又召张木式奏事，张浚附奏说：“自古有好的皇帝，与心腹之臣相与协谋同心，以完成大功业。现在我因为孤纵，动辄受到牵制，陛下怎能任用。”因而请求辞职。孝宗看罢奏章，对张木式说：“我对待魏公之心有增无减，不被浮议所迷惑。”皇帝对待张浚非常恩宠，对近臣谈话，一定称魏公，从不直称其名。每次张浚派使者来，一定询问张浚饮食多寡，肥瘦如何。不久诏令恢复张浚都督的称号。
金兵元帅仆散忠义寄信给三省、枢密院，索求四郡及岁币，不然，将在农闲时进兵。张浚说：“金人强盛就来，弱小就止，不在和与不和。”当时汤思退为右相。思退，是秦桧一党，急于求和，于是派遣卢仲贤持书出使金营。张浚认为仲贤小人多妄，不可信用。后来仲贤果然许可金国四郡有辱使命。朝廷又任命王之望为通问使，龙大渊为副使，张浚争辩不成功。不久，召张浚入宫晋见，又力陈和议之失。孝宗为此停发誓书，留之望、大渊待命，而令通书官胡日方、杨由义前往，告诉金人四郡不能割；如果金人想得此四郡，应当追还使者，罢和议。授任张浚尚书右仆射、同中书门下平章事兼枢密使，依然都督军事；思退任左仆射。
胡日方等人到宿州，金人械系威胁他们，胡日方等人不屈，后来金人以礼送归他们。孝宗告诉张浚说：“和议不成，是天意，从此政事归一。”二年，商议皇上到建康，诏令之望等人回来。思退听说后非常惊恐，假装请求去职，而暗中与其同党谋划陷害张浚之计。
不久诏令张浚巡视江、淮。当时张浚招来的山东、淮北忠义之士，以充实建康、镇江两军，共一万二千多人，万弩营所招淮南壮士及江西群盗又有万余人，由陈敏统率，驻守泗州。凡是要害之地，都筑起城堡；可以因水成险处，都积水为潭；增设江、淮战船，各军弓箭兵器完备。当时金人驻扎重兵于河南，虚张声势威胁和议，有克日决战之语。到听说张浚来了，急忙撤兵逃归。淮河以北来归降者日夜不绝，山东豪杰，都愿意接受指挥。张浚认为萧琦是契丹望族，沉勇有谋，打算让他率领全部契丹降众，而且以檄文传谕契丹，约为应援，金人越是害怕。思退于是命王之望极力诋毁守备，以为不可依恃；命尹穑指责、罢免督府参议官冯方；又责论张浚浪费国家资财，奏请留任张深守泗州而不同意赵廓取代他是抗拒朝命。张浚也请求解去都督之职，诏令听从他的请求。左司谏陈良翰、侍御史周操认为张浚忠诚勤苦，人望所归，不应当让他离开朝廷。张浚留在平江，共八次上章请求退休，授任少师，保信军节度、判福州。张浚辞谢，改任醴泉观使。朝廷于是决定弃地求和。
张浚离职后，还上疏论斥尹穑奸邪，必误国事，并且劝皇上务学亲贤。有人劝张浚不要再评论时事，张浚说：“君臣之义，天地之间无法逃避。我身受两朝厚恩，久担重任，现在虽然离开朝廷，还希望皇上心里感悟，如果有些见解，怎忍不说。皇上如果重新起用，我会即日就道，不敢因老病推辞。像你们说的那样，是什么诚心呢？”听者耸然。走到余干，生了病，手写书信交付两个儿子说：“我曾任相国，不能恢复中原，雪祖宗之耻，死后，不要把我埋葬在祖宗墓旁，把我埋葬在衡山下就可以了。”讣告传到，孝宗悲悼，停止上朝，追赠太保，后加赠太师，谥号“忠献”。
张浚年轻时有大志，任熙河幕官时，遍行边垒，观览山川形势，经常与以往的戍卒守将握手对饮，询问祖宗以来守卫边疆之法及军阵战略事宜。所以一旦从疏远地位提拔起来，担当枢密之任，能全部知道边事本末。在京城中，亲眼看见二帝北行，皇族被捕系，百姓涂炭，发誓不与敌人共存，所以终身不主张和议。每次商议定都大计，认为东南形势，莫如建康，人主居之，可以北望中原，常怀愤惕之意。至于钱塘，偏处一隅，易于安逸，不足以号令北方。与赵鼎共同执政，引荐很多人，从臣朝列，都是当时名望大臣，人们号称“小元..”。所推荐的虞允文、汪应辰、王十朋、刘珙等都是名臣；在军队中提拔吴..、吴瞞，认为韩世忠忠诚勇敢，可以托付大事，一见刘钅奇就认为他是奇才，交付他重任，终于都成为名将，立有大功，一时都称赞张浚为知人。张浚侍奉母亲以孝出名。对于《周易》钻研得很精深，著有《易解》及《杂说》十卷，《书》、《诗》、《礼》、《春秋》也都有注解，文集有十卷，奏议二十卷。有儿子二人：张木式、张木匀。张木式有传记。