张归霸，字正臣，清河人。祖父张进言任阳谷县令。父亲张实，也做过官。归霸小时潇洒不拘，爱好兵术。唐朝乾符年间，盗寇蜂起，张归霸领着兄弟三人弃家投奔黄巢，很因勇敢机智闻名。黄巢攻陷长安，即授他以左番功臣名号。中和年间，黄巢领着党徒奔到宛丘，当时太祖在汴州，奉诏南征，黄巢势力日益窘迫，张归霸兄弟与葛从周、李谠等人一起来投降朝廷，不久补任宣武军要职。
光启二年(886)，张归霸与蔡州贼寇张存在卢氏交战。三年夏天，又与蔡贼将领卢瑭在双丘作战，又与秦宗贤在万胜作战，都打败并歼灭了他们。后来，秦宗权派将领张日至前来寇犯，在赤岗扎营。一天，各自派出骑兵将领以决胜负，张归霸被飞矢射中，他立即拔出箭矢，回马弯弓一射，贼人被射穿颈子坠下马来，张归霸于是缴获贼人战马而回，太祖当时在高丘上朝下观战，看见全部情况，当面加以奖赏鼓励，用金钱布帛以及他俘获的战马赐给他。张归霸又曾经受命带领弓箭手五百人埋伏在战壕里，太祖带着数百骑兵慢慢逼近敌军营寨，蔡州贼寇果然派出精锐士兵开门出城前来追击，张归霸发起伏兵，掩杀千余人，夺得战马几十匹，不久上奏朝廷授与检校左散骑常侍。后来跟随太祖攻伐郓州，辅助李唐宾渡过淮河，都立有大功。
文德初年，大军逼近蔡州，贼将萧颢前来攻营，张归霸与徐怀玉各领部下士兵从东南两门分别出击，合并势力杀贼，蔡州贼人大败。到太祖整顿部队出营时，战争已经结束，太祖召来张归霸，赞赏他说“：以前耿..不等光武帝下令就出击张步，说不能将贼寇留给君王，立下耿..这样的功劳，你是第二个。”大顺年间，郭绍宾占领曹州后，张归霸领兵数千守卫曹州。接着朱瑾带领大军来到，张归霸与丁会在金乡迎战朱瑾，朱瑾大败，擒获贼将宗江等七十多人，曹州得以安宁。第二年，攻下濮州，活捉刺史邵儒。又辅助葛从周与晋军在洹水作战，活捉了李克用的爱子落落。又与燕人在内黄交战，杀死刘仁恭士兵三万多人。战绩超群，居于众将之上，接连升官至检校左仆射。
光化二年(899)，代理主持邢州事务。第二年春天，李嗣昭率领蕃族、汉族五万士兵来寇犯，张归霸坚守城墙做好准备，晋军不敢冒犯邢州城，于是调转军队进攻氵名州，氵名州陷落。当时太祖在滑州，很担心邢州失守。到葛从周收复氵名州时，李嗣昭向北逃走，张归霸出兵追击他，杀死二万多人。捷报传来，赏赐非凡，立即因功上奏加封为检校司空。天..初年，迁任莱州刺史，任满后授与左卫上将军，又任曹州刺史。那年秋天，加封检校司徒，辅助刘知俊抵御..州、凤翔的敌寇，打败了他们。太祖受禅让后，拜为右龙虎统军，改任左骁卫上将军，兼任河阳各军都指挥使。第二年夏天六月，任河阳节度使、检校太保，接着加封为同平章事。同年秋天七月，死在任上。诏令追赠为太傅。