吴玠字晋卿，德顺军陇干人。由于父亲死后葬在水洛城，因此迁徙到该地。年少时即深沉果敢有节操志向，知晓军事善长骑马射箭，读书能精通大义。不满二十岁时，以良家子的身份投军隶属泾原军。政和年间，西夏军队侵犯边境，吴玠因功补为进义副尉，不久擢升为队将。随从讨伐方腊，攻破方腊部队；等到攻打河北盗贼时，因多次立功任泾原第十将。靖康初年，西夏军队进攻怀德军，吴玠率一百多名骑兵追击，斩杀夏军一百四十人，擢升为第二副将。
建炎二年(1128)春天，金军渡过黄河，出大庆关，寇略秦雍，企图直扑泾原。都统制曲端守卫麻务镇，命令吴玠为前锋，进据青溪岭，迎击并大败金军，追击逃奔的敌人三十里，金军开始感到害怕。被任命为泾原路兵马都监兼知怀德军。金军攻打延安府，经略使王庶命令曲端进兵，曲端驻于玠州没有前去，并且说：“不如扫荡金军巢穴，攻敌必救之处。”曲端于是攻打蒲城，命令吴玠攻打华州，攻占华州。
建炎三年(1129)冬天，一股势力庞大的盗贼史斌进犯汉中，没有攻克，打算率部攻取长安，曲端命令吴玠攻打斩杀史斌，升为忠州刺史。宣抚处置使张浚巡视关陕，参议军事刘子羽称赞吴玠兄弟才能勇气，张浚同吴玠交谈，大喜，当即任命吴玠为统制，他的弟弟吴王玠掌管帐前亲兵。
建炎四年(1130)春天，吴玠升任泾原路马步军副总管。金将娄宿和撒离喝率部长驱入关，曲端派遣吴玠在彭原抵御，而自率兵至玠州作为援兵。金军前来进攻，吴玠将敌人击败，撒离喝由于害怕而哭泣不止，金军之中把他看成“啼哭郎君”。金朝重整军马再战，吴玠军失败。曲端退兵屯驻泾原，弹劾吴玠不听指挥，被降为武显大夫，罢免总管职务，又任知怀德军。张浚爱惜吴玠才能，不久让他担任秦凤路副总管和兼知凤翔府。当时正是战乱之后，吴玠慰问前来归附的兵士和安抚聚集的民众，民众依赖他得到安宁，转任忠州防御使。
九月，张浚会合五路大军，准备同金军决战，吴玠建议应该把守各个要害地区，等到敌军困敝时乘机出击。军队到达富平时，都统制又会合众将商议决战，吴玠说“：军队因为有利才行动，现在地势对我不利，没有看到可以决战的理由。应该选择高山占据，使敌人难以战胜。”众将都说：“我众敌寡，前面又有沼泽芦苇阻碍，敌人骑兵难以施展，何必转移到其他地方？”不久敌军突然赶到，用车载柴皮囊包土，填平沼泽顺利通过，进攻吴玠营垒。宋军于是大溃而散，五路都沦陷敌手，巴蜀地区极为震恐。
吴玠收集散兵保卫大散关东面的和尚原，积聚粮饷修缮兵器，排列栅栏做死守的打算。有人对吴玠说应退军屯驻汉中，控扼蜀口以安定人心。吴玠说：“我保住此地，敌人决不敢越过我前进，坚壁清野等待敌人，敌人害怕我从它后面进攻，这才是保卫巴蜀的最好办法。”吴玠在和尚原上，凤翔民众感激他过去的恩惠，在夜晚运送粮草帮助他。吴玠赏给他们银帛，百姓更加高兴，偷偷为他运输粮草的人更多。金军恼怒，在渭河设伏兵邀击斩杀，并下令实行保伍连坐之法；民众违背禁令依然像过去那样运送粮草，数年之后才停止。
绍兴元年(1131)，金将没立从凤翔，别将乌鲁折合从阶、成州出大散关，约期会攻和尚原。乌鲁折合提前赶到，在北山列阵求战，吴玠命令众将坚固阵势等待，轮番作战轮番休息。山谷道路狭窄石块众多，马匹不能行走，金兵舍弃战马在地上交战，遭到大败，移营于黄牛，恰逢刮起大风天降冰雹，于是逃走。没立刚进攻箭薚关，吴玠又派遣将领将其击退，因此两路金军终于没能会合。
开始，金军进入之时，吴玠和吴王玠率领散兵数千人驻扎在和尚原上，同朝廷的联系断绝，士兵没有固守的斗志。有人暗中谋划劫掠吴玠兄弟投降金朝，吴玠预先知道，召集众将歃血盟誓，用忠义勉励众将。全军将士都感动泪下，愿意听令使用。张浚记录他的功绩，按朝廷命令拜吴玠为明州观察使。因母亲去世辞职服丧，丧期满后重任原职。兼任陕西诸路都统制。
金人自从海边兴起后，屡战屡胜习以为常，等到同吴玠交战总是失败，十分愤怒，计谋一定要杀死吴玠。娄宿死后，兀玠会合各路兵十余万人，建造浮桥跨越渭河，从宝鸡结为连珠营，用石头堆垒成城，夹着涧谷同宋军对峙。十月，进攻和尚原。吴玠命令诸将选择劲弓强弩，轮番射击，号称“驻队矢”，连发不断，密如雨下。敌人稍稍后退，吴玠就用奇兵从侧翼进袭，断绝敌人粮道。预测敌人困疲将要退走，在神坌设埋伏等待敌人。金兵一到，埋伏突起，敌众大乱。吴玠指挥军队乘夜出击，大败金军。兀玠身中流矢，仅以身免。张浚按照朝廷命令任命吴玠为镇西军节度使，吴王..为泾原路马步军副总管。兀..失败之后，于是从河东回到燕山，又命撒离喝任陕西经略使，屯驻于凤翔，同吴玠对峙相持。
绍兴二年(1132)，朝廷任命吴玠兼任宣抚处置使司都统制，节制管理兴、文、龙三州。金朝长期窥视四川，因为吴王玠驻兵在和尚原控制了要冲地带，不能得逞，准备出奇制胜夺取和尚原。当时吴玠在河池，金朝让宋叛将李彦琪驻于秦州，睨视仙人关以牵制吴玠；又令游骑兵前出熙河以牵制关师古，撒离喝自己从商於直捣上津。绍兴三年(1133)正月，金军攻取金州。二月，长驱直入扑向洋、汉，兴元守将刘子羽急令田晟率兵守卫饶风关，同时用快信招吴玠增援。
吴玠从河池日夜兼程三百里，把黄柑送给金军说：“贵军远道而来，用它聊以止渴。”撒离喝大惊失色，以手杖击地说“：你怎么来得这么迅速呢！”于是双方在饶风岭展开激战。金军身穿重铠，登山向上仰攻。一人先登，后面两人紧跟；前面的人战死，后面的取代他继续进攻。吴玠军弓弩齐发，并用巨石向下滚压，像这样六昼夜，金军士兵战死的堆积如山但并未后退。吴玠召募敢死士，每人给银一千两，召到五千名敢死士，准备夹攻敌人。恰逢吴玠部下有一位低级军官犯罪投降金军，引导金军通过祖溪小路，潜出饶风关背后，乘高阚视饶风关。吴玠各军难以抵挡，于是溃败，吴玠退保西县。金军进入兴元，刘子羽退保三泉，修建潭毒山以自卫，吴玠到三泉同刘子羽会合。
不久，金军北撤，吴玠急忙派兵在武休关拦截金军，掩击金军后卫部队，金兵堕落深涧而死的数以千计，遗弃全部辎重逃走。金朝开始谋划攻宋时，本以为吴玠在西边，因此通过隘阻地区从东边发起进攻，没想到吴玠奔驰而至。虽然侵入宋三郡，但得不偿失。朝廷晋升吴玠为检校少保，充任利州路、阶、成、凤州制置使。
绍兴四年(1134)二月，金军再次大举入侵，进攻仙人关。早先，吴瞞在和尚原，粮饷供给不上；吴玠又说该地距离四川太远，命令吴瞞放弃，经营仙人关右边的杀金平，修筑一座堡垒，将和尚原上的兵力移住此地守卫。到这时，兀..、撒离喝和刘夔率领十万骑兵入侵，在铁山悬崖上开凿通路，沿着山岭东下。吴玠用一万人守卫要冲地带。吴瞞率领轻兵从七方关倍道兼程赶到，同金兵连续交战七昼夜，才得以同吴玠会合。
敌人首先进攻吴玠营垒，吴玠将金兵击退。金兵又用云梯进攻堡垒，杨政用撞竿撞碎云梯，用长矛刺杀敌人。吴瞞拔出大刀画地，对众将说：“死就死在这里，后退的斩首！”金军把部队分为两部，兀..在东边列阵，韩常在西边列阵。吴瞞率领精锐部队在敌军两部之间，左抵右挡，根据情况出击。战斗进行了很长时间，吴瞞部队稍稍疲惫，急忙退居第二道防线。金军跟着到来，人披重铠，用铁钩相连，鱼贯而上。吴瞞用驻队矢轮番射击，矢如雨下，金军死者层层堆积，依然踏尸而上。撒离喝立马四处观察说“：我得到击破宋军的方法了。”第二天，命令部队进攻西北城楼，姚仲登楼激战，楼倾斜，用布匹做绳，将倾斜的城楼拦正。金军用火攻楼，用水将火扑灭。吴玠急令统领田晟率部用长刀大斧左砍右击，在四周的山点燃火炬，擂击战鼓震天动地。次日，派出大部军队。统领王喜、王武率领精锐士兵，分执紫、白两色旗冲入金军营中，金军阵势大乱。吴玠军奋起冲击，射击韩常，中其左眼，金人开始在晚上撤军奔逃，吴玠派统制官张产攻劫横山砦，命王俊率部埋伏在河池控制敌人去路，又击败金军。因为郭震没有极力作战，将他处死。这次战役，金军自元帅以下，都携带家眷前来。刘夔是刘豫的心腹大将。他们本以为四川可轻易到手，既然没能得逞，估计吴玠始终不可侵犯，于是退据凤翔，授予士兵田地，作为久留的打算，自此不敢对吴玠轻举妄动。
捷报传来，朝廷授予吴玠为川、陕宣抚副使。四月，收复凤、秦、陇三州。七月，朝廷录用仙人关有功人员，拜吴玠为检校少师、奉宁保定军节度使，吴瞞从防御使升为定国军承宣使，杨政以下升官不等。绍兴六年(1136)，吴玠兼任营田大使，改为保平、靖难节度使。绍兴七年(1137)，派遣偏将马希仲进攻熙州，遭到失败，又丧失了巩州，吴玠将他处死。
吴玠同敌人对峙将近十年，常常苦于远道转运粮饷劳民伤财，屡次裁汰冗员，节省不必要的开支，开垦屯田，每年收成至十万斛。又征调守卫部队，命令梁州、洋州守将治理褒城废弃的堤坝，民众知道灌溉可以依赖，愿意归业的达到数万家。绍兴九年(1139)，金国请求议和。高宗因为吴玠功大，授予他为特进、开府仪同三司，升任四川宣抚使，陕西阶、成等州都听从他治理。派遣宦官赐给吴玠亲笔书信，使者到时，吴玠病情已重，被人搀扶起来听从诏令。高宗听说后十分忧虑，命令当地守臣就近在四川搜求良医，并派国医奔赴前去看病，还未赶到，吴玠已在仙人关病逝，时年四十七岁。朝廷追赠他为少师，赐钱三十万贯。
吴玠善于阅读史书，凡是过去可以效法的事情，都记录下来置于座右，时间一久，墙壁上都是格言。用兵作战遵从孙武、吴起之法，只讲远大的谋略，不追求眼前的小利，因此能保证每战必胜。统御部下严格而有恩惠，虚心询问和接受意见，虽然身为大将，最下层的士卒也能将下情上达，因此士卒乐意为他拼死效命。选用将佐时，看他的功劳才能决定高下先后，不因为是亲朋故旧、权贵而屈情私授官职。
吴玠死后，胡世将询问吴玠所以能用兵制胜的原因，吴瞞回答说：“吴瞞跟随兄长进攻西夏时，每次作战，不过一进一退之间，就分出胜负。至于金军，则轮番进退，忍耐坚强持久，命令严酷而部下报必死的决心，每次战斗不经过几天不能结束，胜利时不急忙追敌，失败时阵脚不乱。大概是过去用兵作战所未尝见到的，同他们角逐长久之后，才了解到敌人的这种情况。金军的弓矢，没有中国的强劲锐利；中国的士卒，不如金军坚韧耐劳。我常常用弓箭在数百步外射穿厚重的盔甲，但敌人的往来奔突能力我们又不能赶上。于是选择占据险要便利的地形，派出精兵轮番骚扰敌人，使敌人穷于应付，得不到休息闲暇，以此败坏敌人坚韧持久的气势。至于在双方交锋之间临机决胜的奥妙，则是我难以说明的。”
吴玠晚年有不少不好的嗜好，曾派人到成都抢取美女，喜欢服用丹石，因此得吐血病而死。当富平失败之时，秦、凤等地都沦陷敌手，金军一意一心睨视四川，东南地区的形势也很危急，没有吴玠挺身而出抵挡金军的冲击，那么早就没有四川了。因此西部的民众至今仍在思念他。谥号为“武安”，建吴玠庙在仙人关，称为思烈庙。淳熙年中，朝廷追封他为涪王。