吕琦，字辉山，幽州安次人。祖父吕寿，担任过瀛州景城主簿。父亲吕兖，曾任沧州节度判官，累官至检校右庶子。刘守光攻破沧州，吕琦的父亲被擒获，诛灭全族。吕琦当时只有十五岁，被官吏抓住，将就刑戮。有个叫赵玉的人，是幽州、蓟州的义士，长久在吕兖门下为游客。看到吕琦面临危险，便欺骗监官说：“这孩子是我的同胞兄弟，你们不要搞错。”监官相信了赵玉，赵玉就带着吕琦一起离开了。走了三十里路，吕琦苦于步行，告诉赵玉说有足疾，赵玉便背着他前行，走了几百里，然后更改姓名，沿路乞讨食物，才避免了那场灾难。吕琦年幼时，因家门遭祸，远离故土，无所依附，便立志勤奋学习，多在汾、晋两州游学。
唐天..年间，庄宗刚开拓霸业，翘首盼望贤士，亲笔下令拜吕琦为代州军事判官，任满后回到太原，监军使张承业推重吕琦的器量，以礼相待，十分优厚。天成初年，任命吕琦为殿中侍御史，迁驾部员外郎，兼侍御史知杂事。时逢河阳主管仓库的官吏偷窃官仓财物的事情败露，朝廷下诏让军巡院审讯这件事。当时军巡使尹训依仗权势收纳贿赂，颠倒是非，不久，有人到京城申诉冤屈，朝廷便下令让吕琦审按这件事，验证了尹训的奸恶之后，便上奏请求治尹训的罪，奏请受阻而不能实施。吕琦接连上奏不止，尹训知道自己不能免祸，在家中自杀，这个案子才大白于天下，蒙恩活下来的人很多，从此朝廷称赞吕琦的公允正直。
晋高祖在太原建立义旗，唐末帝临幸怀州，赵德钧驻军在团柏谷，末帝因吕琦曾经在赵德钧的幕下干过事，便令吕琦带着都统使官告慰赏赐他，并且犒劳他的军队。到在北方边境巡视军队时，吕琦住在忻州，碰上晋高祖攻下了晋安寨，高祖派使臣通告近邻州郡，吕琦正好碰上了高祖的使臣，就斩杀了他告诉朝廷唐末帝，不久又率领郡兵一千多人抄小路回到朝廷。晋高祖进入洛阳，也不责怪他，只是改任他为秘书监罢了。天福年间，参与编修《唐书》，临时掌管选部，都有能称道的事迹，历迁任礼部、刑部、户部、兵部侍郎，官品达到金紫光禄大夫，爵位达到开国子。
吕琦俊美丰仪，气宇轩昂，虽以刚直闻名当时，而内心则仁厚宽容。当初，高祖寻求辅佐相国，宰相李崧就极力向高祖荐举吕琦，说他可以委以重任。高祖多次在便殿召见吕琦，谈到当前世事，对吕琦深感奇异，正准备倚重他为宰相，忽然间染上疾病去世，人们都很惋惜。