吕罗汉，本是东平寿张人。其先祖，在石勒时代迁居幽州。祖吕显，字子明。少年好学，性格廉洁正直，乡里有人发生纠纷都纷纷到他那里评理。慕容垂任命他为河间太守。皇始初年，举郡降魏，魏太祖很高兴，赐给他魏昌男的爵位，拜授他为巨鹿太守。清廉奉公，务存赈恤，他的妻子儿女都忍受饥寒。老百姓歌颂他说：“时惟府君，克己清明。集我荒土，民便乐生。愿寿无疆，以享长龄。”卒于官任之上。父亲吕温，字..阳。擅长书法，喜好施给，有文武才略。魏世祖讨伐赫连昌，任吕温为禁卫军将领。吕温每次作战都身先士卒，冲锋陷阵，每战必捷，因功被朝廷拜授为宣威将军、奉车都尉。出任秦州司马，迁任上党太守，善于劝民课税，颇有治绩。死后，朝廷赠其为平远将军、豫州刺史、野王侯，谥称敬。
吕罗汉仁义笃厚，谨慎细密，少年时代就以武才出名。父亲吕温佐治秦州，吕罗汉随侍其父。陇右氐人杨难当率领数万兵马侵犯上絡，秦地百姓多有响应。镇将元意头知道吕罗汉善于射击，便与他共登西城楼，让罗汉射杨难当队将以及兵士二十三人，全都应弦而倒。敌人势力越来越大，吕罗汉献计说：“如今如不出战，那便是在敌人面前示弱，等到我军众情崩溃，那就大势已去了。”意头觉得他的话很对，便拨出千余骑兵让吕罗汉出城迎战。罗汉与众骑兵策马大呼，直冲杨难当阵中，敌人纷纷溃退。罗汉杀杨难当左右队骑八人，杨难当大惊失色。恰逢魏世祖赐杨难当玺书，责备其跋扈，杨难当于是引兵还归仇池。意头把这个情况具表上闻，魏世祖很是赞赏，征拜他为羽林中郎。上絡人休官吕丰、屠各王飞廉等八千多家，据险叛逆，帝诏罗汉率领骑兵一千讨伐擒拿敌人。吕罗汉随皇帝征伐悬瓠，与琅笽王司马楚之一起御驾前招慰叛众，降顺的九千多户。等到了盱眙，频频破灭敌人，擒捉其将领顾俨、李观之等。因功迁升羽林中郎、禁军将领，赐爵乌程子，加授建威将军。等到南安王元余被立为储君，吕罗汉仍掌禁卫军，高宗得立，吕罗汉出了力。迁任少卿，仍为禁卫将军，晋爵野王侯，加授龙骧将军。拜授司卫监，迁任散骑常侍、殿中尚书，晋爵山阳公，加授镇西将军。等到柔然人侵犯边塞，显祖讨伐，吕罗汉与左仆射南平公元目振都督中外军事。
出任镇西将军，秦、益二州刺史。当时仇池氐羌反叛，攻逼骆谷，镇守将领吴保元逃登百顷，在罗汉那里请求援助。吕罗汉率领骑步兵随长孙观掩击氐羌氏，大破敌军，斩杀其主帅，敌人败退散去。帝诏吕罗汉说：“爱卿以劳勤获叙，才能致用，内总禁旅，外临方岳，褒奖宠幸之隆，可以说全有了。自己如果不尽节竭诚，将何以垂名竹帛？仇池接近边境，兵革之事屡屡兴起，既很辛劳士兵，又烦扰黎民百姓，这都是由于镇守将领不明，安抚震慑方法不当所导致。卿你应机赴击，灭此凶丑。陇右山水险恶，老百姓也十分强悍，如果不导之以恩德，齐之以刑罚，贼众无法宁息，老百姓无法安宁。朕垂心治道，为的是使远近清穆，卿你可召集豪贵，选择事宜，以利于民为先，有益于国为本，随其当地风俗，以施行威刑恩惠并举的政策。那里的安居乐业、奉公勤私的人，你要善加劝导监督，不要剥夺他们的农时物利。明相宣告，以使朕称心满意。”
泾州百姓张羌郎煽动陇东，聚众一千多人，州中军队前去讨伐却制服不了。吕罗汉率领骑步兵一千人打击张羌郎，抓到了他。仇池氐、羌人叛逆之风当时也很猖獗，所到之处如蜂起云涌，道路被其断绝。他们的头领蛩廉、符祈等人都受到刘昱的官爵、铁券的恩赐。略阳公伏阿奴任都将，与吕罗汉一起前去讨伐，所向披靡，生捉廉、祈等人。秦、益二州与京城距离遥远山川阻隔，南边连着仇池，西面接着赤水，诸羌人凭着天险，屡屡叛逆。自从吕罗汉为州长官，他以威势恩惠抚之州民，西部百姓都很驯服，羌地治安大为好转。魏高祖下诏吕罗汉说：“朕总摄万机，统治四海，思想着隆盛古时道义，光大显明教化风气，所以内委各个部门，外任州郡长官，眼下正是志士建立名节之秋，忠臣立功之际。但赤水羌民，远居边境，如不是卿的循循善诱，怎么能够招顺他们呢？卿所得到的人口马匹，你上表以求贡奉朝廷，朕称赞你的忠诚，顺便就把这些赐给你吧。其马交付都牧，人口就赐给你了。”
朝廷征拜他为内都大官，吕罗汉听讼察狱，多得狱情真相。太和六年(482)，卒于任上。魏高祖深为嗟悼叹惜，赐给命服一套，赠予本官，谥称庄公。