羊玄保，泰山南城人。祖父羊楷，是晋朝的尚书都官郎。父亲羊绥，是中书侍郎。
羊玄保开始担任宋武帝的镇军参军，少帝景平年间(423～424)，逐步升迁为司徒右长史。卫将军王弘对他十分器重，曾对左长史庾登之、吏部尚书王准之说：“你们二位贤士聪明俊朗，很多东西可以会悟通达，然而宽弘美好的声望，自然应当共同推重羊君。”不久，入朝担任黄门侍郎。
羊玄保善于下棋，品第居第三。文帝也好下棋，和他用郡官做赌注，结果羊玄保战胜，所以便让他补任了宣城太守。在此以前刘式之为宣城订立了官吏对付叛逃的政策，一个人如果不能抓到，就以公文通知伍、里的官吏扭送州郡的有关部门，能抓到此人的人赏官位二级。羊玄保认为这样做很不恰当，议论道：“臣探讨叛逃的缘由，都是出于极端的逼迫。现在订立了特殊的政策，对于现实十分苛苦。又考虑这个政策仅只是在一个地区实施，如果它是正确的，则应该与天下统一起来；如果它是不正确的，那就也不应该在一个郡中单独实行。”从此诏令停止那项政策。
他曾历任丹阳尹、会稽太守、太常、吴郡太守。文帝因为羊玄保廉洁朴素没有贪欲，所以频频地安排他在名郡任职。为政虽然没有特殊的治绩，而离开以后通常一定被人思念。他不经营钱财利益，家产俭省微薄。文帝曾经说：“一个人做官不仅必须要有才干，也必须要有运气。每次有了好的官位出缺，我不曾不先想起羊玄保。”元凶劭弑君自立，让他做吏部尚书，兼任国子祭酒。到了孝武帝入京讨伐，朝中人士大多向南逃走，刘劭把官员们全部召集过来，横握钢刀愤怒地说：“你们都可以走了。”大家都很害怕，没有人敢说话。羊玄保面不改色，慢慢地说道：“臣愿意以死报效朝廷。”刘劭因此而缓和下来。
孝武帝即位，任命他为金紫光禄大夫，以谨慎恭敬受到重视。大明五年(461)，升任散骑常侍、特进。羊玄保从少年到老年，对祭奠非常谨慎，四季的珍奇新鲜出产，凡是没有经过祭献的，自己决不先尝。死后，追加谥号为定子。
他的儿子羊戎少年有才气，但却人品轻薄，行为很不检点，说话好用双声。江夏王刘义恭曾经设斋，让羊戎放好座位，过了一会儿江夏王出去了，因为座位太窄，他便自己把它拉宽。羊戎说：“官家狭窄，令人讨厌，要再加宽八分。”江夏王笑着说：“卿哪里是只善于双声，乃是一位善辩之士哩。”文帝好与羊玄保下棋，有一次一个宫使前来，羊玄保说：“今天皇上为什么要召见我？”羊戎说：“金沟清浅，铜池碧波，光景美好，该是下棋。”羊玄保常常嫌他轻狂，说“这孩子一定会毁掉我家”。羊戎官居通直郎，因为与王僧达一道毁谤当朝政治，被赐命自杀。死后，孝武帝引见羊玄保，羊玄保谢罪说：“臣没有金日石单的明察，因此辜负了皇上。”皇上很赞美他的话。羊戎有两个弟弟，文帝一起赐名叫羊咸、羊粲，对羊玄保说：“希望能让你的两个儿子有正始时代的林下余风。”
羊玄保善于下棋，而何尚之也极爱这种游戏。吴郡的褚胤七岁时便进入了高品级，等他长大，为当时的冠军。褚胤的父亲褚荣期与臧质一同叛逆，褚胤应当随从杀死。何尚之坚持请求说：“褚胤下棋的高妙，超过古代，冠于当今。魏韜违犯了法令，因为才高而获赦免，父亲被杀儿子宽大处理，这种例子很多。特请给予他一个活命，使一种奇异的技艺不致断绝。”结果没有得到批准，当时的人对此十分惋惜。