王玄载字彦林，是下邳人。祖父王宰，做过伪北周太守。父亲王蕤，曾任东莞太守。
王玄载最初任官是做江夏王国侍郎、太宰行参军。泰始初，任长水校尉。跟随张永出征彭城，中央军大败，王玄载率全军据守下邳城抵抗敌虏，被任命为假冠军将军。当时官军刚失败，心情恐骇，朝廷考虑到王玄载在士民中很有些威望，便行文任命他为徐州刺史、持节、监徐州、豫州、梁郡军事、宁朔将军、平胡中郎将，不久又领山阳、东海二郡太守。泰始五年(469)，任督青、兖二州刺史，将军、东海郡的职务仍旧。泰始七年，又任徐州刺史，督徐、兖二州军事、钟离太守，将军、郎将等仍旧。迁任左军将军。又被任命为宁朔将军、历阳太守，改任持节、都督二豫、冠军将军、西戎校尉、梁、秦二州刺史。后进号征虏将军。不久又移督益、宁二州、益州刺史、建宁太守，将军、持节等仍旧。
沈攸之反叛时，王玄载率部起义向太祖表示忠诚，被进号为后军将军，封为鄂县子。后调任散骑常侍，领后军，他没上任，建元元年(479)，担任左民尚书，仍旧为鄂县子爵。赶上北虏有所动作，南兖州刺史王敬则逃回京师，皇上派王玄载领广陵太守，加平北将军、假节、行南兖州事，本官仍旧。事件平定后，被任命为光禄大夫、员外散骑常侍。永明四年，担任持节监兖州沿淮一带诸军事、平北将军、兖州刺史。永明六年，去世，年六十六岁。谥号为“烈子”。
王玄载喜欢谈玄说理，讲究士人操行，在梁、益一带很有清誉和政绩，西州之人至今还很怀念他。
本史作者认为：刘宋政权将要灭亡的时期，天下离乱的苗头便越来越明显，人们都各怀心思，许多人想参与逐鹿夺权，因而远蕃岳镇，地方州郡，为积聚兵力观察局势提供了机会。以上这几个人都是宿将旧勋，当时和太祖萧道成一起都是朝廷的重臣，年纪和地位略有高下不同，有的人还是先辈。但他们对太祖都是在身旁能忠诚服侍，在万里能举义响应，由此可知太祖的确是深受人们的拥戴和民众的归心的。王玄载兄弟门人和随从们，世代心怀诚烈，而不被道家所忌，这也算是当今的耿氏了。
赞语：刘怀珍在“报马”事情上，首先表现出大义来，其子灵哲的守孝让爵，也可与丁、韦比德了。李安民任命东土，他的谋略很合乎天机。王玄载推行清政，他的德风至今不衰。