许衡，字仲平，怀庆路之河内人，世代务农。父许通迁居河南。许衡于金章宗泰和九年(1209)九月出生于新郑县，七岁入学，问老师读书为何？老师答曰：“为了考科举。”又问：“仅仅是这样？”老师大为惊异。以后每次讲书，许衡都要问个究竟，以致老师对其父母说：“令郎聪敏过人，我不能胜任，请别求名师。”辞馆而去。像这样连换了三位老师。长大后更加好学，家贫无书，他曾在一个算命先生家中看到一部解释《书经》的书，便去手抄回来细读，后来逃难到徂徕山才得到一部王辅嗣注释的《易经》。当时虽兵荒马乱，许衡坚持日读夜思，且身体力行。有一回路过河阳，正当盛暑，口渴难忍，路边有一梨树，果实累累，同行者争相摘食，而许衡独坐树下不动，问他何故，他说：“不是自己的东西不能摘取。”有人说“：在这乱世，此树哪有主？”衡曰：“梨无主，难道我心中也无主吗？”其为人如此。他到处逃难，先到鲁后到魏，在魏住了三年又回到怀庆，后又常来往于河、洛之间，在柳城从姚枢处得到伊洛程氏(程颐、程颢)及新安朱氏(朱熹)的著作，从中获益甚大。后移居辉县附近之苏门山时，常与姚枢及窦默讨论学问，凡经传、子史、礼乐、名物、星历、兵刑、食货、水利之类，无不是他们讨论的话题。许衡曾说“：纲常伦理国家一日不可废，如果在上者不履行，我们一般人也要履行。”在实际生活也正是这样做的。
宪宗四年(1254)，世祖受封于秦中，任命姚枢为劝农使，召许衡为京兆提学。该郡子弟有上学机会，莫不高兴。衡在京兆郡县广建学校。世祖南征，许衡返归怀庆，京兆学者挽留不住，送至临潼而归。
中统元年(1260)世祖即皇帝位，召许衡、姚枢至京师。当时王文统为平章政事。在讨论治国安邦之道时，文统重利，而衡、枢认为必须以义为本，文统忌恨于心。加上窦默在世祖面前说文统学术不正，文统怀疑许、姚、窦三人是一派，奏请委任姚枢为太子太师，窦默为太子太傅，许衡为太子太保，表面上是尊敬重用，实际上是使他们不能接近皇帝。后又改命枢为大司农，默为翰林侍讲学士，衡为国子祭酒。不久，衡因病辞官返乡。至元二年(1265)，帝以安童为右丞相，打算许衡为辅，召至京师，命参预中书省政务。衡上疏治国纲要五条，大意是：
其一，立国要以中国历代所行的汉族各项制度为本。考察历史，凡北方民族占有中国之后，必行汉族制度，国运才会久远，否则乱亡相继，国运不长。当然，蒙古贵族和勋臣们立即完全接受汉族制度是不容易的事，但经过长期教化，也不是不可以改变其原来的思想和态度，关键在皇帝要坚定不移，不听信谗言，不求速效，最后必会达到安邦定国的目的。
其二，中书省的政务不胜其烦，要领在于用人、立法两点。用人就是果敢任用贤人，立法就是立古人之遗法。用人与立法相辅相成，治人者法也，守法者人也，人法相依，上安下顺。对于已经任用的人，要给以俸禄，使他们廉洁奉公；对于尚未任用而可任用的人，要放宽限制，量才录用。同时还要设监察机关来考察他们的行为，设吏部以确定他们的资历。该升者升，该降者降，使他们的才德与爵位相称。
其三，皇帝上秉天命，下为百姓之君师，颇不容易。故自尧舜以来，凡圣帝明王皆无不兢兢业业，小心谨慎。第一要慎言。皇帝为万民之主，天下广大，人民众多，日有万机，事有万变，皇帝一人一心来对付，要言之无失是不容易的事，因此要慎言。切不可朝言夕改，否则朝廷纲纪不能广布于四方，法度不能确立，臣民无所遵循，奸邪则有机可乘。要慎言必遵循《大学》之道，以修身为本，不为一时的喜怒爱憎所干扰。凡事只要熟思而慎处理，很少有不当的。第二，知人。为皇帝者以知人为贵，以用人为急，但知人不是件容易的事情。因为人情有善有恶，恶者难知，善者易知；人群有众有寡，人多难知，人少易知，故上者难知下，下者易知上。皇帝位于亿兆人民之上，操有予夺、进退、赏罚、生杀之大权，若一旦受欺，是非不辨，善恶不分，其害难胜计。要善于知人，皇上必须抛弃自己的喜怒、爱憎，否则在用人时，进者未必为君子，退者未必是小人，受赐者未必有功，被剥夺者未必有罪，以至于赏罚、生杀都很少有恰当的，可见知人之重要。第三，任贤能。贤能者有为公之心，仁爱之心，不为利诱，不为势屈，办事公正。但他们往往因时运不佳而隐藏自己的才能，鲜为世人所知；即或有人知道却无人援引，所以皇帝还是不晓得；即或朝廷知道，召来任用，也是与一般人对待，贤者不屑如此；即或待之以礼，却不用其言，贤者也不肯空居其位。皇帝处于崇高地位，往往好闻别人之过而不愿听自己之过，贤者认为他们有责任要纠正这点，于是君臣不合，再加上奸佞小人从中作祟，肆为诋毁，多方陷害，难免罪名加身。古代大禹闻善即拜，益以“任贤勿怀疑，除邪不犹豫”来告诫自己，后世君主应该如何呢？第四，除奸佞。奸邪之人，其心险恶，手段巧妙，一般人难以察觉，难以抵御。他们善于察颜观色，迎合君王的喜怒，讨得君主的欢心，受宠爱于上，施权威于下，国家受害而君主尚不知。奸佞如此欺人，令人生畏。第五，天下为公。皇帝以诚挚之心爱下，臣民以忠义之心报上，这是理所当然。但考察历史，见有许多不合常理的事，如夏禹治洪水，救万民，深受人民尊崇，传至太康失道，万民仇怨。汉高祖以宽厚仁爱得天下，但立国以后却以爱憎行赏罚，人民愤愤不平。总之，自古至今，凡先有恩惠于民而后民怨且怒者，都是这样。所以明主圣君必须遵循《大学》之道，以修身为本，一言一动为天下之准则，一赏一罚合天下之公心，这样亿兆人民必然将不求而得。第六，爱民。三代以下堪称盛世者，莫如汉代的文景之治。但文景之时上天示警，山崩地震，小者有水旱之灾，大者有乱国之象。于是文景二帝，上承天意，下养万民，今年劝农桑，明年减田租，深得民心，社会祥和。这两年因彗星时而出现于东，时而出现于西，这也是上天示警，应当效法文景恭俭爱民。孟子说：“民为重，君为轻。”《书经》说：“了解人民的意愿就是了解上帝的意愿；听了人民的意见就是听取上帝的意见。”故做君主的，若不求于民而求于天，要想不遭天灾是不可能的。
以上六点归纳起来也就是修德、用贤、爱民三者而已，这是治本。本立则纲纪可张，法度可立，国家可治；否则会爱恶相攻，善恶相仇，生民不免陷于水火之中，这样要想国泰民安是万万不可能的。
其四，古代圣君首推尧、舜，贤臣首推稷、契，他们上承天心，下养万民，教民种植五谷，使人民生活过得好，教民以父义、母慈、兄友、弟恭、子孝，使民心善。后世君王就应该这样，若行此道，必然是人民富裕，兵马强壮，人才济济，国家繁荣。今则不然，国家只知搜括民财而不知教民生财，只知防人之欺而不知教人为善，只怕法令难行而不想想法令无地可行。如果对农民大加优待，不去侵害他们，使游手好闲之人回乡务农，十年之后，仓库储粮之多，非今日可比。自大都会到州县广设学校，从皇子到平民子弟都入学读书，明白父子君臣之义，学会从洒扫应对到治国平天下本领，十年之后，上下君臣父子关系之协调，又非今日可比。孟子说“：非尧舜之道不敢以陈于王前。”我敢于冒昧向陛下讲这些，是学孟子。
其五，天下之所以安定，在于民心安定，民心安定就是士农工商各安其业，这就要求治国治民者小心谨慎，言而有信，取天下与守天下是不相同，前者靠勇敢，后者靠信义，各有其宜，君王必须明白这些。在处理国事时，须先慎重考虑，然后做出决定。这就要求极力克制自己一时的喜怒情绪，因为无论是先喜后怒还是先怒后喜，都会导致决策不当或多变更，失去人民的信任。周幽王无道，不克制自己喜怒无常的情绪，失掉人民信任，以致亡国。当今皇上既不是像周幽王那样，又何苦造成人之不信。
世祖皇帝见此奏议，大加称赞，并且一一采纳。许衡平时奏议很多，但不留底稿，留传下来的仅此一件。至元四年因病归怀庆休养，第二年又被召回，其奏疏仍秘而不传。
至元六年，世祖命他与太常卿徐世隆制定朝廷礼仪制度，与太保刘秉忠、左丞张文谦立定官制。许衡参考历代官制体系，减去一些临时增设机构和旁设机构，于第二年上奏。其中涉及到一些贵族的利益，有人劝他不要改变旧有政治体制。许衡说：“我所论的是国家的体制，与个人无关。”这意见得到世祖赞同。不久，阿合马为中书平章政事，统领尚书省及六部，权势很大，一些大臣阿谀奉承。而衡与之争议，坚持原则从不让步。不久任命阿合马的儿子为枢密佥院官，别人都附合，唯独许衡不同意，对皇帝说“：国家大权在于兵、民、财三个方面，今阿合马掌管民、财，其子又掌管兵权，这不行。”以后许衡随世祖到上京时，又列举阿合马专权欺上，损国害民的许多事情，但未上报给皇帝。衡因此称病，请求不参与国家机务大事。
世祖早有立太学的打算，至元八年(1271)，任命许衡为集贤大学士兼国子祭酒，并亲自挑选蒙古子弟交许衡教育，许衡请求征调其弟子王梓、刘季伟、韩思永、耶律有尚、吕端善、姚燧、高凝、白栋、苏郁、姚火敦、孙安、刘安中等十二人为伴读。这些蒙古子弟年幼，衡爱之如其子，待之如成人，严之若君臣，除熟读诗书外，还演习各种礼仪。这些学生尊师敬业，均知三纲五常为人之道。至元十年，因权臣破坏中国传统的制度，致使学生缺粮，许衡请求辞职返回怀庆故里，翰林学士王磐对世祖说：“衡教人有方，诸生学后可以从政，这是国家大体，不要让他辞去。”但由于窦默为衡恳求，还是让衡还乡去了，以赞善王恂代管太学的事。刘秉忠等奏请以耶律有尚、苏郁、白栋等为助教，保持原许衡所制定的教学规矩。皇帝同意了。
国家自取得中原后，采行金朝的《大明历》，但该历法不精确，世祖于至元十三年诏令王恂制定新历。恂认为一般历家只知历数不知历理，奏请许衡回京以集贤大学士兼国子祭酒来主持太史院事。许衡与太史令郭守敬等合作，研制新观象仪，经细密观测，参照旧有历法，剔除其中错误，于至元十七年(1280)，制成新历，赐名曰《授时历》颁行天下。
至元十七年六月，许衡因病请归怀庆休养。至元十八年(1281)病情危急，不久逝世，时年七十三岁。怀庆人无论贵贱长幼皆为之恸哭。四方学士闻讣，有从数千里赶来祭奠者。
许衡善教，言语温和，故无论贵贱都愿拜他为师。他因材施教，凡受其教育的人终身不忘。大德元年(1297)，赠荣禄大夫、司徒，谥“文正”。至大二年(1309)加“正学垂宪佐运功臣”、太傅、开府仪同三司，封魏国公。皇庆二年(1313)，诏与孔子一道受祭祀于庙廷。延..初，又诏立书院于京兆，以祭祀许衡，并赐田做祭祀的经费，书院名“鲁斋书院”，鲁为许衡居魏时的书斋名。