胡叟，字伦许，安定临泾人。家中世代为官，胡氏家族为西夏著名的姓氏。胡叟少年时即聪慧敏捷，十三岁时就能辨别疑难，解释义理，名传乡国，他所明白的义理，即使与成人交手辩论，也很少有屈服的。他不从师，完全凭自学掌握义理，朋友劝他还是从师的好，他说：“先圣之言，精辟大义进入神境，哪是仅指一部《易经》呢？即使《易经》，我也能通过自己的思考理解一半以上的义理。而那些末世腐儒，仅能粗粗辨别刚柔的卦位，哪有能够探寻深义、推测未显之精理的能耐呢。我从师学习的事情，不是在今天就能实现的。”胡叟阅读的各种书籍，等到再次过目时，就都能背诵书的内容了。胡叟喜欢写文章，既善于典雅的词章，又工于乡语粗言。因姚氏政权将要灭亡，他便来到长安观察世态，隐姓埋名，怕被人知道。当时，京城有个叫韦祖思的人，少时就开始阅读典籍，很轻视当时的人，知道胡叟来了，便召见他。祖思很随便，对待胡叟不大周到，胡叟只与他聊了几句家常，便拂袖而出。祖思执意挽留他，说：“还没与您讨论天人之际的大事呢，为什么这么快就要回去？”胡叟回答说：“讨论天人之事的人死了已经很久了，与你相知，怎能如此奢言呢。”于是不坐而去。到了主人家中，作赋描述韦、杜两族，一夜写成，当时年仅十八。描述两家前辈，不违背他们旧时美况，中世与时事相协，赋尾写其卑鄙黩暗。世上之人都认为他是当世奇才，也很害怕他的笔触。他所写的也为世人所传诵，成为人们谈笑的材料。
胡叟孤零漂泊坎坷多折，无法进入仕途，于是辗转到了汉中。刘义隆政权的梁、秦两州刺史冯翊、吉翰，觉得胡叟是个才子，对待他礼节很是周全。让胡叟在自己幕府当个小参谋，胡叟不以为然。没多久，吉翰调任益州，胡叟也跟着入川，胡叟又被当地豪俊之士所推崇。当时蜀中和尚法成，率领僧人几乎一千人，铸造一丈六尺多的佛身金像。刘义隆很讨厌他聚集如此众多和尚的行为，准备判以极刑。胡叟听说，立即赶赴丹阳，在刘面前申述法成的各种好处，屠刀之下救出法成。事情完后，胡叟回到蜀中。法成感激他的救命之恩，送给他许多珍贵的财宝，价值可达千余匹锦帛。胡叟对法成说：“纬萧何人，能弃明珠？我为佛德请命，不是为钱财驱使，你给我钱财干什么？”什么也不要。
胡叟在益州呆了五六年，又北上到了杨难当那里，后又西进到沮渠牧犍帐下，沮渠牧犍不怎么重视他。胡叟也没有诚心归附他们，于是写诗给了解任用他的广平程伯达。大意是说：“群犬吠新客，佞暗排疏宾。直途既以塞，曲路非所遵。望卫惋祝鈟，眄楚悼灵均。何用宣忧怀，托翰寄辅仁。”程伯达看了他写的诗，对胡叟说：“凉州虽然地处战事频起的边关，但自张氏据守以来，这里风俗渐变，也有中土华风。而今则中土各种制度法规在这里畅行无阻，哪是当年被人误解的祝鈟之世所有的呢？”胡叟说：“古人说：君子听到鍸鼓的声音，就想到从事战争的将士。而贵主奉举家国却不心诚，慕仰仁义而不允实行，地处偏僻而僭立帝号。地小野心却大，大概就像你这样吧？当年徐偃前车之迹，很快就是你的结局。我如鸟择木而居，早就心归大魏，与你只是暂时离别，不是久不相见。”一年多以后，沮渠牧犍被魏破灭，牧犍本人也降服魏国了。
胡叟本人在沮渠投降之前即已到了魏国，魏朝廷以他有先见之明，拜授他为虎威将军，赐始复男爵位。胡叟在密云定居，家境贫寒，草室陋居，胡叟本人只以薄酒度日，自娱自乐。胡叟对友人金城人宗舒说：“我这样的生活，看起来比焦先还强些。本人天性乐此，不愿再往高处发展了。”后来胡叟被朝廷征拜为官，胡叟谢恩不往，并献上辞官诗一篇。魏高宗时朝廷征召胡叟及徐舒，让他们都写讨伐刘骏、蠕蠕的檄文。徐舒的文字比胡叟差，于是徐舒很快又回家去了。
胡叟不治家产，常常遭受饥饿贫困之苦，但他却不觉得有什么耻辱。养子叫螟蛉，也自食其力。胡叟每每到高官显贵家里拜访，总是坐着一头母牛，衣裳破败不堪，也不在乎。自己缝制一条布袋子，袋子大概能装三、四斗的样子，在富人家吃得酒醉饭饱，便把吃剩下的肉菜饭粟带回来给螟蛉。胡叟见到那些车马华丽的达官贵人，也从不正眼相看，轻蔑得很。尚书李敷，曾经送给他一些财物，胡叟一点也没要。当初胡叟第一眼见到高允，说道：“吴、郑两地之交，以粗衣淡食为美谈的，你我之间，以朋友规劝为幽隐之志，就这而言，你当无愧于此。”胡叟在高允居所见到中书侍郎赵郡人李璨，李璨穿着华丽的衣服，而胡叟贫穷衰老身穿粗布衣裳，李璨很是瞧不起他。胡叟对他说：“老子今天若是愿意，脱下身上的衣裤帽子，你该作何打算？”以此来讥讽李璨的衣冠华贵，意气自得。李璨一听，大吃一惊，顿失颜色。
胡叟少小便成了孤儿，每每谈到自己父母，就潸然泪下，像小孩子一样悲哀地哭泣。每逢春秋两季应当祭祀父母之前，他就弄到好酒好菜，领着知心朋友广宁常顺阳、冯翊田文崇、上谷侯法隽，提壶带杯，到郊外空旷僻静的地方。设置祭坛，奠拜父母，尽自己思念孝顺之情。当时，敦煌汜潜家里善于酿造美酒，每到节日，便送上一壶酒给胡叟。著作佐郎博陵人许赤虎、河东人裴定宗等人对汜潜说：“送给人东西，送上两三回，便是很大的恩惠了，而你送给胡叟酒，却持之以恒，这是为什么呢？”汜潜说：“我持之以恒地拿酒给祭祀的人，是因为他孝心常在也。”评论的人说汜潜真是位君子。顺阳这地方有几个后生，承蒙胡叟提携，很快进入文人之林。
高闾曾经到他家拜访，正值胡叟光着膀子拽着柴火，从田畈中往家走。归家之后，为高闾办了些薄酒蔬食，都是他自己下厨弄的。他居住的房子十分矮小简陋，房前屋后都是田园菜地，而胡叟弄出的饭菜却十分精致整洁，味道鲜美。高闾看到他的两个老婆，都年老体衰，而且脚跛眼瞎，衣裳破旧。高闾看到他家实在太寒酸了，送给他大约十余匹布的东西，胡叟也就不推辞地收下了。高闾作《宣命赋》，胡叟为他作序。密云这个地方的人，都十分敬仰胡叟的人品德行，每年都给他送些布匹粮食来，胡叟转手就分给了别人，家中什么都没留下。胡叟活到八十多岁死去。
胡叟原配敦煌宋氏。先死了，没留下孩子，后娶的所生养的，又都过早去世，他竟绝了后代。胡叟死后，没有家里的人主持丧礼，胡始昌把他的灵柩迎接殡置在自己家里，下葬时，将自己的一个弟弟过继给他，袭他的爵位始复男、虎威将军。胡叟与始昌虽然为同一宗室中人，但是两人脾气、性格相差很远，合不来，胡叟在世时，两人来往就很少，等到胡叟死了，胡始昌收葬他的礼节十分周全。人们都议论，这是不是胡始昌想得到胡叟的爵位品秩，而不是出于同宗族的哀悯之心才这样做的。