耶律俨，字若思，析津府人。本姓李。
父仲禧，重熙年间开始任官。清宁初，任同知南院宣徽使事。四年(1035)，在鸭子、混同二水之间筑城，拜为北院宣徽使。咸雍初，因误奏事情获罪，出贬为榆州刺史。不久诏令官复原职，迁为汉人行宫都部署。六年(1037)，赐给国姓，封韩国公，改任南院枢密使。当时枢密大臣耶律乙辛等人诬陷皇太子，诏令仲禧偕同乙辛审讯，牵连许多无辜之人，未能昭雪。乙辛荐举仲禧可委以重任，拜为广德军节度使，再度担任南院枢密使，去世，谥曰钦惠。
耶律俨仪容俊秀严整，好学，有诗名，咸雍年间中进士。任守著作郎，补为中书省令史，以勤勉机敏著称。大康初，历任都部署判官、将作少监。后来两府奏事，论列群臣之优劣，唯独称赞耶律俨才能出众。改任少府少监，知大理正，赐给紫色公服。六年(1080)，迁大理少卿，上报对狱案的处理意见十分公平。次年，升任大理卿。遭逢父丧去职服丧，道宗强夺其服，任为同签部署司事。
大安初，任景州刺史。约束官府衙役，拘禁那些强横狡猾不守法之人，抚恤老人和穷人，不上数月，清明的政声已开始传播开来，郡中人为他刻石颂扬德政。二年(1086)，改任御史中丞，诏令查究上京的积压案件，平反了很多冤案，任同知宣徽院事，提点大理寺。六年(1090)冬，改任山西路都转运使。铲除积习弊政，上奏确定课税之定额，增加州县长官的俸禄，一应事情都办理了下来。寿隆初，授任枢密直学士。遭逢丁丧辞官，不久征召官复原职。宋人攻夏，李乾顺派使者请我国从中和解，皇上命耶律俨到宋国为他们讲和，拜为参知政事。六年(1100)，皇上临幸鸳鸯泊，征召他到内殿，询问政事。
皇上晚年厌倦于政事之辛劳，在用人上自己无法择定时，便下令各人分别掷骰子，对点力占优者授给官职。耶律俨曾经掷得胜采(大点力)，皇上说：“这是首相的征兆！”迁任知枢密院事，赐号经邦佐运功臣，封越国公。修纂《皇朝实录》七十卷。
皇上病危，耶律俨与北院枢密使阿思一同接受遗诏。乾统三年(1103)，徙封为秦国公。六年(1106)，封漆水郡王。天庆年间，因为生病，天祚帝命他乘小车入宫朝见。病重，皇上派太医前往诊视。逝世，追赠尚父，谥曰忠懿。
耶律俨一向廉洁，从不向人求取分毫。对于经书典籍，看一遍就能记诵下来。又善于窥察人主之心意。其妻邢氏貌美，经常出入于宫中，耶律俨叮嘱她说“：千万不可违背了皇上的心意！”因此权位和宠幸更加稳固。有三子：处贞，为太常少卿；处廉，同知中京留守事；处能，任少府少监。