在舉世聞名的北京頤和園萬壽山腳下，有一座古樸的祠堂。它是為紀念耶律楚材而建立的。
耶律楚材是蒙古汗國的一代名臣。他字晉卿，契丹族，是遼東丹王突欲八世孫，世居金中都(今北京)，自幼勤奮好學，博覽群書，通曉天文曆法。1215年，成吉思汗(元太祖)奪取燕地後，召用耶律楚材，十分信任他。成吉思汗去世後，拖雷監國時期和窩闊臺即位後，他越來越受重用。他建議設定州郡長官，使軍民分治;反對改中原地區為牧場的錯誤主張，建立賦稅制度。蒙古軍隊攻陷金國汴京時，耶律楚材力諫廢除野蠻的屠城舊制，召用儒者，設定經籍所、編修所，文教事業逐步興起。耶律楚材從成吉思汗至窩闊臺，受重用三十多年，官至中書令，國家的典章制度大都是由他奠定的。1236年春天，蒙古大汗窩闊臺(元太宗)宴請群臣。他親自端著酒杯為耶律楚材敬酒，並且說：“我之所以誠心誠意地信任你，是遵照先帝的遺命。如果沒有你，中原地區就不會有今天這樣的安定局面。我能夠高枕無憂，全靠你的努力。”
窩闊臺去世後，皇后乃馬真氏執掌政權。她崇信奸臣，擾亂朝政。有一個叫奧都剌合蠻的人，他用重金賄賂皇后乃馬真氏，得到權柄，滿朝文武百官都奉迎他，只有耶律楚材敢與他面折廷爭。
有一次，皇后乃馬真氏將起草詔書使用的印璽和白紙，都交給奧都剌合蠻，讓他辦事自己填寫用印就行了，不必啟奏她。耶律楚材認為不妥當，立刻上奏皇后乃馬真氏，說：“天下者，先帝之天下。朝廷有憲章規矩，現在您要破壞它，老臣不敢接受這個指示。”皇后乃馬真氏自知理虧，只得將交給奧都剌合蠻的印璽和白紙收回去。過了不久，皇后乃馬真氏又降旨，說：“凡是奧都剌合蠻提出的建議，想要辦的事情，各部門的官吏們都要按照他的意見起草命令，不照辦者，就把他的手剁下來。”耶律楚材接到皇后乃馬真氏的旨意後，再一次上殿抗爭。
他對皇后乃馬真氏說：“國家的典章制度，先帝都交給老臣我負責，與各部門的官吏們沒關係。奧都剌合蠻的建議如果合理，我自當按照他的意見辦理，如果建議不合理，就不能辦。老臣死且不避，何況剁手呢!”皇后乃馬真氏聽後很不高興，不接受耶律楚材的意見。耶律楚材滔滔不絕，爭辯不已，最後大聲說：“老臣侍奉太祖、太宗皇帝三十餘年，沒有辜負國家，皇后難道能以無罪殺害老臣嗎?”皇后乃馬真氏雖然很生氣，但在忠誠剛直的三朝元老重臣耶律楚材面前，不得不深深地表示敬畏，宣佈所降旨意作廢。