耶律楚材的母亲是汉人，姓杨，是金朝汉族名士杨昙之女。耶律楚材三岁时，父亲耶律履去世，此后楚材由其母亲杨氏辛苦抚育成人。在母亲的悉心教导下，耶律楚材成长为一个优秀的儒生，在他17岁的时候，便成为一个上知天文、下知地理的人才。