Місце, на якому зараз стоїть замок Азе-ле-Феррон, було вперше укріплено у 1422 році. У XIII столітті ці землі належали Ніколя Турпену де Крізе, а в 1412 році стали власністю баронства Преї. Будівля замку сильно постраждала під час Столітньої війни.
Будівництво замку розпочалося у 1496 році за проектом Прежана Фротьє. Тоді було зведено вежу, яка існує і досі. За часів правління Франциска I (початок XVI століття) комплекс було розширено. 1560 року замок став власністю родини Людовіка Кревана, яка володіла ним до кінця сімнадцятого століття; серед інших власників замку були Сезар де Вандом – позашлюбний син короля Франції Генріха IV, королівським указом проголошений бароном Преї, та Людовік IV де Креван – маршал армії за часів Людовіка XIV.
Замок Азе-ле-Феррон складається з чотирьох частин, збудованих у різний час: вежі Фротьє (кінець XV століття), флігеля Юм’єр (середина XVII століття), павільйону Франсуа Першого (XVI століття) та павільйону Бретей (XVIII століття). Бокове крило XVII століття пов’язане із замком галереєю, побудованою у 1926 році та натхненною замком Валансе
Два нових крила та павільйон були прибудовані до замку у 1638 році, ймовірно, Людовіком III де Креван д’Юм’єр. У старій вежі були зроблені вікна, що перетворило фортецю на досить комфортне житло. Нове крило було прикрашене емблемами короля Франциска I та Клода де Франса – саламандрою та горностаєм.
Замок Азе-ле-Феррон належав багатьом знатним сім’ям, зокрема Грегуару Мішелю – паризькому банкіру та постачальнику армій Наполеона. Потім замок був проданий у 1833 році в обмін на довічну ренту родині Лузарш. Внучка Антуана Лузарша, Марта, вийшла заміж за Джорджа Херсента, інженера-будівельника та власника великої фірми з будівництва каналів та портів, і успадкувала замок у 1925 році. Після її смерті замок та парк стали власністю міста Тур.
Комплекс оточений розкішним садом у французькому стилі та французьким ландшафтним садом XVII століття, який був реконструйований у XIX та XX століттях.
