Замок Мен-сюр-Луар примечателен тем, что является одним из самых старых в долине реки Луара, при этом он довольно хорошо сохранился. Кроме того, замок, бывший тюрьмой, известен как одно из мест заключения вора и поэта Франсуа Вийона.
Вийон, который совмещал разбойное ремесло и стихотворное творчество, был заключен в Мен-сюр-Луар в 1461 году за очередную кражу, но вскоре вместе с другими преступниками получил амнистию по случаю коронации Людовика XI, проезжавшему к месту церемонии через Мен-сюр-Луар. О тюремном периоде в истории замка напоминают таблички с описаниями способов пыток и приспособлений для них.
Замок расположен недалеко от коллегиальной церкви. Еще в I столетии на этом месте аббат Лифар основал монастырь, возглавлял его до самой своей смерти, а после нее был канонизирован. Замок был возведен гораздо позднее, в XII веке по распоряжению епископа Орлеанского. В следующем столетии его преемник расширил его, и в результате этого переустройства удвоилось число башен, появились подземелья и помещение для стражи.
В годы Столетней войны, длившейся с 1337 по 1453 годы, замок был захвачен англичанами, затем был отбит французскими воинами под предводительством Жанны д’Арк. Следующее переустройство замка происходит в XVI столетии, в этот период в его комплексе появляются въездная башня и восточный корпус. Затем, вплоть до XVIII века, замок пребывал в запустении.
В XVIII веке замок пережил «вторую молодость» благодаря опальному епископу Луи де ля Брюйеру, который провел в замке 16 лет и задумал сделать из него свой маленький Версаль. При Брюйере в замке появились часовня, павильон в греческом стиле, расширилась площадь парка.