Важной частью замкового комплекса является дворец, который был построен через несколько столетий после основания града. Помимо, господского дома в ареал замка входят сад, мост, замковая часовня, хозяйственная постройка и ров. Град Модры Камень был признан национальным культурным памятником.
Строительство замка началось, вероятно, после монгольского нашествия, хотя памятная табличка, установленная на фасаде замка, свидетельствует о том, что в 1237 году град Модры Камень уже существовал. Впервые замок упоминается в документах 1278 года. В летописи 1285 года встречается упоминание первого владельца и строителя замка – Петера Форро. После его смерти это владение перешло к сыновьям Казимира из рода Гунтов-Познаней. Но уже в 1290 году замок отвоевали родственники умершего Петера – основатели рода Балаш. Они владели градом Модры Камень длительное время – до XIX века, за исключением того периода, когда крепостью овладел Матуш Чак Тренчанский.
Замок Модры Камень был дважды атакован турками и один раз ими разрушен. Также он пострадал от действий повстанцев Имре Текели. Град постоянно отстраивали, меняя его облик. В первой половине XVIII века на месте руин замка Габриэлем Балашем был построен барочный дворец на месте нижнего двора усадьбы. Верхняя часть града была отдана под сад. Именно такое расположение основных построек мы видим сейчас.