Замок Килтси был построен на развалинах средневекового вассального замка. Точная дата его основания неизвестна, предполагается, что старейшая часть сооружения сделана в конце 14 века, а в 16 веке замок расширили, тогда же к нему были пристроены круглые угловые башни. Килтси – один из немногих эстонских замков, в котором сохранились фрагменты господского дома со времен средневековья. Это единственное поместье в Эстонии, где вспомогательные постройки примыкают к господскому дому.
Из-за того, что через центр имения протекают полноводные ручьи, которые впадают в Пыльтсамаа, были созданные водные преграды, предназначенные для защиты. На расстоянии 3 км от замка, на этом же берегу реки находится башня-замок Вао, построенная в конце 14 века. По легенде, эти замки соединял подземный ход, который так и не был обнаружен, так что эта версия так и остается легендой.
Замок не предназначался для обороны и ведения военных действия, однако, с ним связано несколько военных эпизодов. В начале Ливонской войны, в 1558 году хозяин замка Роберт фон Гилзен попал в жестокое сражение с русскими войсками, после чего укрылся в стенах замка. Тогда у русских не получилось захватить замок. В одном из последующих штурмов, русские всё же захватили замок, и с тех пор он пребывал в запустении.
Имение Килтси принадлежало роду Гилзенов с 1514 до 1581 года. После имение было собственностью разных хозяев. В 1778 году последний хозяин капитан Иоахим Фридрих фон Розен продал поместье Килтси майору Герману Иоганну фон Бенкендорфу. Замок, по распоряжению барона перестроили в господский дом. Герб его рода можно увидеть на фронтальной части сооружения. В ходе археологических работ в подвале были найдены детские и женские скелеты. Предположительно, они прятались здесь во время ливонской войны, однако, когда замок загорелся, они не смогли выбраться оттуда. Нынешние черты поместье получило в 1790 году. Майор умер в замке в 1800 году, о чем напоминает мемориальная доска на доме.