Территорию этого комплекса можно поделить на четыре части: большое искусственное озеро с островами и беседками в западной части комплекса, банный комплекс в центре, беседки и бассейны в южной части, и небольшого размера озеро в восточной части. Всего на территории комплекса было 59 построек. Замок Таман Сари находится на территории дворцового комплекса Джокьякарта, который с 1995 года внесен в список Всемирного наследия ЮНЕСКО.
Здание Таман Сари было построено во времена правления Султана Хаменгкубувоно I, который был первым султаном государства Джокьякарта. Строительством занимались португальские архитекторы, возведение этого здания уже заканчивал сын султана, Хаменгкубувоно II.
В замке была достаточно сложная канализационная система. Вода из искусственно созданного озера использовалась для фонтанов и бассейнов. Кроме того, под замком была целая система подземных лабиринтов, и даже потайные комнаты. Существует даже легенда, что после окончания строительных работ султан приказал казнить всех архитекторов, чтобы о расположении подземных комнат и лабиринтов было известно лишь узкому кругу лиц.
В 1812 году, во время вторжения британских войск, некоторые здания комплекса были разрушены. К сожалению, до наших времен сохранилось немногое, часть земель была застроена местными жителями. Так же постройки пострадали во время землетрясения в 1867 году. Но туристы могут увидеть центральные бани и еще несколько построек, которые были отреставрированы.
В выходные дни на территории замка можно увидеть представления кукольного театра теней.