Замок-крепость Сан-Сервандо расположен в Толедо, на восточном берегу реки Тахо. Крепость возвышается на вершине холма, расположенного у реки. Именно благодаря своему местоположению замок Сан-Сервандо имел важное стратегическое значение: он выполнял оборонительную функцию, к тому же отсюда имелась возможность контролировать спуск к реке и дорогу, ведущую к мосту.
Имеются сведения, что крепость существовала здесь еще во времена Римской империи – об этом свидетельствуют некоторые археологические артефакты, найденные в этом месте. Позже крепость была перестроена вестготами, а спустя еще некоторое время – арабскими завоевателями.
После того, как король Альфонсо VI Кастильский отвоевал Толедо у мусульман в 1085 году, крепость была перестроена в монастырь, посвященный святым Герману и Сервандо. Из-за многочисленных нападений спустя некоторое время монастырь прекратил свое существование, и крепость снова стала использоваться как оборонительное сооружение. Большое значение крепость имела в 14 веке во время войны между королем Педро Жестоким и Энрике Братоубийцей. Именно в этот период благодаря усилиям архиепископа Тенорио замок был реконструирован.
В плане замок имеет четырехугольную форму с тремя круглыми башнями, расположенными по углам. Четвертая башня расположена в стене с южной стороны замка. Главные ворота обращены в сторону города. Сразу позади них размещается самая основная башня - Башня клятвы, имеющая форму овала.
В 1874 году Сан-Сервандо стал первым замком, которому было присвоен статус национального архитектурно-исторического памятника. В 1939 году была произведена реконструкция здания. Сегодня в помещениях замка устраиваются конференции и проводятся различные курсы.