Horario: Dos pases: a las 12:00 hrs y a las 16:30 hrs. (Sirven para visitar el castillo y para el Centro de Interpretación del Mudéjar) Visitas concertadas
El recinto amurallado data en su parte fundamental del siglo XIII. Su característica más llamativa es la disposición de los ábsides de sus iglesias engarzadas en la muralla. Se conservan puertas con arcos y cámaras defensivas superiores, una de las cuales quedó incluida en el interior del castillo.
Producto de una usurpación del rey Enrique IV a su hermanastra Isabel, a quien su padre Juan II legara en testamento, y concedido a su favorito Don Beltrán de la Cueva. El valido construyó un nuevo y suntuoso castillo-palacio que fue terminado por sus sucesores en el siglo XVI. En su interior albergó una rica colección de armas. Durante la guerra de la Independencia alojó al general francés Hugo, padre del escritor Victor Hugo y fue cuartel general de Wellington. Posteriomente sirvió de prisión a Espronceda.
En el torreón sur del Castillo o Torreón de la Memoria se realizan programas de teatro para dar a conocer la historia del castillo y de la villa a las visitas.