En el mismo camino de Toledo a Ávila, comunicación de las dos Castillas, encaramados en un cortado sobre el río Alberche, están la villa de Escalona de Alberche y su castillo- palacio. Escribe Azorín: «Escalona, donde Lázaro recobró su independencia», recordando uno de los episodios más conocidos del Lazarillo de Tormes, el momento en que Lázaro se venga de ciego y lo abandona haciendo que se estampe contra un pilar de piedra. Todos los viajeros antiguos destacaban la espectacular plaza del pueblo. Fernando Soldevilla, en el verano de 1880, describe como en el cetro de ella «se eleva sobre una gradería de cinco escalones, una muy airosa cruz de piedra, estilo del renacimiento, ostentando en dos de las cuatro caras de su basamento, las armas de la villa, consistentes en una escala sobre el puente de su río y apoyada en un castillo, y en las otras las de los marqueses de Villena».
El conjunto acastillado es de los más grandes de España y tiene dos partes bien diferenciadas: la fortaleza en sí y un gran palacio mudéjar, separadas por el Patio del Honor, yo lo llamo el palacio de las intrigas, porque tiene más de éstas que hechos de armas. Por lo suntuoso se denominaba como «la pequeña Alhambra». La leyenda dice que un tan San Vicencio se refugió en el castillo en época tardo-romana. Será ampliado en época visigoda, y más leyenda, se dice que el rey Don Rodrigo lo embelleció para casa de la famosa Florinda, La Cava. Los árabes lo agrandaron y fortificaron.
Reconquistado por Alfonso VI de Castilla, fue punto estratégico en la defensa contra los ataques posteriores de almorávides y almohades. En el año 1118, el rey Alfonso VII le concedió un fuero real y a partir de ese momento, con diferentes vicisitudes, Escalona será la Capital de la Comunidad de Villa y Tierra de Escalona, dentro de la llamada «Extremadura castellana».
En el castillo nace el infante Don Juan Manuel, el del Libro del conde Lucanor, en 1282, señor de Escalona y uno de los grandes escritores medievales. Pero, sin duda, la época de mayor esplendor fue en la etapa de don Álvaro de Luna, condestable de Castilla, favorito del rey Juan II, que se lo dona con la villa y en él montará su corte. Hizo enormes mejoras y lo embelleció, celebró monterías, fiestas lujosas y grandes torneos. La media luna, símbolo de su casa, aparece con frecuencia en las ruinas. Lo convirtió en uno de los más suntuosos de toda la Península. Un cronista nos describe con todo lujo de detalles el palacio y las grandes fiestas que preparó don Álvaro al rey Juan II y a la reina en la Navidad de 1445 «para que oviesen placer».