La anunciada reapertura del Taller del Moro después de más de quince años cerrado coincidirá con un aniversario especialmente significativo: ha transcurrido siglo y medio desde que el recinto mudéjar acogió en su interior el Salón Elíseo, uno de los espacios de recreo que afloraron en el Toledo del siglo XIX. Sus principales citas eran los bailes y mascaradas, aunque el 16 de febrero de 1867, tiempo de carnaval, se produjo la actuación de una joven concertista de piano. Era una aristócrata gaditana que había sido niña prodigio y que pronto se convertiría en una de las personalidades culturales más magnéticas de la Argentina de comienzos del XX, Eloísa d’Herbil (1842-1943), la primera compositora de tangos de la historia.

El «Jardín Elíseo» del Taller del Moro abrió sus puertas por primera vez el sábado 1 de septiembre de 1866, jornada en la que registró «mediana concurrencia». Quedó instalado en un espacio que había sido empleado como taller de cantería de la Catedral -en él fueron labradas las piezas de la Puerta Llana a finales del siglo XVIII-, vinculado a los señores de Villaverde desde muy antiguo y arrendado después a distintos propietarios. El periódico El Tajo deseaba buena suerte a los responsables de la nueva iniciativa -«porque la idea no es mala, y principalmente los días festivos por la tarde la especulación les debe ofrecer algunos rendimientos»-, si bien se les recomendaba buscar otro local. 

El historiador José Amador de los Ríos, autor del libro Toledo pintoresca (1845), había reivindicado veinte años atrás las antigüedades mudéjares y denunciado el estado en el que se encontraban. En el caso del Taller del Moro, manifestaba, era «inconcebible» que la Catedral hubiera podido «consentir que los trabajadores que se empleaban en el taller hayan convertido esta pieza, verdaderamente oriental por la riqueza y magnificencia de sus ornatos, en cocina». 

Amador de los Ríos achacaba esta falta de interés por el patrimonio hispanomusulmán no a motivos religiosos -como sí plantearían algunos autores ideológicamente enfrentados a la Catedral a comienzos del siglo XX-, sino a la tiranía estética del clasicismo entre artistas y arquitectos, a los cuales el historiador acusaba por su «empeño sistemático de condenar al desprecio cuanto no se ajustaba con las reglas de Vitrubio y de Vignola». A su «falta absoluta de buen sentido y tolerancia», añadía, debían atribuirse «la profanación de este precioso palacio y la ruina de otros mil edificios de la misma época».

Este es el motivo de que el periódico El Tajo, editado por otro historiador y periodista, Antonio Martín Gamero, manifestase sus reservas ante el aprovechamiento del Taller del Moro como salón de baile. «Aunque se respeten, como hemos visto satisfactoriamente que se respetan allí ciertas cosas -continuaba la breve crónica de la inauguración-, no se une bien a juicio de algunas gentes lo antiguo con lo moderno, lo monumental con lo coreográfico».

Las referencias sobre los bailes del Elíseo -que, como otros espacios similares en el Toledo de la segunda mitad del siglo XIX, surgieron debido a las obras de construcción del Teatro de Rojas- son sumamente escasas. Rafael del Cerro Malagón, especialista en el estudio de esta ciudad en ese periodo, únicamente los menciona en su libro Arquitecturas y espacios para el ocio en Toledo durante el siglo XIX (Ayuntamiento, 1990). Aparte de su apertura, mencionó (nuevamente a través del periódico El Tajo) la celebración de un baile de máscaras durante los carnavales del año siguiente, el 2 de febrero de 1867, fecha en la que compartió protagonismo con el Café de los Dos Hermanos: «Ambos locales dicen que estuvieron bien decorados, y la concurrencia, que fue regular, salió complacida del orden que reinó y del buen servicio que hubo en una y otra parte».

Será solamente unos días más tarde cuando se produzca la actuación de la joven D’Herbil. Tocó el piano acompañada de «la contralto Sra. Leonardi [¿la mezzo Emma Leonardi?] y del barítono Mr. Arturo». El Tajo no mencionó el repertorio, aunque sí que los intérpretes, especialmente la pianista, «fueron aplaudidos por los esfuerzos que hicieron para complacer al público». El periódico recogió asimismo que la concurrencia fue regular, «aunque el tiempo está algo frío y el local no muy confortable, a pesar de hallarse alfombrado y medianamente dispuesto». La ‘baronesa del tango’, como Eloísa d’Herbil sería conocida muchos años después -y como se titula una reciente novela sobre el personaje, obra de Silvia Miguens-, era hija del barón de Saint-Thomas, José d’Herbil. Dotada desde niña de una gran capacidad para la música, llegó a tocar ante Franz Liszt, quien manifestó que sus interpretaciones de Chopin parecían obra del propio compositor. Su actuación toledana se produjo en mitad de una intensa actividad como concertista -durante los años anteriores lo había sido ante personalidades como las reinas Victoria de Inglaterra e Isabel II de España-, que finalizaría poco más tarde tras su matrimonio con el empresario uruguayo Federico de Silva. 

Instalada definitivamente en Argentina, será a comienzos del siglo XX cuando desarrolle su actividad musical más importante, como compositora de tangos. Participó activamente en la vida cultural del Buenos Aires de comienzos del siglo XX hasta ir apagándose progresivamente. Murió en la capital argentina en 1943, a los ciento dos años de edad.

No es mucho más cuanto podemos aportar sobre la actividad del Jardín Elíseo, a excepción quizá de una fotografía de Casiano Alguacil (1832-1914) en donde apenas pueden intuirse unas figuras junto al acceso principal al salón mudéjar. Sea como fuere, la actividad de este espacio no contribuyó precisamente a revitalizar el barrio. Las quejas de los vecinos sobre el mal estado de las calles eran muy numerosas. En 1868, por ejemplo, la falta de iluminación -había una farola pública «en el ángulo de la casa de Jarama», de la que el Ayuntamiento se desentendía- ponía «aquel paso oscuro como conciencia de malvado», añadía elocuentemente El Tajo. Los bailes continuaron celebrándose durante algunos años más. En 1889, en un folletín de Abdón de Paz titulado La mujer de Toledo, aún se hacía referencia a esta actividad en el Taller del Moro. 

No obstante, al comenzar el siglo XX el edificio había pasado ya a ser utilizado como cochera, aunque también tenemos noticia de su empleo como vaquería (por parte de Hipólito Vázquez). Antes, había sido empleado asimismo como fábrica de cerillas.

Conforme nos adentremos en el nuevo siglo encontraremos más voces a favor de la conservación del monumento. José González de Amezúa proponía, a través del periodista toledano Antonio Lago, «reconstruir la atarbea completa, o sea, el patio de honor, enlazando una edificación nueva que haría frente con la actual, enlazada a su vez por dos galerías de arcadas, dejando en el centro un jardín al estilo árabe andaluz» (El Eco Toledano, 7 de mayo de 1912). Premonitoriamente, González de Amezúa (que también reivindicaba recuperar la Mezquita de Tornerías) proponía instalar en el edificio «una exposición de estatuería [sic] o de loza mudéjar toledana, animando á particulares y corporaciones a que acudan a ella en la época que llegan los extranjeros a visitar la ciudad». 

Otro periodista, Javier Soravilla, recuperaba en esas fechas la cita de Amador de los Ríos para lamentar el estado en que estaba el edificio, algo que la prensa católica interpretó como un ataque directo. Este autor consideraba que el origen de los problemas del Taller del Moro estaba en la desamortización (lo cual no es del todo cierto, puesto que sus propietarios seguían siendo los marqueses de Villaverde en las primeras décadas del siglo XIX).

En abril de 1930 llegó al barrio el primer sistema de canalizaciones por cañería, expresión de modernidad que coincidía muy oportunamente -según se encargaron de señalar en El Heraldo Toleda-no- con la calle en la que residía un teniente de alcalde, Alfonso Rey Pastor. Sea como fuere, el Taller del Moro alcanzaría finalmente un año después la calificación de Monumento Histórico-Artístico. Concluida la guerra civil, sería empleado como almacén de la Tahona Militar.

Adquirido en 1959 por el Estado, no sería restaurado por la Dirección General de Bellas Artes hasta los años sesenta, en paralelo con la recuperación del Palacio de Fuensalida y su empleo como sede delConsejo de Rectores. Su mejor etapa hasta la fecha comenzó en 1963, con la instalación de un museo formado con parte de los fondos de Arqueología y Artes Decorativas del Museo de Santa Cruz. Así permaneció durante muchos años, hasta su cierre y el traslado de sus piezas. A mediados de la década anterior, la Dirección General de Patrimonio de Castilla-La Mancha intentó sin éxito la reapertura del edificio (excavado entonces por el arqueólogo Ramón Villa, con interesantes conclusiones sobre antiguos niveles de época romana).