El castell d'Escornalbou, el nom és una derivació del llatí “Cornu Bovis”, fou construït sobre les restes d'una fortalesa romana del segle III, que, al segle VIII van ocupar els sarrains. Fou conquerit per Alfons I el dia de Sant Miquel de 1162, sota el comandament d'Arbert de Castellvell, senyor de Siurana.

Siurana havia estat conquerida als sarraïns el 1153 per Bertran de Castellvell, però la llegenda ens diu que Escornalbou va quedar com a reducte islàmic. El dia de sant Miquel de 1162 Arbert de Castellvell, senyor de Siurana, encapçalava les forces que es van encaminar a Escornalbou. Conten que a la batalla hi va intervenir el mateix arcàngel sant Miquel i que, amb la seva espasa de foc, va decidir la lluita a favor dels cristians. Hom diu que des de llavors el castell va portar el nom de Sant Miquel. El lloc de l’encontre militar encara és conegut amb el nom de “coll de la Batalla”.

Després de l'expulsió dels sarraïns, la regió va passar a dependre del terme de Siurana, i fou donada en franc alou a Arbert de Castellvell, amb la condició de repoblar el lloc i bastir al cim un convent sota obediència de l'església de Tarragona. D'aquesta donació en va sorgir la baronia d'Escornalbou . El monument és documentat el 1153. Tant el castell com l'església de Sant Miquel foren la seu d'una canònica agustiniana fins el 1574. Posteriorment, va passar als franciscans que hi varen romandre fins el 1835. En la primera dècada del s. XX fou adquirit pel Sr. Eduard Toda que el va restaurar i reconstruir lliurement.

Els elements més notables del conjunt són l'església romànica (s. XII-XIII), les restes de la sala capitular i el claustre que era al sud de l’església. El 1240 ja era acabat, el que fa que s’ha de datar a començament del segle XIII. . Ara el lloc és ocupat per un jardí. Una part dels seus arcs formen part d'un mirador sobre la plana.