La primera notícia que es té d'aquest indret, l'any 898, parla d'un Kastrum Serras. El monestir va ser consagrat el 1053 encara que ja hi havia instal·lada una comunitat uns anys abans. L'església i el costat de llevant del claustre, que concentrava totes les funcions domèstiques del monestir, van ser els primers edificis que es van alçar. Després es van construir el claustre i les ales oest i sud. Tot plegat data de la segona meitat dels segle XI.

El monestir de sant Pere de Casserres deu la seva fundació a un nadó profeta, segons una antiquíssima tradició. Fou bastit junt al vell Kastrum Serras. El vescomte de Cardona tingué un fill que als tres dies d'haver nascut, va parlar com una persona gran, anunciant que només viuria trenta dies. Manà al mateix temps que després de mort el posessin en una caixeta damunt d'un cavall i l'enterressin en el lloc on el cavall lliurement el portés. Allí s'hi bastiria un monestir sota l'advocació de sant Pere.