Først i 1100-tallet oprettede augustinerordenen et kloster på Eskilsø. Ruinen af den lille klosterkirke, som er bygget af kampe- og frådsten, ligger stadig op øens højeste punkt, men bortset herfra er der ikke meget tilbage af klosteret.

I de senere år har museet Færgegården i Frederikssund foretaget udgravninger omkring kirken, hvor der er fundet rester af klosterets øvrige bygninger, men det meste er i tidens løb bortpløjet. Man mener dog, at en del af Eskilsøs planter er indført af kannikkerne. Det gælder f. eks. Uldbladet Kongelys, Hundetunge, Tandbæger og Glat Burre.

Klostersamfundet eksisterede kun i kort tid på Eskilsø, idet Abbed Vilhelm i 1175 flyttede det til Æbelholt ved Hillerød.

På grundlag af en enkelt kilde har der eksisteret mange beretninger om, hvordan klosteret blev nedlagt på grund af kannikkernes syndige liv med kvinder fra Roskilde o.s.v. Det er dog tvivlsomt, om der overhovedet er belæg for dem.