Κοντά στη σύγχρονη εκκλησία συναντάμε τα ερείπια ενός παλαιοχριστιανικού ναού. Στο δάπεδο θαυμάζουμε τα εκπληκτικά ψηφιδωτά με γεωμετρικό και φυτικό διάκοσμο, μαιάνδρους, παγώνια, καθώς και αφιερωματικές επιγραφές. Στο μικρό κουβούκλιο πιο δίπλα, φυλάσσεται η εικόνα και τα λείψανα του Αγίου Ανδρέα, επισκόπου Κρήτης και πολιούχου της Ερεσού.