Το μοναστήρι του Αγίου Αθανασίου ανάγεται στη βυζαντινή εποχή. Πιθανότατα κτίσθηκε με δαπάνες των Βυζαντινών βασιλέων, όπως συνηθίζονταν την εποχή αυτή. Χτίστηκε πιθανότατα πριν το 1600, ενώ μετά το 1700 άρχισε η περίοδος της μεγάλης ακμής του. Η μονή κατά καιρούς έχει υποστεί πολλές καταστροφές από πυρκαγιές και επιδρομές. Είχε μεγάλη βιβλιοθήκη με πολλά χειρόγραφα, κάποια εκ των οποίων βρίσκονται σήμερα στην Εθνική βιβλιοθήκη. Το γεγονός αυτό αποδεικνύει ότι οι μοναχοί ήταν ιδιαίτερα μορφωμένοι. Ασχολούνταν με τη ζωγραφική τοιχογραφιών και φορητών εικόνων, χωρίς όμως να διασώζεται κάπου κάποια υπογραφή.
Η μονή ήταν ιδιαίτερα πλούσια, αφού υπάρχουν αναφορές ότι η μονή είχε αμπέλια, ζώα, λιβάδια, αχυρώνες, μελίσσια. Μετά από την καταστροφή του 1794 το μοναστήρι ανοικοδομήθηκε το 1797. Τότε χτίστηκε και η περίφημη «κούλια», κτίριο με χοντρούς ψηλούς τοίχους και πολεμίστρες, που χρησίμευε σε δύσκολες περιόδους ως καταφύγιο των κατοίκων. Στο βόρειο μέρος της μονής υπήρχαν δωμάτια που χρησιμοποιούνταν για κάποιο διάστημα ως κατάλυμα καλόγερων της μονής. Στη νότια μεριά υπήρχε στα τέλη του 18ου αιώνα και τρίτη κούλια η οποία, όπως και τμήμα του ναού, καταστράφηκε σε πυρκαγιά. Ο ναός τοιχογραφήθηκε μόνο σε κάποια μικρά τμήματα, λόγω έλλειψης οικονομικών πόρων και αγιογράφων μοναχών στην περιοχή, μετά από 30 χρόνια. Μπορεί ο ναός να μην τοιχογραφήθηκε αλλά έχει αξιόλογα ξυλόγλυπτα. Το τέμπλο εκτείνεται σε όλο το πλάτος και το ύψος του ναού και έχει τη συνήθη τριμερή διάταξη. Επίσης αναφέρεται ότι στην μονή βρίσκεται και μία πόρτα από μία εκκλησία στο Παλαιοχώρι που καταστράφηκε.
Τον 19ο αιώνα η μονή παρήκμασε. Τις πρώτες δεκαετίες μετά την απελευθέρωση, γκρεμίστηκε το κτίριο που βρισκόταν σε πολύ κακή κατάσταση. Στα δυτικά της μονής κτίστηκε νέος ξενώνας που χρησιμοποιούνταν ως ξενώνας και χώρος αναψυχής, αφού άλλωστε η μονή βρίσκεται σε πολύ όμορφο φυσικό τοπίο. Το κτίριο αυτό πρόσφατα ανακατασκευάσθηκε. Γύρω στο 1970 χτίστηκε και νέος ξενώνας με σκοπό να τονωθεί η τουριστική κίνηση προς τη μονή.