Η Καφεντάρια είναι ένα από τα παλαιότερα και πιο χαρακτηριστικά παραδοσιακά καφενεία που σώζονται στους οικισμούς της Λέσβου, δείγματα αισθητικής και πολιτιστικής άνθησης του νησιού. Χτίστηκε από τον Ιερό Ναό της Παναγίας το 1857 μαζί με το «Χάνι» (ξενώνας δίπλα στην εκκλησία) και αργότερα ανακαινίστηκε το 1879 μετά την καταστροφή του από τη μεγάλη πυρκαγιά («γιανίν») που εκδηλώθηκε τη νύχτα του 14ου έως τις 15 Αυγούστου 1877, η οποία έκαψε περίπου τα 4/5 του χωριού (συμπεριλαμβανομένης της εκκλησίας της Παναγίας που χτίστηκε το 1815).

Το καφενείο στο κεντρικό σημείο της αγοράς όπου βρίσκεται, ήταν ένα στοιχείο του αναδυόμενου αστικού τοπίου του οικισμού. Το καφενείο ήταν ένα εξέχον ορόσημο της κεντρικής αγοράς και χρησιμοποιήθηκε για εμπορικούς, δημόσιους και ιδιωτικούς λόγους.

Η χρήση της Καφενταρίας ήταν πολλαπλή και στενά συνυφασμένη με την κοινωνική και πολιτική ιστορία της Αγιάσος Οι κάτοικοί της έπιναν καφέ, ούζο, ρακί, σχολίαζαν τα γεγονότα της ημέρας, μιλούσαν για τις γεωργικές τους δραστηριότητες και για το εμπόριο. Επιπλέον, στον τομέα αυτό πραγματοποιήθηκαν δημοφιλείς διαλέξεις, πολιτικές συγκεντρώσεις και μουσικές εκδηλώσεις. Μέχρι πρόσφατα υπήρχε μια μικρή σκηνή μέσα στην καφετέρια που προοριζόταν για μπάντες που ερμήνευαν σε φεστιβάλ και γιορτές, καθώς και σε καθημερινές αυθόρμητες γιορτές κατόπιν πρόσκλησης από τους θαμώνες. Υπήρχαν επίσης εορταστικοί χοροί από τοπικά σωματεία, ενώ το Αναγνωστήριο φιλοξενούσε λογοτεχνικές μουσικές βραδιές απο τη δεκαετία του 1930.

Σήμερα λειτουργεί ως παραδοσιακό καφενείο και είναι το κόσμημα της Αγιάσος