Στην ακρόπολη του βυζαντινού κάστρου της Καστοριάς υψώνεται ένα από τα πιο γνωστά και πιο σπουδαία μνημεία της Μακεδονίας, ο ιερός ναός της Παναγίας Καστριώτισσας ή Κουμπελίδικης, έμβλημα και πραγματικό κόσμημα της πόλης. Ονομάστηκε Καστριώτισσα στη βυζαντινή εποχή, όπως φαίνεται από επιγραφή που υπήρχε στη βάση του τρούλου της, λόγω του ότι βρισκόταν πολύ κοντά στα τείχη του κάστρου. Είναι περισσότερο γνωστή, όμως, ως Κουμπελίδικη, επωνυμία που επικράτησε από την περίοδο της Τουρκοκρατίας (περ. 1383-1912) και προέρχεται από την τούρκικη λέξη «κουμπές», δηλαδή τρούλος, λόγω του ότι ήταν η μοναδική εκκλησία της Καστοριάς που είχε τρούλο.
Ο ναός χρονολογείται, πιθανότατα, στα μέσα του 9ου αιώνα, αν και έχουν διατυπωθεί και άλλες απόψεις για τη χρονολόγησή του, στα μέσα του 10ου και στο α΄ μισό του 11ου αιώνα. Κατά τη διάρκεια του ελληνοϊταλικού πολέμου (1940-1941) μεγάλο τμήμα του τρούλου του καταστράφηκε από βομβαρδισμό, και το 1949 το μνημείο αναστηλώθηκε και επανήλθε στην αρχική του μορφή.
Αρχιτεκτονικά, ο ναός είναι ο μοναδικός στην Καστοριά που ανήκει στον τύπο του τρίκογχου εγγεγραμμένου σε τετράγωνο. Η κάτοψή του, δηλαδή, είναι τετράγωνη και οι τρεις πλευρές του, η ανατολική, η βόρεια και η νότια, απολήγουν σε κόγχες. Το τετράγωνο καλύπτεται με κυκλικό τρούλο, δυσανάλογα ψηλό σε σχέση με τον όγκο του κτίσματος. Στα δυτικά υπάρχει επιμήκης νάρθηκας, και μεγάλος εξωνάρθηκας που προστέθηκε τον 15ο αιώνα. Ιδιαίτερο ενδιαφέρον παρουσιάζει η διαμόρφωση των εξωτερικών επιφανειών του ναού, που είναι χαρακτηριστική για τη βυζαντινή αρχιτεκτονική της Καστοριάς. Οι τοίχοι είναι κτισμένοι από πέτρες στο φυσικό τους σχήμα ή αδρά πελεκημένες, πλαισιωμένες με πλίνθους, οριζόντια ή κάθετα. Ανάμεσά τους παρεμβάλλονται πλίνθοι που σχηματίζουν διακοσμητικά γράμματα ή γεωμετρικά σχήματα και ιδιάζουσες οδοντωτές ταινίες, ενώ το σύνολο εμπλουτίζεται με πλίνθινες εφυαλωμένες έγχρωμες πλάκες, τετράγωνες, παραλληλόγραμμες, τριγωνικές ή τοποθετημένες σε σχήμα ρόμβου.
Το εσωτερικό του ναού, όπως και η εξωτερική δυτική πλευρά του, είναι κατάγραφα με αξιόλογες τοιχογραφίες, οι οποίες όμως έχουν υποστεί αρκετές φθορές από την υγρασία. Στον κυρίως ναό σώζονται σκηνές από τη ζωή του Χριστού (Δωδεκάορτο) και άγιοι, και στον νάρθηκα εικονίζονται επεισόδια από τον βίο της Παναγίας. Ιδιαίτερο ενδιαφέρον παρουσιάζει η απεικόνιση της Αγίας Τριάδας στην καμάρα του νάρθηκα, που αποτελεί ένα από τα παλαιότερα βυζαντινά παραδείγματα ανθρωπόμορφης Αγίας Τριάδας, με τον υπερμεγέθη Θεό Πατέρα καθισμένο σε τόξο και μπροστά στο στήθος Του τον Χριστό Υιό, κρατώντας την Περιστερά του Αγίου Πνεύματος, να περιβάλλονται από δόξα. Οι τοιχογραφίες αυτές χρονολογούνται στα μέσα του 13ου αιώνα, ενώ εκείνες στον εξωνάρθηκα ανάγονται στον 17ο αιώνα. Η εικονογράφηση στον δυτικό εξωτερικό τοίχο της εκκλησίας είναι μεταγενέστερη και, όπως μας πληροφορεί η σχετική επιγραφή, έγινε με δαπάνη κάποιου Ανδρόνικου το έτος 1496.