Seul vestige, avec la tour carrée, de l'ancien chateau médiéval, la chapelle castrale de Saint Ilpize, datée du XIIème siècle, a été édifiée au sommet du rocher dominant l'Allier, à cheval sur l'enceinte.
Elle présente tous les aspects des petits prieurés romans de la région, avec son abside en hémicycle inscrite dans un chevet à pans coupés.

La chapelle castrale a fait l'objet d'une restauration entre 1999 et 2001 sous la conduite de Stephan Manciulescu, Architecte en chef des Monuments historiques