Au XIII e siècle, et jusqu'à la fin de l'ancien régime, Saint Ilpize est une des seigneuries les plus importantes du Brivadois par l'étendue de sa juridiction féodale, connue notamment par un terrier original de 1293.
Cette situation est de nature à créditer l'hypothèse de l'implantation précoce d'un chateau fortifié de pierre au chef lieu de la seigneurie, sur un site très favorable strayégiquement. Cependant , l'existence d'un "castrum" dès le XIe siècle n'est que conjecturale, la première mention qui nous soit parvenue de la seigneurie datant de 1201, celle du Castrum S. Ilpidii n'étant, elle, pas antérieure à 1238.
En revanche, l'existence de la paroisse (de même étendue que la seigneurie) et du prieuré est attestée au XIIe siècle / En 1179, le don de l'église de Saint Ilpize aux chanoines réguliers augustiniens de Pébrac par Pons, évêque de Clermont, est à l'origine de son érection du prieuré. Le nom des prieurs est connu à partir de 1197.
En 1201, Aimon de Brossadol abandonne par traité au comte de Clermont, Robert, dauphin d'Auvergne, "tout ce qu'il possédait dans la seigneurie de Saint Ilpize). Le reste de la seigneurie semble avoir appartenu dès avant cette date aux vicomtes de Clermont, devenus comtes d'Auvergne, dont une branche prend au XIIe siècle le titre , devenu patronymique, de Dauphin.
En 1262, Robert(I) Dauphin donne en apanage viager à Hughes, son fils puiné, les seigneuries de Léotoing( qu'il vient d'acquérir et à laquelle sera ccordée une charte de franchise en 1264), Vieille Brioude ( franchise en 1277) et Saint Ilpize. Hughes Dauphin, probable reconstructeur du chateau de Léotoing, est encore titulaire de ces seigneuries en 1284. Selon les historiens, Robert III Dauphin, comte de Clermont en 1282 à la suite de son père Robert II, donnera Saint Ilpize au début du XIVe siècle en apanage à Robert, son fils issu de son second mariage avec Isabeau de Chastillon, dame de Jaligny, qui constituerait la souche des Dauphin de Saint Ilpize. Son fils , Robert 2eme du nom comme Dauphin de Saint Ilpize ( dit "le Sage"), seigneur de Jaligny et Trétaux en Bourbonnais, seigneur de Combronde du chef de sa mère, lui succédant en 1330. Cependant, les titres authentiques de la seigneurie font apparaitre que la suzeraineté sur les vassaux de Saint Ilpize est encore exercée en 1310 et 1314 par Robert, comte de Clermont, Dauphin d'Auvergne, les aveux des fiefs relevant de la seigneurie étant rendus d'abord en 1322 et 1323 à son fils ainé Jean Dauphin, comte de Clermont, avant de passer effectivement au moins à partir de 1328 à Robert Dauphin, seigneur de Saint Ilpize.
En 1319, Hughes d'Aubusson, damoiseau, possède une maison avec un jardin "dans le chateau de Saint Ilpize", qui fait l'objet d'une constestation de son parent Armand d'Aubusson..
Robert, 3ème Dauphin de Saint Ilpize, dit "le Fol", héritier de son père en 1347,
s'engagea avec âpreté dans un conflit privé, en pleine guerre de cent ans(1359), contre le vicomte de Polignac. Le pouvoir royal tenta d'enrayer cette guerre en envoyant le sénéchal de Beaucaire procéder à une enquête au chateau de Saint Ilpize, base d'opération de Robert le Fol, qui y détenait illégalement des prisonniers. L'accès lui en ayant été refusé, il revint en 1360, lors d'une expédition, avec une troupe de 6000 hommes, mais, devant la résistance du chateau-fort, leva le siège. En 1361, le vicomte de Polignac s'assura le concours d'un guerrier professionnel et indépendant pour assiéger Saint Ilpize : Thomas de la Marche, seigneur de Nonette et d'Auzon, venait d'être destitué de sa lieutenance auprès du duc de Bourbon après avoir combattu les compagnies anglaises de Robert Knolles. Thomas de la Marche prit le chateau de vive force et laissa ses troupes piller et incendier les lieux. Chateau et village restèrent en ruines et désertés plusieurs années, les biens de Robert le Fol, mort en 1363, ayant été confisqués et attribués à plusieurs titulaires, avant que les héritiers légitimes en obtinssent restitution à l'issue d'une procédure..
Si l'on en croit une tradition à laquelle se réfèrent certains auteurs, l'effort de reconstruction des fortifications du chateau dut commencer dès la fin du XIVème siècle, conjointement entre le seigneur local Beraud Dauphin et les habitants. Béraud fut tué à Azincourt en 1415 avec ses deux fils (Béraud (II) et Robert, et son cousin Guichard Dauphin, seigneur de Jaligny, qui était grand maitre des arbalétriers, gouverneur du Dauphiné.
Béraud (III) Dauphin de Saint Ilpize mort sans postérité, sa soeur Blanche Dauphine transmit la seigneurie à la famille de son époux Jean de Lespinasse qui reprit le nom et les armes des Dauphin de Saint Ilpize.
En 1452, Béraud (IV) Dauphin de Saint Ilpize, de Lespinasse, seigneur de Combronde succède à son père. Illustré dans la carrière des armes comme commandant d'une armée envoyée contre Charles, duc de Bourgogne, conseiller et chambellan de Louis XI, il obtient en avril 1467 des lettres du roi instituant un marché à Saint Ilpize le lundi de chaque semaine et trois foires avant pâques. Cette période de reconstruction économique correspond aussi à l'abbatial (1438-1471) d'Armand de Flageac à Pébrac, qui entreprit non seulement d'importantes reconstructions à son abbaye, mais aussi à Saint Ilpize, où église et prieuré furent reconstruits en phase avec un renouvellement complet de l'enceinte fortifiée de la ville. La génération suivante voit la fin de la famille des Dauphin de Saint Ilpize, la seigneurie étant apportée en 1481 par l'héritière Francoise Dauphine de Lespinasse, dame de Saint Ilpize, Combronde et autres lieux, à son époux Gui d'Amboise, seigneur de ravel. Cette époque amorce le déclin du chateau de Saint Ilpize comme résidence seigneuriale. Apporté par les femmes à deux reprises à des membres d'illustres familles connues par leur faste et leur mécénat artistique, les d'Amboise et les La Rochefoucault, cette rustique demeure fortifiée montagnarde ne pouvait rivaliser avec les résidences raffinées dont jouissaient ses propriétaires, comme le chateau de Chaumont sur Loire.
Le mariage de Jacques de La Rochefoucault avec la plus riche héritière de Basse Auvergne, portant le nom d'une illustre baronnie du Brivadois, Francoise de Langeac, en 1586, n'eut pas de retombée favorable sur Saint Ilpize, bien qu'il soit à l'origine de la brancheauvergnate de cette famille illustre. Au contraire, cette même année, la des ponts franchissants l'Allier par une inondation, isola davantage le chef lieu de la seigneurie et précipita la perte de son importance économique, avec notamment le déclin des foires et marchés.
Le désinterêt relatif des titulaires de la seigneurie laissa aux habitants du bourg, qui comptait des notables détenant divers offices et charges, la responsabilité de maintenir le lieu à un certain rang, à conserver le statut d'une ville. La croissance de la population se maintint jusqu'au milieu du XVIIème siècle, et le bourg se montra capable de se défendre au temps des guerres de religion, ce qui lui valu l'honneur d'être élue en 1588 au nombre des "treize bonnes villes d'Auvergne" déléguant un représentant aux états provinciaux.
Les La Rochefoucault-Langeac maintiennent leur chateau de Saint ilpize dans un état décent, occupé par du personnel et un concierge. louis de La Rochefoucault, souche de la branche de Langeac, n'ayant hérité de ses parents que des seigneuries de Basse Auvergne, s'intitule Marquis de Langeac et Comte de Saint Ilpize, réhabilitant pour un temps le chateau du chef de son comté pour y loger en alternance avec son lieu de résidence principal, le chateau de Langeac. L'inventaire après décès de ce personnage dressé par Morin, notaire royal en 1652 permet d'énumérer les locaux composant les bâtiments logeables et meubleés du chateau de Saint Ilpize à l'époque, comportantun corps de logis incluant des locaux de service, et une galerie, répartis au sud de l'enceinte castrale, sur la cour haute, entre la seconde entrée et une "tour ronde" contenant une chambre. Est mentionné séparément le "trésor estant au dessus de la cave dans lequel sont les titres de la seigneurie ". Après cet inventaire , le chateau est définitivement abandonné, les bâtiments visités étant vidés de leur mobilier et dans le plus complet délabrement un siècle plus tard. Cet état des lieux est clairement exprimé par les termes du procès verbal d'évaluation et consistance de la terre et comté de Saint Ilpize dressé en 1771 à l'occasion d'un contrat entre le roi et son ministre, le duc de La Vrilère, qui se dessaisissait du comté en l'échange de terres normandes / " nous nous sommes transportés dans les bâtiments qui composent le dit chateau et dépendances ... ou estant nous avons observé ainsi que comme lesdits experts nous l'ont déclaré que ledit chateau est absolument en ruines et inhabitable et qu'il ne peut subsister de toute la masse des bâtiments qu'un batiment détaché à l'aspect du nord, lequel peut servir pour le logement d'un garde, les prisons estant au dessous qui consistent en deux cachots sains et solides et sûrs lesquelles prisons sont au rez de chaussée, d'une part le terrain estant en pente, à coté duquel bâtimentest l'auditoire.... Avons aussi observé avec les experts que le surplus du chateau n'est d'aucune utilité à conserver et à réparer, qu'il subsiste néanmoins une chapelle voutée sans fenêtre et sans décoration, laquelle doit être entièrement remise en état attendu les fondations qui y sont attachées....lesdits experts nous ont rapporté que les matériaux provenant de la démolition des parties inutiles du chateau suffiront pour faire les réparations nécessaires à ladite maison de recette("située au devant et hors dudit chateau") et à l'auditoire".
Les anciens corps de logis du chateau durent donc être livrés à la démolition à la suite de cette expertise, l'abandon de la période révolutionnaire ayant sans doute consommé leur disparition complète et l'état de ruine de l'enceinte et de la chapelle.. Les quelques lithographies illustrant les recueils de "Voyages pittoresques" de la première moitié du XIXème siècle, quoique entachées d'un certain irréalisme "romantique", montrent le chateau de Saint Ilpize sensiblement dans l'état dans lequel il nous est parvenu.
d'après l'étude de Stéphane Thouin - Architecte en chef des monuments historiques