Depuis Alrance, prendre la D528 direction Villefranche-de-Panat, puis la D666 sur 200m, prendre à gauche jusqu'à Peyrebrune. C’est l’emblème de Peyrebrune. On retrouve la trace de Peyrebrune dès l’époque carolingienne au IXe siècle (vicomté de Petra-Bruna). Au XIIIe siècle, l’héritière des Peyrebrune épouse le seigneur de Panat dont le fief s’étend alors à travers tout le Rouergue. La Guerre de Cent ans (1337-1443) annonce une période plus trouble : la région est cédée aux Anglais et les troupes du «Prince Noir», fils du roi Edouard III, ravagent le pays et cachent un butin, origine de la légende du Veau d’Or de Peyrebrune. Après ces faits, les Panat participent à la reconquête du Rouergue, pillé par des bandes de routiers. Les familles seigneuriales se succèdent sur le site jusqu’aux guerres de religion et quittent progressivement le château. En 1465, les habitants reconstruisent la Tour endommagée. Richelieu fait démanteler le château en 1630, la Tour est épargnée mais elle se détériore progressivement. Elle est vendue après la Révolution française. Peyrebrune devient alors le chef-lieu d’une commune couvrant Alrance et Villefranche jusqu’en 1843. L’édifice est en piteux état en 1898 quand les abbés Lamouroux entreprennent sa restauration et font aménager escalier, chapelle et Vierge au sommet de la Tour.
