Dans le village de Fayet, on peut flâner dans les ruelles du quartier médiéval bordées de demeures ancestrales, avec portes et fenêtres Renaissance, nous menant de l’ancien hôpital, à l’église du XVIIIème siècle et jusqu’au cimetière où s’élève une belle croix de 1613.
Le village est situé au confluent de la Nuéjouls et du Dourdou, entre le Rougier de Camarès et les Monts de Lacaune.
Géologiquement, Fayet est construit sur des terrains primaires trés anciens. Le volcanisme a laissé son empreinte (Pic de Roste) et sa présence explique la richesse en sources minéro-thermales dans les environs.
Après l’exploitation des forêts au Moyen-âge, Fayet tira sa notoriété des manufactures de draps, des moulins, et des mines (plomb, or cuivre) dont l’origine remonte à l’époque gallo-romaine.
Fayet tire son nom du hêtre (fagus en latin).
Fayet a 850 ans d’existence certaine. C’est en 1144 que le nom de Fayet (Faeita) apparaît pour la première fois, dans un registre de l’Abbaye de Sylvanès en Aveyron. Mais on peut faire remonter plus loin ses origines, des vestiges romains ayant été trouvés aux portes de Fayet.
En 1144, Fayet était une dépendance de la seigneurie de Brusque.
La commune actuelle de Fayet occupe le territoire des anciennes paroisses de Fayet et de La Roque (cette dernière anciennement dénommé La Roque de Rasele ou La Roque Papailhonac).