Le village est un site remarquable de l'architecture circulaire médiévale : les maisons avec couverts sont construites, toutes attenantes, en ellipse autour de son église fortifiée. Des fossés entouraient le village jusqu'au milieu du XIXe siècle, ils ont été comblés et remplacés par un chemin de ronde.
D'après la tradition orale, aucune porte de la ville n'existait avant 1862 : entrer dans le village n’était possible que par un couloir dissimulé dans l'une des maison : " morts et vivants " passaient par son couloir.
La première porte fut percée au Nord en 1862 en direction du château, et la seconde à l'Ouest en 1880 lors de la création du bureau de Poste.
L'église, si elle a gardé un caractère fortifié, a perdu son pur style roman initial du XIe siècle lors de sa reconstruction pour agrandissement à la fin du XIXe siècle.
C'est dans le clocher que les habitants assiégés se réfugiaient en dernier lieu, après avoir ôté l'échelle qui leur avait permis d'y accéder.
L'intérieur de l'église présente quelques masques retraçant le traditionnel pèlerinage de mai à la source miraculeuse de Saint-Anastase patron de la paroisse.
En 1568 les huguenots dévastent la région et arrivent à Saint-Martin : le tombeau de Saint-Anastase qui y était vénéré est détruit en 1574.
A noter également le château seigneurial du XIIe siècle, forteresse jusqu'à la Révolution, aujourd'hui propriété privée.
Visites libres, toute l'année