La seigneurie de Saint-Martin-du-Chêne existe entre le début du XIIe siècle et 1550. Du château qui atteint son apogée au XIIIe siècle et du village, il ne reste aujourd'hui que le donjon, qui a été restauré en 1961 ainsi que quelques ruines attenantes. Les ruines du château sont inscrites comme bien culturel suisse d'importance nationale. Haute de 17m, la Tour St-Martin surplombe le Vallon des Vaux et offre à l’observateur une magnifique vue.
