Une première motte castrale a existé au quartier de l’Oumède, au lieu-dit "Ville-vielli" entre le Xème et le XIIème siècle.
C’est probablement le premier village de Ramatuelle.
Par ailleurs, c’est dans "Les Chartes de l’abbaye de St Victor", publiées en 1055, qu’il est fait mention pour la première fois de Ramatuelle.
Du village ancien, nous connaissons les remparts et les tours de guet, dont l’une a servi pour faire le clocher de l’église. La seconde moitié du XVIème siècle fut marquée par les guerres de religion entre protestants et catholiques.
Ramatuelle servit à cette époque de place-forte aux troupes du Comte de Carcès ("La Ligue") qui occupèrent la Basse Provence pour empêcher l’accession au trône du roi protestant Henri IV. Les habitants connurent encore des pillages, des viols…
Le village, assiégé par les troupes de la milice de Saint-Tropez venue le délivrer des "ligueurs", subit de nouveau des destructions et la grande muraille ne résista pas à cette opération. Aujourd’hui, la porte sarrasine est le seul élément qui en a été conservé, avec le clocher qui est une ancienne tour, et une longueur de muraille qui flanque l’église à l’Est.