Des fouilles effectuées sur le site ont révélé la présence de vestiges témoignant d'une fréquentation dès le Mésolithique. A l'époque romaine, le Yaudet, alors port de pêche et de commerce sur les côtes de l'Armorique, développe un système de défense face aux pirates venus de la mer du Nord. C'est ainsi que le vieux rempart gaulois est renforcé.

Au 18ème siècle, un corps de garde est construit pour faire face aux attaques des navires anglais. D'autres vestiges laissent place au mystère, tel le murde pierre situé dans l'Anse de la Vierge. Visites guidées sur demande à l'Office de Tourisme de Lannion.