Die Geschichte des kleinen mittelalterlichen Dorfes hat einen sehr alten Ursprung. Das Territorium ist reich an Nuraghen und domus de janas, wie der übersteigende Felsen in der Form eines Elefanten.

Castelsardo mit seinen circa 5000 Einwohnern befindet sich auf einem Felssporn über dem Meer im Golf von Asinara.

Der Ort wurde 1102 von Doria mit dem Namen Castel Genovese gegründet.
1438 wurde die Stadt von den Aragoniern erobert. Diese demontierten teilweise die Befestigungen und änderten den Namen in Castel Aragonese. Erst 1769, als die Savoias an der Macht waren, wurde das Städtchen Castelsardo genannt.