L'histoire du petit bourg médiéval de Castelsardo remonte à un passé lointain. Son territoire est riche en nuraghe et domus de janas, parmi lesquelles il y en a une surmontée par une roche ayant la forme d'un Éléphant.

Castelsardo, 5.000 habitant environ, se dresse sur un éperon de roche qui donne sur la mer du golfe de l'Asinara.

Il a été fondé par les Doria en 1102 et baptisé Castel Genovese.
En 1438 il a été conquis par les Aragonais, qui ont démantelé une partie des fortifications et l'ont appelé Castel Aragonaise. Ce n'est qu'en 1769, après les Savoie, que le village a été appelé Castelsardo.