Por su situación entre el mar y la montaña, las construcciones de l’Estartit se han visto afectadas durante muchos años por los temporales de mar y las avenidas del río Ter.
Las primeras se edificaron junto a la montaña y se protegían de la acción del mar mediante un dique de piedras a lo largo de la orilla. El desarrollo del pueblo de l’Estartit se debe en gran parte a la existencia de buenos caladeros; esta circunstancia, junto con el descenso de la piratería, propició que, ya desde principios del s. XVIII, los pescadores se instalaran en esta zona. En aquel entonces, y durante muchas décadas, las barcas de pesca se varaban directamente en la arena de la playa.
El inicio del puerto actual se remonta a mediados del s. XX, cuando se construyó el primer espigón para proteger l’Estartit más eficazmente de los golpes del mar. Dicho espigón se encontraba situado cerca de las ruinas de una torre de defensa de la planta circular edificada en los tiempos en que la amenaza de la piratería estaba aún vigente. Después de esta torre se halla el último espigón del puerto actual.