Il y a des grottes à l'arrière de l'abbaye, où vivaient les premiers descendants de la ville. Pour une somme modique, vous pouvez entrer et lire son histoire. 30 bonnes minutes passées à les explorer suffisent, mais rien d’extraordinaire. Ce ne sont en réalité que des trous creusés dans la falaise plutôt que n'importe quel type de réseau de « grottes ».
Un accès libre en partie, une belle vue, c'est sympa. Mais hormis son emplacement naturel, je trouve que le Fort Carré n'est pas mis assez en valeur toute l'année, à l'exception de quelques événements.