La Citadelle fut construite entre 1858 et 1866 pour servir de caserne militaire pouvant accueillir jusqu’à 400 soldats. Le nom de Pierre Levée vient d’un grand menhir qui a été déplacé à la construction et détruit depuis.
Depuis 1871, elle a servi de caserne, puis a été transformée en prison d’Etat qui a notamment hébergé entre 1945 et 1951 le Maréchal Pétain, condamné à la prison à perpétuité.
Elle a enfin servi de centre d’hébergement pour colonies de vacances dans les années 60.
Le Fort a été classé Monument Historique en 1984, et abrite aujourd’hui notre radio Neptune FM, plusieurs associations et le festival Viens Dans Mon Ile.
Le service Patrimoine y organise régulièrement des expositions.
Au début des années 2000, le chapiteau y a été installé, à l’origine de manière provisoire pendant les travaux de rénovation du Casino, mais toujours en place 15 ans après, et utilisé pour des fêtes, mariages ou réunions publiques.
Enfin, récemment, l’ancienne salle Louis Michaud a été démolie, libérant de l’espace.