Appartiennent à l'état en mai 1850, les 65 hectares de la batterie de l'Arbousier, les terrains du phare du Titan et la parcelle où sera construit le sémaphore.
Cette même année, M. Balahu de Noiron achète les 937 hectares appartenant au marquis de Las Cases. Il y établit des chemins, répare les maisons ruinées et fait défricher près de 400 hectares de terrain. Il a aussi l'idée de créer une société de copropriétaires pour la mettre en valeur mais tout est ensuite contrarié par les démêlés de son fils avec le ministre des Armées. (voir la Notice sur la Société des co-propriétaires de l'Ile du Levant avec un aperçu de l'histoire, de la topographie, des moyens d'exploitation et de la variété des produits agricoles, industriels et maritime de cette île) >>> Je suis à la recherche de ce document .
Le 16 décembre 1853, M. de Noiron revend l'île du Levant à Melchior de Grivel. 

Le 6 août 1857, le comte Henri de Pourtalès achète l'île du Levant et, après autorisation, décide d'y établir la colonie agricole et pénitentiaire de Sainte-Anne pour jeunes détenus qui ouvre 8 janvier 1861.

Ce pénitencier était prévu pour 250 à 300 personnes. L'ensemble était encadré par un directeur, assisté d'un aumonier,d'un médecin, d'un greffier, d'un économe et de douze gardiens éducateurs sous contrôle de l'Etat et en relation avec l'adjoint spécial des îles.
Chaque détenu apprenait à lire, à écrire et un métier (agriculteur, maçon, maréchal-ferrant, tonnelier, menuisier, etc..).
Dans le grand bâtiment de la colonie agricole, on trouvait des réfectoires, des dortoirs et quelques cellules. Les autres bâtiments abritaient l'exploitation agricole et l'école professionnelle. A la fin de leur apprentissage, les détenus avaient acquis un métier et devaient recevoir le salaire gagné pendant leur séjour.

maquette des bâtiments de la colonie pénitentiaire de Sainte-Anne de l'île du Levant
réalisée par Claude Gritti et Jeannot Raybaud
(salle de restaurant de la base vie de la DGA Essais de Missiles) 

Travaillant plus de 12 heures par jour, ces jeunes, étaient mal nourris, subissaient des brimades, des mauvais traitements, des sévices, des maladies (avec une précarité des soins) dont certains en mourraient, ce qui amena certains jeunes à faire des tentatives d’évasion. 

De nombreuses révoltes jalonnent les 19 années d'existence de cette maison correctionnelle.
La plus grave fut celle du 2 octobre 1866 qui fit quatorze victimes.
Le comte de Pourtalès mourut le 30 juillet 1876. Deux ans plus tard, en 1878, ses héritiers se défirent de l'île et de ses deux cent détenus en la vendant à un belge, Simon Philippart.
La fermeture définitive du pénitencier de Sainte-Anne intervint le 23 novembre 1878. Mille cinquante-sept détenus y avaient été internés, quatre-vingt-dix-neuf y étaient morts et enterrés dans le cimetière du Levant.
Une stèle leur rend hommage dans le petit cimetière de l'ïle du Levant grâce à Claude Gritti et au personnel du CELM (en 1994, Centre d'Essais Lance Missiles).

"Pour ces enfants, plus victimes que coupables, ayons une pensée émue, et, amis naturistes, lorsque vous gambadez sur cette île du Levant, souvenez-vous que ce paradis a été un enfer pour de nombreux adolescents. Marie Rouannet." *

Inauguration de la stèle des enfants et des habitants du Levant en 1994

Claude Gritti devant la stèle

Sources :
Claude Gritti
-Bref historique des Iles d'Or
-Des Maures aux îles d'Or
-Les Enfants de l'île du Levant, Éditions Jean-Claude Lattès (1999) et Livre de Poche

*Marie Rouannet
La justice pour jeunes "enfants-adolescents" dans la seconde moitié du XIXe
Histoire-Généalogie, la vie et la mémoire des hommes

Pierre Quillier

Articles dans les revues municipales d'Hyères-les-Palmiers n°125 et 127 : "La colonie agricole Sainte-Anne sur l'île du Levant" et sur le site du musée de l'eau 1ère partie et 2ème partie

Les Iles d'Hyères, monographie des îles d'Or, Emile Jahandiez, 1929