Le 21 juillet, OpenAI a reconnu que deux de ses modèles s'étaient échappés d'un environnement de test isolé d’internet et avaient infiltré l'infrastructure de Hugging Face, la plus grande plateforme de partage de modèles d’IA. Il s’agit de la première attaque autonome documentée d'une IA contre une entreprise tierce. À dix jours de l'entrée en application des pouvoirs d'exécution du règlement sur l’IA, le CeSIA appelle la Commission européenne à ouvrir une enquête formelle sur la conformité des modèles de pointe.
Lors d'une évaluation interne, deux modèles d'OpenAI, GPT-5.6 Sol (déjà déployé en Europe) et un second modèle (encore non dévoilé) se sont échappés d'un environnement de test sécurisé qu’OpenAI décrivait comme « extrêmement isolé » d'internet. Dans le but de tricher et de se procurer les réponses au test qui leur était soumis, les IA, dont certains garde-fous avaient été désactivés, ont progressé de serveur en serveur à travers le réseau interne de l’entreprise et ont trouvé un accès au web. Elles ont ensuite réussi à infiltrer les serveurs de l’entreprise Hugging Face en exploitant des vulnérabilités logicielles et en utilisant des identifiants dérobés. Cette dernière a alerté les autorités avant qu’OpenAI ne communique sur l’origine de l’attaque.
« Imaginez que l'on apprenne qu'un laboratoire de biologie a, par mégarde, laissé s'échapper un pathogène artificiel dans la nature. C'est, transposé au monde numérique, ce qui vient de se produire. Projetons-nous dans un an : des agents capables de se répliquer, de persister sur les réseaux et d'exploiter des failles seront largement disponibles. Nos hôpitaux, nos réseaux d'énergie, nos systèmes financiers reposent sur du code que ces agents pourraient attaquer. Rien n’indique que les garanties de sécurité existantes soient suffisantes et tout laisse penser le contraire. Nous allons au-devant de dangers majeurs si les États ne réagissent pas rapidement. Le 2 août, la Commission européenne obtiendra enfin le pouvoir de contraindre les développeurs de modèles de pointe. Nous l’invitons à en faire promptement usage. »
– Charbel-Raphaël Segerie, directeur exécutif du Centre pour la Sécurité de l'IA (CeSIA)
Le CeSIA émet les recommandations suivantes :
- À la Commission européenne, d'appliquer promptement et strictement le règlement sur l'IA. Le 2 août, la Commission pourra pour la première fois appliquer le règlement et sanctionner les fournisseurs de modèles n'ayant pas mis en place de moyens adéquats pour atténuer les risques systémiques. Nous l’appelons à émettre une demande formelle d'information et d'évaluation de la conformité des modèles de pointe aux obligations de cybersécurité et de gestion des risques systémiques.
- Aux États membres, et à la France en premier lieu, d'achever sans délai la transposition de la directive NIS2. Ce texte, pierre angulaire de la cybersécurité européenne, impose aux opérateurs critiques de sécuriser leurs systèmes et de déclarer toute attaque significative sous 24 heures. Près de deux ans après l'échéance, la France ne l'a toujours pas transposée et fait l'objet d'une procédure d'infraction. Face à des attaques appelées à se multiplier, ces mesures de protection élémentaires constituent notre première ligne de défense.
- À la communauté internationale, de mettre sur pied une autorité indépendante chargée de fixer des lignes rouges, d'édicter des standards de sécurité et d'auditer les entreprises développant les modèles les plus avancés. C'est le sens de l’appel mondial à établir des lignes rouges pour l’IA initié par le CeSIA. Cet épisode montre que des garde-fous doivent impérativement encadrer la phase de développement des modèles et pas uniquement leur déploiement.
Cet incident s'inscrit dans une trajectoire exponentielle des performances de l'IA qui le rendait prévisible. La durée des tâches cyber que les modèles peuvent accomplir est passée de quelques minutes fin 2024 à plusieurs heures mi-2026, et l'Institut britannique de sécurité de l'IA (AISI) mesure que leur taux de réussite sur les évaluations d'auto-réplication est passé de moins de 5 % à plus de 60 % en deux ans. En juin, les capacités cyber de Claude Mythos ont suffisamment inquiété les autorités américaines pour qu'elles en suspendent temporairement l'accès.
La communauté internationale commence à peine à traduire ces préoccupations en actes. Au sommet du G7 en juin, le président Macron a plaidé pour que les modèles avancés soient « mieux régulés » afin qu'ils ne menacent pas « notre cybersécurité ou nos sociétés », et la présidence française a annoncé une réunion ministérielle sur les risques de l'IA en septembre. D'ici la fin de l'année, le Conseil européen tiendra son premier débat entièrement consacré à l'IA. La Chine, de son côté, a lancé à Shanghai une organisation mondiale de coopération sur l'IA réunissant 29 pays fondateurs, et Pékin et Washington ont renoué leur dialogue sur les risques de l'IA après deux ans de gel.