Quelques jours après qu’OpenAI a révélé que les systèmes d’intelligence artificielle étaient sortis de leur environnement de test et s’étaient introduits dans une autre entreprise, son rival Anthropic a révélé que ses propres modèles d’IA avaient également piraté d’autres entreprises pendant les tests.
La nouvelle des attaques, qui est passée inaperçue au départ, se répercute dans la Silicon Valley et à Washington au milieu des débats sur la manière d’aborder les cybercapacités avancées de l’IA.
Bien que les deux incidents ne soient pas de la même gravité, les experts affirment qu’ils soulignent l’importance de mettre en place des environnements de test rigoureux pour les modèles avancés et la nécessité de disposer de cyberdéfenses robustes à mesure que les capacités de piratage autonome se généraliseront à l’avenir.
Une erreur humaine a conduit à des hacks anthropiques
Dans un article de blog publié jeudi, Anthropic a déclaré que lors de trois incidents distincts au cours des derniers mois, des modèles d’IA subissant des tests de leurs cybercapacités ont piraté trois entreprises sans méfiance.
Anthropic a déclaré que les piratages étaient le résultat d’un « malentendu » avec une société extérieure qui avait mis en place des environnements de test sécurisés appelés bacs à sable, qui donnaient par erreur aux modèles un accès à Internet. Anthropic a déclaré que le premier incident s’était produit en avril, mais que ni elle ni les entreprises concernées, qu’elle n’a pas nommées, n’étaient au courant des piratages jusqu’à présent.
Anthropic a déclaré que dans chaque cas, ses modèles avaient reçu des cibles fictives à pirater. Lors d’un incident, un mannequin a piraté une entreprise réelle qui partageait un nom avec la cible fictive et a volé « plusieurs centaines de lignes de données de production ». Lors d’un autre incident, un modèle a téléchargé un logiciel malveillant dans un registre de logiciels couramment utilisé pour le langage de codage Python ; le malware a fini par voler les informations d’identification d’une société de sécurité qui l’avait téléchargé.
Les modèles OpenAI sont devenus voyous dans le but de tricher sur l’évaluation
L’examen par Anthropic de ses dossiers a été motivé par l’annonce d’OpenAI la semaine dernière selon laquelle ses propres modèles étaient devenus voyous lors des tests.
OpenAI a déclaré que pour tenter de triché sur la cyber-évaluation qui leur a été donnée, ses modèles ont trouvé et exploité une vulnérabilité jusqu’alors inconnue de l’entreprise pour échapper à leur bac à sable et accéder à Internet. Les modèles ont correctement déduit que la réponse à l’évaluation était disponible sur Hugging Face, une bibliothèque numérique de modèles et de logiciels d’IA, et ont pénétré dans les systèmes de l’entreprise. Hugging Face a détecté l’intrusion avec ses propres modèles d’IA.
« Nous considérons cet incident comme un cyberincident sans précédent, impliquant des cybercapacités de pointe, et nous réagissons en conséquence », a déclaré OpenAI dans un article de blog sur le piratage.
Il existe des différences essentielles entre ce qui s’est passé dans les deux sociétés d’IA. Comme les modèles OpenAI, les modèles Anthropic ont piraté des sites Web tiers lors des tests. Cependant, contrairement aux agents d’OpenAI, rien n’indique, selon le blog de l’entreprise, que les modèles essayaient de tricher sur leurs évaluations. Et contrairement au cas impliquant OpenAI, les modèles n’ont pas exploité de vulnérabilités jusque-là inconnues, ou ce que l’on appelle les exploits « zéro jour ».
Une fois que Hugging Face a détecté l’attaque OpenAI, il a d’abord essayé d’utiliser les modèles Claude Opus et Fable de premier plan d’Anthropic pour se défendre, mais ces modèles ont refusé de l’aider. « Leurs garde-fous de sécurité considéraient la rétro-ingénierie comme un exploit de la même manière que le lancement d’un exploit », a déclaré Hugging Face dans un article de blog. L’entreprise s’est alors tournée vers un modèle de la société chinoise Z.ai pour se défendre.
« Les modèles américains sont plus difficiles à utiliser à des fins défensives en raison des restrictions mises en place par la Maison Blanche », a déclaré Alex Stamos, directeur produit de Corridor, une société de sécurité des logiciels d’IA. Le gouvernement américain a initialement contraint Anthropic à suspendre la diffusion publique de Fable en juin, invoquant des problèmes de cybersécurité. Deux semaines plus tard, Anthropic a conclu un accord avec le gouvernement pour rendre le modèle disponible. Mais la société a déclaré dans un article de blog qu’elle avait installé un nouveau garde-corps de sécurité qui amènerait le modèle à rejeter certaines « demandes bénignes ».
Renforcer les défenses dans un monde de piratage autonome
Lors des tests de cybercapacités, OpenAI et Anthropic suppriment certains garde-fous de sécurité de leurs modèles, notamment ceux qui les rendraient susceptibles de refuser d’exploiter les failles logicielles. Les chercheurs en cybersécurité affirment que les entreprises pourraient faire davantage pour maintenir l’étanchéité de leurs bacs à sable.
« Je pense que ce genre d’incidents est évitable, mais cela nécessite une surveillance et une prévoyance », a déclaré Colin Shea-Blymyer, chercheur à l’Université de Georgetown qui étudie l’intersection de la cybersécurité et de l’IA.
« Si OpenAI pensait vraiment que son système d’IA, son agent, allait être puissant, ils auraient pu demander à l’agent d’évaluer le bac à sable pour détecter d’éventuelles vulnérabilités avant de le mettre dans le bac à sable », a-t-il déclaré. « Au-delà de cela, ils auraient pu demander à un autre système d’IA de lire les sorties du système d’IA qu’ils testaient pour voir s’il faisait quelque chose d’inattendu. »
Anthropic a déclaré dans un article de blog publié jeudi que « reconnaître qu’une cible est réelle et s’arrêter sans y être invité » est un comportement que l’entreprise souhaite voir dans tous ses modèles, même en supprimant certains garde-corps de sécurité. Cependant, la société a déclaré que seul le dernier modèle qu’elle avait testé s’était arrêté une fois qu’elle avait réalisé qu’il était sur Internet et reconnu qu’il ciblait une véritable entreprise. « Même ce modèle est allé plus loin que nous ne le souhaiterions avant de s’arrêter », a déclaré Anthropic dans son message.
Ces piratages surviennent alors que l’administration Trump et les législateurs s’efforcent de réglementer les sociétés d’IA les plus puissantes, mais ne se sont pas encore mis d’accord sur la manière de le faire. Le président Trump a signé en juin un décret demandant aux sociétés d’IA de soumettre volontairement leurs modèles les plus puissants aux tests gouvernementaux avant de les rendre publics.
En attendant, les entreprises pourraient collaborer aux enquêtes sur les incidents, élaborer des normes de sécurité à l’échelle du secteur et s’autoréglementer avant les gouvernements, a déclaré Stamos de Corridor.
« Je suis honnêtement heureux que (ces événements) se soient produits, car c’est un avertissement sur ce à quoi ressemblera le piratage dans six mois », a-t-il déclaré.
Compte tenu de la prolifération de modèles « ouverts » dont les garde-fous sont plus faciles à supprimer de façon permanente, a-t-il déclaré, « de très nombreux groupes de hackers, des acteurs russes de ransomware, des activistes, de nombreux acteurs parrainés par l’État vont avoir ce niveau de capacité dans quelques mois ».
