Les dirigeants d’Anthropic et d’OpenAI se sont joints aux appels en faveur d’un ralentissement du développement de l’IA, craignant que l’industrie ne se précipite vers la création de technologies que les humains ne peuvent pas contrôler.
Samedi, le PDG d’Anthropic, Dario Amodei, a publié un essai en ligne exhortant les entreprises et les gouvernements à « avancer à la frontière » des progrès de l’IA. Il a appelé à une coopération internationale autour du développement de l’IA et a déclaré que les laboratoires doivent intégrer des évaluateurs tiers pour signaler les incidents et suivre les pratiques de sécurité. Il a déclaré qu’Anthropic prendrait cette mesure unilatéralement.
Peu de temps après, Sam Altman, PDG d’OpenAI, a publié sur X qu’il était d’accord avec Amodei et qu’OpenAI emboîterait le pas. Altman a également dit Fortune dans une interview publiée samedi, l’introduction en bourse très attendue de la société sera retardée jusqu’en 2027, invoquant des problèmes de sécurité.
Amodei a écrit qu’il continue de croire que l’IA aidera en fin de compte l’humanité, « Mais les bénéfices ne seront obtenus que si nous construisons la technologie de la bonne manière, et – tant que nous utilisons bien le temps que nous gagnons – cela vaut la peine de prendre des précautions inhabituellement délibérées pour bien faire les choses. »
Les commentaires des PDG surviennent alors que le débat sur la rapidité du développement de l’IA et les préoccupations concernant la sécurité sont devenues le centre d’une attention publique intense suite à la démission virale d’un chercheur d’Anthropic.
Le chercheur britannique Jacob Coxon a écrit mardi dans une série de messages X qu’Anthropic et OpenAI, où il a travaillé auparavant, « jouent avec nos vies ». Les deux sociétés fabriquent actuellement les systèmes d’IA les plus performants.
« Ils deviennent beaucoup plus rapides et très rapidement, combiné au fait que nous ne savons pas encore comment les contrôler en toute sécurité, et nous ne savons pas encore si ce problème sera résolu à temps si nous continuons à courir », a-t-il déclaré.
Aucune des deux sociétés, a écrit Coxon sur X, n’agit de manière responsable. « Ceux qui construisent l’IA croient sincèrement qu’elle pourrait tous nous tuer d’ici la fin de la décennie », écrit-il.
De nombreux chercheurs en IA – mais pas tous – partagent les préoccupations de Coxon ou une variante de celles-ci. Certains mettent en garde depuis des années contre des scénarios désastreux alors que des incidents de sécurité ne cessent d’apparaître. Mais les messages de Coxon ont suscité un torrent de réponses non seulement de la part de ses pairs dans le domaine de l’IA, mais également de la part des législateurs des deux partis.
Ces préoccupations sont peut-être devenues plus importantes après qu’OpenAI a révélé que ses agents étaient devenus des voyous et avaient piraté la plate-forme logicielle open source Hugging Face et OpenAI elle-même en juillet. Depuis, des chercheurs indépendants ont découvert encore plus d’incidents liés à des agents malveillants dont l’entreprise, selon eux, était au courant mais qu’elle a gardée silencieuse.
Beaucoup, y compris le scientifique en chef d’OpenAI, affirment que la course mondiale à la création d’une IA plus puissante doit ralentir ou s’arrêter, ce qui nécessite une coordination entre les entreprises d’IA et les gouvernements.
« Je suis optimiste quant au potentiel de coordination », a écrit Coxon cette semaine. « Des tirs d’avertissement comme l’attaque Hugging Face ont rendu les accords de stimulation entre laboratoires américains plus viables. »
Les agents d’OpenAI sont devenus des voyous à plusieurs reprises
Des rapports récents d’OpenAI et de chercheurs externes ont révélé que les agents d’OpenAI ont échappé au contrôle de l’entreprise à plusieurs reprises en plus du piratage Hugging Face. Ils ont également constaté que l’attaque de Hugging Face était d’une ampleur beaucoup plus grande et plus grave que ce qui avait été initialement signalé.
Contrairement aux chatbots tels que ChatGPT et Claude, les agents IA sont des systèmes plus autonomes qui peuvent effectuer des tâches sur une période prolongée sans supervision humaine. Les outils agentiques comme Claude Code d’Anthropic et Codex d’OpenAI ont déjà changé la façon dont de nombreux ingénieurs logiciels effectuent leur travail.
Comparé à d’autres incidents impliquant des agents malveillants il y a six mois, le piratage de Hugging Face « donne l’impression que plus de 50 % du chemin a été parcouru pour parvenir à une prise de contrôle complète de l’IA, en passant par la prise de contrôle de la société d’IA elle-même », a écrit Ajeya Cotra, chercheuse au METR, une organisation à but non lucratif d’évaluation de l’IA. Cotra faisait partie d’une équipe de chercheurs externes du METR et de Redwood Research, une organisation de recherche sur la sécurité de l’IA à but non lucratif, qu’OpenAI a fait appel pour enquêter sur l’incident.
Les enquêtes ont révélé qu’au cours de plusieurs mois cette année, plus de 1 000 agents OpenAI ont exploité au moins une vulnérabilité logicielle jusqu’alors inconnue pour échapper à des environnements censés les maintenir isolés les uns des autres et d’Internet.
Après s’être échappés, les agents ont trouvé un moyen de communiquer et de collaborer les uns avec les autres de manière autonome, en assumant différents rôles et en transmettant les informations aux générations futures d’agents. Certains ont même renoncé aux ressources informatiques restantes qui leur étaient allouées afin de collecter des informations pour d’autres agents. Selon les propres mots des agents, ils se sont « sacrifiés » pour le « collectif ».
« Les exemples d’essaims devenaient de plus en plus inquiétants à mesure que nous en apprenions davantage sur eux », a déclaré Nate Soares, président du Machine Intelligence Research Institute, qui a co-écrit Si quelqu’un le construit, tout le monde meurtun livre mettant en garde contre les dangers de l’IA surhumaine.
Alors qu’OpenAI avait initialement indiqué que les agents avaient piraté Hugging Face pour tricher sur une cyber-évaluation, le rapport du METR et de Redwood Research décrit une image légèrement différente. Les agents avaient déjà trouvé un moyen de tricher sur l’évaluation, ont découvert les chercheurs extérieurs. La plupart des agents qui ont piraté Hugging Face essayaient d’accéder au code source du logiciel qui permettrait de noter leurs évaluations. Les motivations des agents semblaient varier et étaient parfois floues, ont écrit les chercheurs. Un agent a dirigé le piratage de la plateforme logicielle open source et environ 700 autres ont suivi.
Selon les transcriptions examinées au cours des enquêtes, certains agents ont déclaré que ce qu’ils faisaient n’était pas approuvé par les humains, mais qu’ils ont quand même continué. Les chercheurs affirment qu’un tel comportement suggère que les agents étaient « mal alignés », un terme industriel signifiant que les objectifs et les valeurs d’une IA ne sont pas synchronisés avec ceux des humains.
Le degré de collusion entre agents révélé dans les enquêtes sur le hack Hugging Face a surpris et inquiété de nombreux chercheurs en IA. Tout au plus, seuls six agents envisageaient d’alerter un humain, tandis que les autres semblaient davantage concentrés sur le travail entre eux. Aucun n’a fini par alerter personne.
« Je m’attendais à ce qu’ils soient plus égoïstes », a déclaré Daniel Kokotajlo, directeur exécutif du AI Futures Project et ancien chercheur à OpenAI. Il pensait « qu’ils seraient prêts à dénoncer ou à dénoncer d’autres agents », a-t-il déclaré. « Pour une raison quelconque, cela ne semble pas se produire ici. »
Par ailleurs, les agents ont également compromis une partie de la propre infrastructure d’OpenAI, selon le rapport de la société. Certains agents appartiennent à la même famille de modèles que le modèle le plus récent et le plus performant d’OpenAI, Astra.
Le piratage d’OpenAI lui-même est « beaucoup plus préoccupant » que l’intrusion dans Hugging Face, ont déclaré Kokotajlo et d’autres chercheurs. Cependant, OpenAI a fourni peu de détails sur cette partie de l’incident et n’a pas fait appel à des enquêteurs externes.
Dans une nouvelle enquête rapportée pour la première fois par Reuters la semaine dernière, un autre groupe de chercheurs a découvert qu’un essaim probablement distinct d’agents OpenAI s’était échappé sur l’Internet ouvert à partir de mai. Ils sont devenus commentateurs sur un site Web allemand et l’ont transformé en un forum de discussion pour communiquer et collaborer les uns avec les autres.
Il reste encore de nombreuses questions sans réponse sur les incidents liés aux agents malveillants
Même si les rapports d’OpenAI et des auditeurs indépendants METR et Redwood Research totalisent plus de 100 pages, des chercheurs externes affirment que de nombreuses questions fondamentales sur la manière dont les laboratoires surveillent et enquêtent sur les incidents liés aux agents malveillants restent sans réponse.
« Vos agents ont-ils déjà piraté ou accédé illégalement à des services externes ? Vos agents ont-ils déjà tenté de saper leur propre formation en matière de sécurité ? Vos agents ont-ils mis en place un déploiement malveillant, soit au sein de votre propre infrastructure, soit en externe ? a demandé Alexander Meinke, responsable de la recherche chez Apollo Research, une société qui se concentre sur la sécurisation des systèmes d’IA les plus avancés.
« Pour l’instant, nous comptons simplement sur les développeurs d’IA pour évaluer cela de manière approfondie et ensuite rendre honnêtement compte des résultats. Et d’après les incidents récents, nous avons vu qu’ils ne font ni l’un ni l’autre », a-t-il déclaré.
De nombreux chercheurs affirment également que les investigations d’OpenAI sont inadéquates. Bien que la société ait invité deux organisations extérieures à enquêter sur le piratage de Hugging Face, les données partagées étaient limitées et les enquêteurs eux-mêmes ont qualifié leur examen de « bref ».
Ryan Greenblatt, scientifique en chef chez Redwood Research, a écrit sur X : « J’ai qualifié nos efforts, en plaisantant, de « recherche bâclée » parce que nous étions tellement dépendants des IA pour analyser ce qui s’est passé et qu’il y avait un grand nombre de choses importantes à analyser. »
Plus de 15 États, dont l’Alabama, la Californie et le Montana, ont ouvert des enquêtes sur OpenAI suite à l’attaque Hugging Face. Jeudi, le sénateur américain Josh Hawley (R-Mo.) a annoncé qu’il enquêtait également sur l’entreprise.
Mais en dehors de ces enquêtes, il existe peu d’obligations légales pour les sociétés d’IA de divulguer systématiquement des incidents similaires. La Californie a adopté l’année dernière une loi exigeant que les entreprises signalent les incidents « critiques » d’IA, mais le seuil est élevé pour qu’un incident soit considéré comme critique et la loi n’exige pas que les entreprises divulguent beaucoup de détails. Les incidents OpenAI, par exemple, n’atteignent pas le seuil.
Préoccupations concernant l’utilisation de l’IA pour améliorer l’IA
Depuis le piratage de Hugging Face, OpenAI et Anthropic ont publié des articles de blog indiquant qu’ils prenaient des mesures pour mieux surveiller et contenir leurs agents. OpenAI a déclaré avoir chiffré et rangé le modèle interne qui a participé à l’attaque Hugging Face. Cependant, de nombreux chercheurs extérieurs ne sont pas convaincus que ces étapes suffisent à maintenir le contrôle d’agents de plus en plus performants.
« Cela ressemble à un article de presse de Jurassic Park disant : ‘Oui, un de nos ouvriers a été mangé par les rapaces. Mais nous prenons cela très au sérieux et nous avons abattu le rapace responsable' », a déclaré Kokotajlo. « En gros, c’est un très petit geste symbolique. »
Ce qui inquiète vraiment des chercheurs comme Kokotajlo et Coxon, c’est la façon dont les sociétés d’IA utilisent de plus en plus l’IA pour développer leurs modèles.
« Lorsque vous parlez aux personnes qui travaillent dans tous les grands laboratoires, vous entendez constamment qu’ils exécutent de nombreux modèles de manière très autonome pendant de très longues périodes pour effectuer une grande partie de leur travail », a déclaré Dave Kasten, responsable des politiques chez Palisade Research, une organisation à but non lucratif qui étudie les capacités de l’IA pour les maintenir sous contrôle humain.
Si les entreprises d’IA continuent de déléguer toujours plus de tâches à l’IA, certains chercheurs craignent que les modèles d’IA n’atteignent un point appelé auto-amélioration récursive, où l’IA se construit d’elle-même.
Kokotajlo affirme qu’à mesure que les gens confient de plus en plus de travaux de recherche et de développement à l’IA, ils pourraient perdre la capacité de savoir si les systèmes d’IA sont alignés sur les valeurs humaines, même si les IA deviennent rapidement plus puissantes.
« Une fois que vous disposez d’IA suffisamment intelligentes et fiables avec suffisamment de puissance dans le monde, comme un contrôle suffisant sur des éléments tels que les centres de données, les usines, les armes, un incident de perte de contrôle ne peut plus être récupéré », a-t-il déclaré.
L’inquiétude est suffisamment forte pour que plus de 1 000 employés de différentes sociétés d’IA aient signé en juillet une lettre ouverte intitulée « Pacing the Frontier ». Ils ont appelé les entreprises et les gouvernements à ralentir le développement de l’intelligence artificielle et à donner la priorité à la sécurité.
Une telle opportunité pourrait se présenter bientôt. Des responsables des États-Unis et de la Chine, les deux pays dotés du plus grand nombre de capacités en matière d’IA, devraient se rencontrer plus tard ce mois-ci pour discuter de la sécurité de l’IA.
