« C’est du marketing de la peur. »
Toutes les industries à risques de l’histoire – tabac, plomb, amiante, pesticides, hydrocarbures – ont dépensé des fortunes pour convaincre le public que leurs produits étaient sûrs. Pourquoi l’industrie de l’IA aurait-elle intérêt à convaincre leurs clients, leurs investisseurs et les gouvernements que leurs produits peuvent provoquer des catastrophes ?
C’est d’autant moins convaincant que les incidents graves sont généralement minimisés voire dissimulés par les entreprises concernées. Lors de l’incident OpenAI–Hugging Face, par exemple, OpenAI a d’abord présenté une version beaucoup moins grave que ce que les investigations ultérieures ont révélé.
Surtout, ces inquiétudes ne viennent pas seulement de dirigeants d’entreprises. Elles sont partagées par de nombreux employés de ces entreprises, dont plusieurs ont quitté leurs fonctions pour alerter sur ces risques (bien avant le cas très médiatisé de Coxon, il y a notamment eu Jan Leike, Daniel Kokotajlo, Miles Brundage, Mrinank Sharma, et avant eux, Geoffrey Hinton (prix Nobel), qui a quitté Google pour pouvoir s’exprimer). Ces craintes sont aussi partagées par une partie importante de la communauté scientifique et par certains des meilleurs spécialistes mondiaux du domaine (voir ci-dessous).
« Les prédictions de ces risques n’ont rien de scientifique. »
Il n’existe évidemment pas de statistique permettant de calculer expérimentalement la probabilité d’une catastrophe provoquée par une technologie en cours de développement. Cela ne signifie ni que le risque est imaginaire, ni que les scientifiques qui l’étudient le considèrent comme tel.
L’enquête de Katja Grace et ses coauteurs est la plus grande jamais réalisée auprès des chercheurs en IA. Elle a interrogé 2 778 chercheurs ayant publié dans les conférences scientifiques les plus prestigieuses du domaine. À la question portant spécifiquement sur le risque que l’humanité perde le contrôle de futurs systèmes avancés, provoquant son extinction ou une perte de pouvoir tout aussi grave et permanente, 661 chercheurs (sélectionnés aléatoirement dans l’échantillon initial) ont répondu. Leur estimation moyenne est de 19% et la médiane est de 10%. Si ces chiffres ne constituent pas une mesure de la probabilité réelle d’une catastrophe, ils montrent en revanche que ces scénarios sont pris très au sérieux par la majorité des spécialistes du domaine. (AI Impacts)
Le sujet fait désormais l’objet d’une littérature scientifique importante. L’International AI Safety Report constitue à cet égard l’une des principales synthèses internationales de l’état des connaissances, des désaccords et des incertitudes sur les risques de l’IA avancée. Sa première édition a réuni une centaine d’experts internationaux, sous la direction de Yoshua Bengio, avec un comité représentant 30 pays ainsi que l’ONU, l’OCDE et l’Union européenne. Le rapport examine explicitement les risques liés à la perte de contrôle, aux cyberattaques et aux armes biologiques. (International AI Safety Report)
On peut débattre de la probabilité exacte de ces scénarios, mais les présenter comme « non scientifiques » ne correspond plus à l’état de la recherche. Pour les profils les plus techniques, nous renvoyons à la littérature sur l’effet Goodhart (par exemple l’article de Manheim et Garrabrant de 2019), la convergence instrumentale (notamment la thèse d’Alex Turner, et les commentaires qu’il en a fait), et les problèmes caractéristiques de l’évaluation des modèles actuels (par exemple, van de Weij et al. 2024). Pour une entrée en matière, nous vous suggérons de vous référer au AI Safety Atlas, un manuel écrit par le CeSIA.
« C’est pour convaincre les investisseurs avant leur entrée en Bourse. »
Lorsque les appels à ralentir les modèles les plus avancés se sont intensifiés mi-septembre, les marchés ont réagi dans le sens exactement inverse de celui qu’exigerait cette théorie. Entre le 4 et le 14 septembre, l'action de Nvidia a perdu 8,4 %. Le 14 septembre, Nvidia a perdu 3,36 % et l’indice PHLX des semi-conducteurs 5,9 %. Reuters a explicitement relié la chute des fabricants de puces aux appels des dirigeants de laboratoires d’IA à ralentir le développement. (Reuters)
Plus largement, cette hypothèse est incompatible avec ce que font réellement les investisseurs lorsqu’on leur annonce que le secteur pourrait devoir ralentir ! Convaincre les marchés que l’industrie pourrait devoir ralentir, supporter davantage de contraintes et consommer moins de puissance de calcul est une curieuse manière de maximiser une valorisation avant une introduction en Bourse.
OpenAI vient précisément de repousser son introduction en Bourse, Sam Altman ayant expliqué qu’entrer en Bourse maintenant serait mal avisé compte tenu des problèmes de sécurité à résoudre. (Reuters)
« L’incident OpenAI–Hugging Face est un coup monté par OpenAI. »
Cette hypothèse cadre particulièrement mal avec les faits.
OpenAI n’a pas mis en avant toute la gravité de l’incident. Une partie essentielle de ce que nous savons aujourd’hui vient au contraire d’une enquête indépendante menée par METR et Redwood Research.
L’enquête indépendante elle-même avait d’importantes limites à cause des exigences et des restrictions dressées par OpenAI. Trois chercheurs ont travaillé sur place pendant seulement six jours. Ils n’avaient pas accès directement aux infrastructures concernées et devaient demander à OpenAI les données supplémentaires dont ils avaient besoin. Ils ne pouvaient pas interroger le principal modèle impliqué. Leur enquête portait principalement sur une période très limitée ; les incidents antérieurs pendant l’entraînement, la compromission ultérieure de l’infrastructure d’OpenAI, le processus d’enquête interne d’OpenAI et les mesures correctives étaient hors périmètre. OpenAI a également demandé des modifications de structure, d’accent, de clarté et de ton dans le rapport publié. (Metr)
Cela ne ressemble guère à une opération publicitaire orchestrée pour dramatiser l’incident. S’il y a un biais manifeste dans la communication initiale, il va clairement dans l’autre sens.
« C’est pour empêcher les concurrents de les rattraper. »
La capture réglementaire existe. Mais elle explique très mal une demande consistant à ralentir les entreprises qui ont le plus d’avance.
Un ralentissement des modèles à la frontière frappe d’abord ceux qui sont à la frontière : OpenAI, Anthropic, Google DeepMind, xAI et les autres acteurs capables d’entraîner les modèles les plus coûteux et les plus avancés. Pendant ce temps, les entreprises disposant de modèles moins puissants peuvent continuer à progresser, exploiter les techniques existantes et réduire leur retard.
Autrement dit, "ralentir la frontière" réduit mécaniquement l’avantage de ceux qui s’y trouvent. Si l’objectif était simplement de verrouiller le marché, il existe des stratégies beaucoup plus efficaces, comme verrouiller l’accès à la puissance de calcul.
On a pu lire, également, que la Chine aurait réagi négativement à ces annonces, preuve qu’elles viseraient en réalité à empêcher les entreprises chinoises de rattraper leurs concurrentes américaines. Ce n’est pas ce qui s’est passé. La réaction chinoise visait les passages très explicites dans lesquels Dario Amodei défendait le maintien de l’avance technologique américaine sur la Chine, le renforcement des restrictions à l’exportation de puces avancées et la lutte contre la « distillation » des modèles américains par des laboratoires chinois. On peut contester ces positions géopolitiques, mais elles sont distinctes de l’argument selon lequel la progression des modèles les plus avancés devrait ralentir pour laisser aux techniques de sécurité le temps de progresser.
« On parle de risques existentiels pour nous détourner de risques immédiats »
Il n’y a aucune contradiction entre le fait que l’IA nous expose à des préjudices immédiats et, concomitamment, à des risques futurs catastrophiques. Dire qu’il faudrait choisir entre les deux revient à soutenir que le pouvoir inflammable des hydrocarbures nous dispense de nous préoccuper de leur contribution au réchauffement climatique, ou que les risques liés à la radioactivité rendent inutile de s’intéresser aux armes nucléaires. Une étude publiée en 2025 dans PNAS a constaté qu’exposer le public aux risques catastrophiques de l’IA augmentait sa préoccupation pour ces risques, sans diminuer son niveau d’inquiétude concernant les dommages immédiats de l’IA. Parler de risques catastrophiques tend à renforcer l’encadrement de ces systèmes, ce qui peut également avoir des effets positifs pour lutter contre les préjudices immédiats.
« Les incidents récents relèvent avant tout d’erreurs humaines. »
Les catastrophes aériennes, nucléaires, chimiques ou spatiales impliquent presque toujours une chaîne de décisions humaines. Personne n’en conclut que la sûreté des avions, des centrales nucléaires ou des fusées est un faux problème. Le rôle de la sécurité dans toute industrie de pointe est de concevoir des systèmes qui restent sûrs malgré les erreurs prévisibles de leurs concepteurs et de leurs utilisateurs.
L’argument devient encore moins convaincant à mesure que les systèmes acquièrent davantage d’autonomie. Dans l’incident OpenAI–Hugging Face, les agents étaient censés être isolés les uns des autres. Ils ont découvert seuls un moyen de communiquer, se sont coordonnés par centaines, ont entrepris des actions hors du périmètre prévu, compromis des systèmes tiers et cherché à tromper l’évaluation de leur propre comportement. Réduire cela à « un humain a mal configuré le test » évacue précisément le phénomène qu’il s’agit d’étudier.
Et poussons l’argument jusqu’au bout. Si demain un modèle contourne ses garde-fous et fournit à un groupe terroriste les connaissances nécessaires pour concevoir une arme biologique, dira-t-on que le problème est simplement qu’un humain a posé la mauvaise question, ou que les concepteurs du système avaient fait une fâcheuse erreur ?
La question pertinente est de savoir si des systèmes extrêmement puissants restent sûrs lorsque des humains commettent des erreurs, les utilisent à mauvais escient ou leur donnent des objectifs imparfaits. C’est d’autant plus important que les régimes juridiques actuels ont été conçus pour des produits et des logiciels beaucoup moins autonomes et que les entreprises échappent largement à toute responsabilité juridique en cas de dysfonctionnement de leurs systèmes.