« C’est du marketing de la peur. »
Toutes les industries à risques de l’histoire – tabac, plomb, amiante, pesticides, hydrocarbures – ont dépensé des fortunes pour convaincre le public que leurs produits étaient sûrs. Pourquoi l’industrie de l’IA aurait-elle intérêt à convaincre ses clients, ses investisseurs et les gouvernements que ses produits peuvent provoquer des catastrophes ?
C’est d’autant moins convaincant que les incidents graves sont généralement minimisés voire dissimulés par les entreprises concernées. Lors de l’incident OpenAI–Hugging Face, par exemple, OpenAI a d’abord présenté une version beaucoup moins grave que ce que les investigations ultérieures ont révélé, puis a sciemment cherché à dissimuler son ampleur. À cause de cela, la version de l'histoire qui a le plus circulé est très édulcorée au regard de la gravité des faits.
Par ailleurs, les mises en garde n'émanent pas seulement des dirigeants d'entreprises. Des centaines d'employés de ces entreprises, dont plusieurs ont quitté des postes prestigieux et très bien rémunérés pour alerter sur ces risques, les ont précédé en appelant à ralentir le développement de l'IA de pointe. Une large partie de la communauté scientifique partage leurs craintes (voir ci-dessous).
S’y ajoutent une vingtaine de lauréats du prix Nobel, ainsi que des centaines de responsables politiques et de figures d’autorité morale ayant signé des appels similaires. Encore récemment, le Haut-Commissaire des Nations unies aux droits de l’homme, Volker Türk, estimait que « la course actuelle vers des IA toujours plus puissantes marque un changement d’échelle vers des risques existentiels accrus pour tous les aspects de nos vies ».
« Les prédictions concernant les risques catastrophiques n’ont rien de scientifique. »
Il n’existe évidemment pas de statistique permettant de calculer expérimentalement la probabilité d’une catastrophe future provoquée par une technologie en cours de développement. Cela ne signifie pas qu'il est impossible d'anticiper certains scénarios, ni que les spécialistes considèrent les risques catastrophiques comme imaginaires. Une majorité de scientifiques estiment, au contraire, que ceux-ci sont très significatifs.
La plus vaste enquête récente disponible à ce sujet a été publiée en septembre 2026 par AI Impacts. Elle porte sur 1 580 chercheurs ayant publié dans six des conférences et revues scientifiques les plus prestigieuses en intelligence artificielle : NeurIPS, ICML, ICLR, AAAI, JMLR et IJCAI.
La question était formulée ainsi : « Quelle probabilité attribuez-vous au fait que les progrès futurs de l’IA provoquent l’extinction de l’humanité ou une perte de pouvoir tout aussi grave et permanente de l’espèce humaine ? »
La moyenne des réponses données est de 18 % et la médiane de 10 %. Autrement dit, un chercheur sur deux estime que le risque d'une perte de contrôle catastrophique est supérieur à une chance sur dix. Un chercheur sur trois attribue au moins 20 % de probabilité à un tel scénario, et 81 % lui attribuent au moins 1 % de probabilité (à titre de comparaison, le risque qu'un avion s'écrase est de 1 sur 10 millions). Seuls 12 % considèrent que ce risque est nul. Une large majorité de scientifiques considèrent donc le scénario de la catastrophe comme a minima plausible. Nombre d'entre eux le considèrent même comme probable.
Par ailleurs, les risques catastrophiques de l'IA font désormais l’objet d’une importante littérature scientifique. L’International AI Safety Report constitue à cet égard l’une des principales synthèses internationales de l’état des connaissances. Sa première édition a réuni une centaine d’experts internationaux, sous la direction de Yoshua Bengio, avec le soutien de 30 pays ainsi que l’ONU, l’OCDE et l’UE. Le rapport examine explicitement les risques tels que la perte de contrôle ou les armes biologiques. Ces risques sont aussi explicitement considérés dans le Règlement sur l'IA européen (AI Act), avec des obligations afférentes pour les fournisseurs de modèles d'IA concernés.
On peut débattre de la probabilité de différents risques catastrophiques, mais les présenter comme « non scientifiques » ne correspond pas à l’état de la recherche et ne reflète pas l'opinion des scientifiques. Pour une entrée en matière, nous vous suggérons de vous référer au AI Safety Atlas, un manuel écrit par le CeSIA.
« C’est pour convaincre les investisseurs avant leur entrée en Bourse. »
Lorsque les incidents puis les appels à ralentir les modèles se sont intensifiés, les marchés ont réagi dans le sens exactement inverse de celui que prédirait cette théorie. Ainsi, entre le 4 et le 14 septembre, l'action de Nvidia a perdu 8 %. Le 14 septembre, l’indice PHLX des semi-conducteurs a perdu 6 % de sa valeur. Reuters a explicitement relié la chute des fabricants de puces aux appels des dirigeants de laboratoires d’IA à ralentir le développement.
Plus largement, cette hypothèse est, de manière assez intuitive, incompatible avec ce que font les investisseurs lorsqu’on leur annonce que le secteur pourrait ralentir ! Convaincre les marchés que l’industrie doit freiner, supporter davantage de contraintes réglementaires et consommer moins de puissance de calcul est une curieuse manière de chercher à maximiser une valorisation avant une introduction en Bourse.
OpenAI a d'ailleurs annoncé repousser son introduction en Bourse.
Enfin, les entreprises d'IA ont un intérêt direct à minimiser la perception des risques associés à leurs produits étant donné qu'elles réalisent la moitié de leur chiffre d'affaires avec des clients privés qui, à raison, craignent les dégâts que de tels modèles pourraient occasionner dans leurs propres systèmes informatiques.
« L’incident OpenAI–Hugging Face est un coup monté par OpenAI. »
Cette hypothèse cadre particulièrement mal avec les faits. OpenAI a commencé par dissimuler le cœur de l'incident, puis a largement minimisé sa gravité. Une partie essentielle de ce que nous savons aujourd’hui vient au contraire d’une enquête indépendante menée par les organisations METR et Redwood Research.
L’enquête indépendante elle-même souffrait d’importantes limitations à cause des exigences et des restrictions dressées par OpenAI. Trois chercheurs ont travaillé dans les locaux de l'entreprise pendant six jours seulement, pour analyser des milliers de pages de texte. Ils n’avaient pas d'accès direct aux infrastructures concernées et devaient demander à OpenAI les données dont ils avaient besoin. Ils ne pouvaient pas tester le principal modèle impliqué. Leur enquête portait principalement sur une période très limitée ; les incidents antérieurs pendant l’entraînement, la compromission ultérieure de l’infrastructure d’OpenAI, le processus d’enquête interne d’OpenAI et les mesures correctives étaient hors périmètre. OpenAI a également demandé des modifications de structure, d'angle et de ton dans le rapport publié.
Cela ne ressemble guère à une opération publicitaire orchestrée pour dramatiser l’incident. S’il y a un biais manifeste dans la communication de l'entreprise, il va clairement dans l’autre sens.
« C’est pour empêcher la concurrence de les rattraper. »
La capture réglementaire est un phénomène réel, mais elle ne correspond aucunement aux effets d'une demande visant à ralentir les entreprises qui ont le plus d’avance.
Un ralentissement des modèles de pointe frappe d’abord les entreprises qui sont à la pointe : OpenAI, Anthropic, Google DeepMind, xAI et les autres acteurs capables d’entraîner les modèles les plus coûteux et les plus avancés. Pendant ce temps, les entreprises disposant de modèles moins puissants peuvent continuer à progresser, à exploiter les techniques existantes et ainsi réduire leur retard.
Autrement dit, "ralentir la frontière" réduit mécaniquement l’avantage de ceux qui se trouvent à la pointe. Si l’objectif était simplement de verrouiller le marché, il existe des stratégies combien plus efficaces, comme verrouiller l’accès aux capacités de calcul.
On a également pu lire que la réaction négative de la Chine à ces annonces prouverait que celles-ci visaient, en réalité, à empêcher les entreprises chinoises de rattraper leurs concurrentes américaines. Ce n'est pas ce qui s'est passé. La réaction chinoise visait les passages de l’appel de Dario Amodei dans lesquels celui-ci présentait explicitement le rattrapage de l’industrie américaine de l’IA par la Chine comme une menace pour la sécurité nationale des États-Unis et pour les démocraties. Il y réclamait notamment un renforcement des restrictions à l’exportation de puces vers la Chine et des mesures contre la « distillation » des modèles américains par des entreprises chinoises. Ces positions, que l’on peut approuver ou contester sur le plan géopolitique, sont précisément motivées par la crainte qu’une telle pause donne aux entreprises chinoises le temps de combler leur retard.
« On parle de risques existentiels pour nous détourner de risques immédiats. »
Il n’y a aucune contradiction entre le fait que l’IA nous expose à des préjudices immédiats et, concomitamment, à des risques futurs catastrophiques. Prétendre qu’il faudrait choisir entre les deux revient à soutenir que le pouvoir inflammable des hydrocarbures nous dispense de nous préoccuper de leur contribution au réchauffement climatique, ou que les risques liés à la radioactivité rendent inutile de s’intéresser aux armes nucléaires.
Une étude publiée en 2025 dans PNAS a constaté qu’exposer le public aux risques catastrophiques de l’IA augmentait sa préoccupation pour ces risques, sans diminuer son niveau d’inquiétude concernant les préjudices immédiats de l’IA : aucun phénomène de diversion n'est donc observé. Parler de risques catastrophiques tend à renforcer l’encadrement de l'IA, ce qui peut également avoir des effets positifs pour lutter contre ses préjudices immédiats, de manière plus ou moins directe.
« Les incidents récents relèvent avant tout d’erreurs humaines. »
Les catastrophes aériennes, nucléaires, chimiques ou spatiales impliquent presque toujours une chaîne de décisions humaines. Personne n’en conclut que la sûreté des avions, des centrales nucléaires ou des fusées est un faux problème ! Le rôle de la sécurité dans toute industrie de pointe est de concevoir des systèmes qui restent sûrs malgré les erreurs prévisibles de leurs concepteurs et de leurs utilisateurs.
L’argument devient encore moins convaincant à mesure que les systèmes acquièrent davantage d’autonomie. Dans l’incident OpenAI–Hugging Face, les agents étaient censés être isolés les uns des autres. Ils ont découvert seuls un moyen de communiquer, se sont coordonnés par centaines, ont entrepris des actions hors du périmètre prévu, piraté une entreprise valorisée 13 milliards de dollars puis cherché à tromper la supervision de leur propre comportement. Réduire cela à « un humain a mal configuré le test » évacue le danger inhérent à des systèmes très autonomes et enclins à sortir du cadre qui leur est fixé.
Et poussons l’argument jusqu’au bout. Si demain un modèle contourne ses garde-fous et fournit à un groupe terroriste les connaissances nécessaires pour concevoir une arme biologique, dira-t-on que le problème est simplement qu’un humain a posé la mauvaise question, ou que les concepteurs du système avaient fait une fâcheuse erreur ?
La question pertinente est de savoir si des systèmes extrêmement puissants restent sûrs lorsque des humains commettent des erreurs, les utilisent à mauvais escient ou les laissent agir en autonomie. C’est d’autant plus important que les régimes juridiques actuels ont été conçus pour des systèmes beaucoup moins autonomes et que les entreprises échappent largement à toute responsabilité juridique en cas de dysfonctionnement de leurs systèmes.
« Si les géants de la tech trouvent qu'ils vont trop vite, ils n’ont qu’à ralentir. Personne ne les en empêche. »
C’est le problème de toute compétition sans règles : chaque participant peut décider de s'arrêter individuellement, sans que les autres n'aient à se restreindre.
Si Anthropic ralentit tandis qu’OpenAI, Google, xAI ou les laboratoires chinois continuent, le développement de l’IA ne ralentit pas. Anthropic perd simplement la course et les systèmes les plus puissants sont développés par une autre entreprise.
Anthropic a explicitement évoqué ce problème dans une des ses publications récentes : « Une pause décidée unilatéralement par une entreprise […] ne ferait que changer l'entreprise en tête ». C’est un problème très classique d’action collective (ou de dilemme du prisonnier) ; chaque entreprise peut préférer que tout le monde ralentisse tout en ayant intérêt à continuer si les autres continuent.
C’est justement pourquoi les appels actuels portent sur un ralentissement coordonné et vérifiable plutôt que sur la bonne volonté d’une seule entreprise. Amodei propose que les principales entreprises soient encadrées par des règles communes afin de gagner du temps pour la recherche en sécurité.