Douze entreprises d’IA ont désormais publié une politique de sécurité pour leurs modèles les plus avancés. Neuf d’entre elles y fixent des seuils de capacité : autrement dit des limites à ne pas franchir. L’idée est simple : si un modèle devient trop puissant, l’entreprise s’engage à ralentir, à ajouter des garde-fous, ou à tout arrêter. Plusieurs de ces politiques font suite aux engagements de Séoul sur la sécurité de l’IA, par lesquels les principales entreprises du secteur se sont engagées volontairement à « définir les seuils à partir desquels les risques graves posés par un modèle ou un système seraient jugés intolérables, faute d’être correctement maîtrisés ».
Voilà pour la nouvelle qui fait les gros titres. Celle qui n’en fait pas : ces seuils ne forment pas, dans les faits, un système de sécurité commun. Les termes employés se ressemblent d’une entreprise à l’autre, mais ne recouvrent pas la même chose. La manière dont chacune vérifie qu’un seuil a été franchi n’a rien à voir d’une entreprise à l’autre. Et il n’existe presque aucun moyen, pour quelqu’un d’extérieur, de vérifier ou de comparer les résultats. Conséquence : il n’y a pas de socle de sécurité concret. « Ligne rouge franchie chez l’entreprise A » ne veut pas dire la même chose que « ligne rouge franchie chez l’entreprise B », même quand les deux emploient exactement les mêmes mots.
Les mêmes mots ne garantissent pas les mêmes résultats
Prenons une seule catégorie de risque parmi celles que ces textes abordent : l’IA qui automatise sa propre recherche.
Aujourd’hui, ce qui limite la vitesse à laquelle l’IA progresse, c’est notamment le travail des chercheurs humains. Mais si les systèmes d’IA se mettent à mener eux-mêmes la recherche — concevoir les expériences, interpréter les résultats, écrire la prochaine génération d’algorithmes —, ce frein disparaît. C’est ce que Dario Amodei, le patron d’Anthropic, appelle « un pays de génies dans un centre de données ». Si cela arrive, tous les autres bouleversements liés à l’IA s’accélèrent d’un coup : le rythme des progrès, la pression sur le marché du travail, la concentration du pouvoir entre les mains d’un nombre réduit d’entreprises.
Parmi les laboratoires qui traitent précisément de l’automatisation de la recherche en IA, les formulations divergent dès le départ. Le seuil d’Anthropic se déclenche lorsqu’un modèle peut remplacer intégralement l’ensemble de ses chercheurs et ingénieurs de recherche à un coût compétitif, ou lorsqu’il fait doubler le rythme des progrès de l’IA. Pour OpenAI, le seuil critique correspond à « un agent chercheur surhumain », ou à un système capable de produire « un saut de génération d’un modèle en cinq fois moins de temps ». Chez Google DeepMind, le déclencheur intervient quand les progrès de l’IA « s’accélèrent nettement par rapport aux rythmes passés ». Meta n’évoque l’automatisation de la recherche que comme une « capacité facilitatrice » dont les évaluations devraient tenir compte. Et xAI la suit comme un simple indicateur de transparence, sans fixer aucun seuil formel.
« Nous considérerons ce seuil comme atteint si nous estimons que : soit (1) nos modèles sont capables de remplacer intégralement l’ensemble de nos chercheurs et ingénieurs de recherche, à un coût compétitif (c’est-à-dire à un facteur 5 près) ; soit (2) le rythme des progrès de l’IA connaît une “accélération spectaculaire” pour des raisons vraisemblablement liées à l’automatisation de la recherche et développement en IA. » — Anthropic, Responsible Scaling Policy v3.3 (traduit de l’anglais)
Les seuils aussi peuvent bouger
Comparer les politiques à un instant donné masque un autre problème : les entreprises révisent leurs propres seuils au fil du temps, et pas toujours dans le sens de la prudence. La dernière version du cadre d’Anthropic a discrètement supprimé son seuil formel en cybersécurité ; d’autres ont reformulé ou réajusté les leurs d’une version à la suivante. Quand un engagement peut être assoupli par l’entreprise même qui l’a fixé — éventuellement au moment où ses modèles commencent à s’en approcher —, les « seuils » cessent d’être de véritables engagements. Un socle de sécurité que chaque laboratoire peut déplacer à sa guise n’est pas un socle. Et c’est difficile à suivre de l’extérieur : rien n’oblige les entreprises à signaler ce qui a changé d’une version à l’autre, ni pourquoi.
La mesure, c’est là que tout se joue
Même si toutes les entreprises employaient rigoureusement les mêmes mots, on ne pourrait toujours pas comparer leurs évaluations. Chaque laboratoire teste ces seuils avec ses propres batteries de tests, ses propres panels d’experts, ses propres procédures internes. Pour l’évaluation de la recherche en IA en particulier, aucun des grands laboratoires n’a défini de seuil chiffré. Les décisions reposent largement sur le jugement qualitatif d’experts.
Voici à quoi cela ressemble concrètement. La dernière fois qu’Anthropic a conclu que son modèle le plus récent n’avait pas franchi le seuil d’automatisation de la recherche, cette conclusion reposait notamment sur un sondage interne : sur 16 employés interrogés, aucun ne pensait que le modèle pouvait remplacer tel quel un chercheur débutant. C’était l’un des éléments déterminants. Seize personnes, dans une seule entreprise, répondant à une seule question. Impossible, pour un régulateur, un concurrent ou le grand public, de refaire la même évaluation dans un autre laboratoire et d’obtenir un résultat comparable.
Une norme commune reste possible
Tout n’est pas à jeter. Si l’on regarde au-delà des différences de vocabulaire, on distingue les éléments d’une structure partagée.
Dans une analyse récente menée au CeSIA, une fois ces définitions formalisées et ramenées à des termes comparables, les seuils d’Anthropic et d’OpenAI tombent à peu près au même endroit : ils exigent en gros le même niveau d’accélération avant de se déclencher. Ce constat tient sous des hypothèses plausibles quant au rythme récent des progrès de l’IA. Mais si ces progrès se sont accélérés ces derniers temps — et il y a des raisons de le penser —, l’écart entre les deux se creuse. Le seuil plus bas de Google DeepMind — « une accélération nette par rapport aux rythmes passés » — reste, lui, compatible avec ce même socle.
La recherche en IA s’harmonise assez facilement parce que les trois laboratoires ont, par chance, bâti leurs seuils autour du même type de mesure. D’autres domaines de risque sont plus coriaces.
Pour les risques biologiques et chimiques, les laboratoires convergent bel et bien vers une approche commune : ils définissent en général leurs seuils en fonction de l’aide qu’un modèle apporte à un type d’acteur précis pour causer un dommage, comparée à ce que cet acteur pourrait faire sans IA. C’est une base commune qui compte, et un socle minimal est sans doute atteignable. Mais les détails divergent. OpenAI prend 2021 comme point de référence et des acteurs « novices ». Anthropic retient 2023 et des personnes titulaires d’un « diplôme scientifique de premier cycle ». Google DeepMind parle d’« acteurs disposant de peu ou moyennement de ressources ». Ces écarts comptent dès qu’on se demande si un seuil franchi chez un laboratoire le serait aussi chez un autre.
La cybersécurité est encore plus compliquée. La dernière version du cadre d’Anthropic ne comporte pas de seuil formel en la matière. Google DeepMind et OpenAI ont conservé le leur, mais l’un définit le seuil par le surcroît de capacités qu’un modèle offre à des attaquants, et l’autre par ce que le modèle est capable de faire tout seul. On ne peut pas construire un socle commun entre laboratoires quand certains n’ont pas de seuil et que ceux qui en ont un mesurent des choses fondamentalement différentes.
La réponse honnête, donc : le cas de la recherche en IA montre que l’harmonisation est possible, mais elle ne se fait pas toute seule. Y parvenir suppose de traduire les seuils de chaque entreprise dans un cadre réellement comparable.
Un langage commun et des mesures communes ne suffisent toujours pas
Se mettre d’accord sur ce qu’il faut mesurer n’est qu’une première étape. La vraie difficulté, c’est comment le mesurer, et qui a le droit de vérifier. Aujourd’hui, chaque laboratoire mène ses propres évaluations avec ses propres méthodes, et il n’existe presque aucun dispositif permettant à un tiers indépendant — la Commission européenne, ou le réseau des instituts de sécurité de l’IA — de contrôler ou de comparer les résultats.
Et au-delà même de la mesure, il faut relier ces risques à des conséquences concrètes dans le monde réel. Une étude de l’Oxford Martin AI Governance Initiative, co-signée par le CeSIA, a montré que ces cadres de sécurité apportent des mécanismes utiles, mais laissent souvent « implicites des questions fondamentales : la définition du risque, les raisons du choix des seuils, et la façon de relier les résultats des évaluations à la gravité et à la probabilité des risques ». De même qu’un modèle d’IA qui réussit un questionnaire à choix multiples n’est pas pour autant apte à donner des conseils juridiques dans la vraie vie, disposer d’un langage commun et de mesures communes ne dit toujours pas si quiconque est réellement plus en sécurité.
Où en est-on ?
Il existe un consensus grandissant sur les capacités qui doivent nous inquiéter. Un consensus partiel sur le vocabulaire. Et presque aucun consensus sur la façon de mesurer réellement si un seuil dangereux a été franchi, ni sur le lien entre ces mesures et les dommages concrets.
C’est ce dernier manque qui décidera si la gouvernance de l’IA a une vraie portée, ou si elle vire peu à peu au théâtre.
Combler ce manque fait partie du travail de gouvernance technique que nous menons au CeSIA. Notre objectif : identifier des méthodes d’évaluation solides sur le plan technique, que les institutions accepteraient vraiment d’adopter, et qu’un tiers — un régulateur, par exemple — pourrait appliquer de la même manière à toutes les entreprises.