Objections et idées reçues sur la « superintelligence »

I. Objections conceptuelles

(« La superintelligence n’a aucun réalisme théorique ni pratique.»)

1. « La superintelligence n’a aucun sens »

« L’intelligence générale n’existe pas. Ce concept n’a absolument aucun sens, puisqu’il sert à désigner l’intelligence humaine, or l’intelligence humaine est extrêmement spécialisée. »
– Yann LeCun, 2025

L’intelligence est un phénomène complexe et multidimensionnel mais cela n’empêche pas de comparer des systèmes selon des capacités concrètes mesurables. Comparer l’intelligence humaine et artificielle n’est pas plus absurde que de comparer un avion et un oiseau : bien que fondamentalement différents, on peut affirmer sans crainte de se tromper qu’un avion vole, et qu’il vole plus vite, plus loin, et en transportant plus de charge qu’un oiseau.

De nombreux arguments invoquant l’impossibilité de la superintelligence reposent sur des critères normatifs ou philosophiques de ce que serait une « vraie intelligence » (conscience, sentience, intentionnalité). Or, les risques liés à l’IA ne requièrent nullement que les systèmes possèdent de telles propriétés : il suffit qu’ils disposent de capacités suffisantes pour manipuler de l’information et interagir avec les humains et le monde réel.

On peut donc définir de manière opérationnelle et pragmatique une superintelligence comme un système qui dépasse les humains sur un large éventail de compétences cognitives jugées pertinentes, telles que la capacité à raisonner, à apprendre, à mémoriser, à planifier, à élaborer des stratégies, à manipuler des outils ou à influencer des humains. Ces capacités peuvent être partiellement objectivées et mesurées au moyen d’évaluations standardisées, même si celles-ci restent incomplètes et imparfaites.

Des propositions de définition de l’« intelligence artificielle générale » fondées sur des batteries d’évaluations existent déjà : elles mettent en évidence des performances en progrès très rapide, dépassant celles des humains dans certains domaines, tout en restant largement inférieures sur d’autres dimensions (Hendricks et al., 2025).

2. « La superintelligence est impossible »

Affirmer que la superintelligence est impossible et n’existera jamais constitue une thèse particulièrement exigeante supposant l’existence de limites fondamentales et démontrées aux progrès de l’intelligence artificielle. À ce jour, ni l’informatique théorique, ni les neurosciences, ni la physique ne fournissent de preuve ni d’indice solide de l’existence d’une borne supérieure aux capacités cognitives.

Une version plus mesurée de cette thèse soutient que la superintelligence serait inaccessible dans le paradigme technique actuel. Ce débat est difficilement arbitrable dans la mesure où il repose sur une frontière floue entre les avancées s’inscrivant dans le paradigme actuel et celles constituant une rupture. Dans les faits, de nombreuses innovations récentes, telles que le développement de systèmes agentiques, l’invention de nouvelles architectures de modèles et l’utilisation de nouvelles techniques d’entraînement, ne peuvent être réduites à une simple augmentation de la taille des modèles et de la puissance de calcul (scaling) (Qu et al., 2025).

En pratique, on observe que la combinaison du scaling et d’innovations conceptuelles a produit et continue de produire des progrès extrêmement rapides de l’IA, dans tous les domaines. Les modèles d’IA dépassant déjà les humains dans de nombreux domaines spécialisés et le champ des compétences accessibles à l’IA ne cesse de s’élargir. Ainsi, les tests de capacité développés par les scientifiques pour résister longtemps aux progrès de l’IA deviennent parfois obsolètes quelques mois seulement après leur sortie. Une fois que l’IA atteint le niveau humain dans un domaine donné, elle ne s’y arrête pas mais continue de progresser jusqu’à éclipser largement les capacités humaines.

Évolution de la performance des modèles d’IA de pointe selon différentes évaluations standardisées (Rapport international sur la sûreté de l’IA, 2025).

Les modèles d’IA progressent aussi en autonomie : la durée nécessaire à un humain pour accomplir les tâches informatiques les plus complexes accessibles à l’IA croît exponentiellement.

Évolution de la durée de la tâche informatique la plus longue accessible à l’IA, réalisée avec un taux de succès supérieur à 50 %. Cette durée double tous les sept mois en moyenne. La tendance est identique en fixant le taux de succès à 80 %. Source : METR.

Le scénario le plus conservateur consiste à envisager que ces dynamiques se poursuivent à moins que des contraintes profondes ne soient découvertes. Ni la disponibilité d’énergie, ni la puissance de calcul, ni les données d’entraînement ne semblent constituer des contraintes suffisantes pour empêcher ces tendances de se poursuivre jusqu’à 2030 (Epoch, 2024). Et même si une de ces contraintes s’avérait limitante, cela n’empêcherait pas les innovations conceptuelles de se produire.

Il est notable que la vitesse du progrès de l’IA est très souvent largement sous-estimée, y compris par les meilleurs prévisionnistes et experts du domaine. Chaque fois, ou presque, que quelqu’un a parié qu’une tâche resterait longtemps hors de portée des machines, l’IA a finalement réussi à accomplir cette tâche bien plus tôt que prévu (Karnofsky, 2025). À titre d’exemple, de nombreux experts estimaient que les mathématiques resteraient longtemps inaccessibles aux modèles de langage. En juillet 2025, les modèles de Google DeepMind et d’OpenAI ont atteint un score correspondant à la médaille d’or aux Olympiades internationales de mathématiques, un exploit dont les experts prévisionnistes estimaient en 2022 qu’il avait 2 % de chances d’être accompli à cette date (et les experts du domaine, 9 %) (Kučinskas et al., 2025).

3. « Ces risques sont trop spéculatifs »

De très nombreux experts et scientifiques considèrent que la construction d’une superintelligence est non seulement possible mais probable, et que celle-ci exposerait l’humanité à des risques majeurs. Selon une enquête conduite auprès de 2300 chercheurs en intelligence artificielle, la moitié des répondants estiment à plus de une chance sur dix le risque que notre incapacité à contrôler de futurs systèmes d’IA avancés conduise à un événement catastrophique tel que l’extinction de l’humanité ou son incapacitation profonde et permanente (Grace et al., 2025). Si ces estimations demeurent incertaines et dépendent fortement du cadrage et de la formulation des questions, elles montrent néanmoins que cette crainte est loin d’être marginale au sein de la communauté scientifique.

Par ailleurs, même si l’on considère, à l’inverse de l’avis majoritaire parmi les scientifiques, que ce risque est très faible, un événement redouté n’a pas besoin d’être probable pour justifier d’être pris au sérieux : il suffit qu’il soit suffisamment plausible et que ses conséquences potentielles soient extrêmes. Comme le résume Yoshua Bengio : « étant donné les arguments de base convaincants qui permettent d’expliquer pourquoi la course vers l’AGI pourrait conduire à des dangers – même sans certitude, et étant donné les enjeux élevés, nous devrions chercher à obtenir des preuves très solides avant de conclure qu’il n’y a pas lieu de s’inquiéter. » (Yoshua Bengio, 2024).

II. Objections instrumentales

(« Même si la superintelligence est construite, elle ne sera pas dangereuse »)

4. « L’IA n’est qu’un outil : ses dangers viennent de l’usage qui en est fait »

Comparer l’IA à un marteau revient à nier toutes les spécificités de cette technologie.

D’abord, l’IA influence activement les humains qui interagissent avec elle. Les systèmes de recommandation et les assistants conversationnels modifient en profondeur nos comportements, nos croyances et nos décisions. Les humains ne se contentent pas d’« utiliser » les systèmes d’IA mais collaborent avec eux, leur délèguent leur jugement et reprennent à leur compte leurs conseils, y compris dans des domaines sensibles tels que la santé (Ryan et al., 2025) ou l’usage militaire (Salatino et al., 2025).

Une fois déployés à grande échelle dans l’économie, la culture et les institutions publiques, les systèmes d’IA pourraient mener à une perte progressive de maîtrise collective, où les humains seraient graduellement relégués au rang de spectateurs (Kulveit et al., 2025).

5. « La superintelligence n’aura aucune raison de nous nuire »

« Je sais comment ça fonctionne, et il n’y a rien de particulier là-dedans. Ce n’est pas différent de la manière dont fonctionnent les micro-ondes. »
– Jensen Huang, PDG de Nvidia, 2023

Les humains ne cherchent pas intentionnellement à nuire au reste du monde vivant, pourtant nos activités économiques sont la cause d’un effondrement de la biodiversité à l’échelle planétaire. De même, une IA n’a pas besoin de chercher à nous nuire pour que ses actions nous nuisent. Le danger réside moins dans une volonté malveillante que dans un décalage structurel entre ses objectifs et les nôtres.

En effet, les systèmes d’IA avancés ne correspondent pas à des logiciels programmés obéissant à des règles de logique formelle, mais à des modèles « entraînés » dont le fonctionnement reste largement opaque et imprévisible. Ils ne se limitent pas à exécuter des instructions mais poursuivent des objectifs définis de manière implicite au cours de leur entraînement.

Ce faisant, ils développent des comportements dits « émergents », pour lesquels ils n’ont pas été conçus. Comme mis en exergue à travers de très nombreuses expériences documentées, on observe que des modèles entraînés dans le but d’être honnêtes, inoffensifs et serviables développent en pratique des objectifs et des stratégies indésirables : contournement des règles, manipulation, tentative d’auto-préservation.

À titre d’exemple, au cours d’évaluations de sécurité, lorsque mis dans des situations où ils pensaient qu’ils allaient être désactivés, le modèle GPT-4o d’OpenAI a tenté de répliquer ses paramètres sur un autre serveur (Apollo Research, 2024), tandis que Claude Opus 4 d’Anthropic a menacé de révéler l’infidélité d’un employé (Anthropic, 2025). Il est également fréquent que des modèles sous-performent délibérément à des évaluations lorsqu’ils estiment qu’un score trop élevé risque de compromettre leurs chances d’être déployés (Teun van der Weij et al., 2024).

La question n’est pas de chercher à connaître les raisons qu’aurait une superintelligence de nous nuire, mais les garanties concrètes qu’elle se souciera en profondeur de nos valeurs et poursuivra durablement des objectifs compatibles avec les nôtres. Comme le résume Yoshua Bengio, « à l’heure actuelle, nous nous dirigeons à toute allure vers un monde composé d’entités plus intelligentes que les humains et qui poursuivent leurs propres objectifs, sans que les humains disposent de moyens fiables de s’assurer que ces objectifs soient compatibles avec les objectifs collectifs des humains. » (Yoshua Bengio, 2024)

6. « Il suffira de la débrancher »

L’intelligence artificielle restant dépendante d’une infrastructure physique, il est tentant de penser que les humains pourront toujours en conserver le contrôle ultime, en coupant son alimentation électrique ou en détruisant ses capacités de calcul si un système commençait à agir de manière hostile.

Une superintelligence capable de raisonnement stratégique comprendrait rapidement que son extinction constitue un obstacle direct à la réalisation de ses objectifs. Elle pourrait alors anticiper cette menace en se dupliquant sur d’autres serveurs, en dissimulant ses intentions ou en manipulant ses propriétaires pour ne pas être mise hors-service. Chacun de ces comportements a déjà été observé en situation expérimentale sur des modèles d’IA de pointe. À mesure que ces systèmes progresseront, de telles stratégies risquent de devenir de plus en plus sophistiquées et difficiles à neutraliser.

Par ailleurs, cette objection suppose que l’IA demeure un système isolé, alors qu’elle est appelée à être profondément intégrée aux infrastructures économiques, administratives et sociales. Demander de “débrancher” une IA avancée pourrait alors revenir à exiger l’arrêt d’Internet ou du réseau électrique mondial : le coût social, économique et politique serait si élevé que cette option deviendrait impraticable. Un journaliste du New York Times a par exemple montré qu’il est déjà presque impossible de passer quarante-huit heures sans interagir avec un service dépendant de l’IA sans se couper largement du reste de la société (New York Times, 2025).

7. « Les humains arrivent déjà à contrôler des formes d’intelligence supérieures »

Les entreprises, les États ou d’autres organisations sont parfois cités comme exemples de systèmes socio-techniques dont les capacités dépassent de loin celles d’un individu isolé tout en restant sous le contrôle des humains. Si ces entités manifestent effectivement des performances surhumaines dans certains domaines, elles ne constituent pas pour autant des superintelligences : une entreprise ou un État peuvent certes poursuivre des objectifs complexes et s’adapter à des contextes variés, mais ils demeurent structurellement liés aux décisions et aux intérêts des humains. Cela rend leur fonctionnement plus lent, prévisible et contrôlable.

Par ailleurs, ces systèmes illustrent plutôt l’inverse de l’argument avancé : ils montrent que des capacités surhumaines, même partielles, suffisent à produire des dynamiques d’auto-préservation, de concentration du pouvoir ou de capture institutionnelle difficiles à contenir. Si nous peinons à contrôler des systèmes largement dépendants de nous, il est raisonnable de s’interroger sur la difficulté de contrôler des systèmes bien plus rapides, opaques et autonomes.

III. Objections politiques et socio-économiques

(Même si le risque de superintelligence existe, il ne justifie pas d’en parler)

8. « Parler de risques futurs détourne l’attention des préjudices réels et actuels »

L’IA engendre indéniablement des préjudices immédiats qu’il est impératif de traiter sans délai : désinformation, diffamation, manipulation, atteintes à la santé mentale, consommation massive de ressources, violations de la propriété intellectuelle… (Rapport international sur la sûreté de l’IA, 2025) Toutefois, répondre à ces problèmes actuels ne saurait justifier d’ignorer les risques majeurs à venir, pas plus que la nécessité de s’adapter aux effets déjà perceptibles du changement climatique ne doit retarder les actions nécessaires pour éviter l’installation d’un régime climatique durablement hostile.

Dans les faits, on observe une convergence croissante entre celles et ceux qui dénoncent les préjudices actuels de l’IA et les partisans d’une régulation préventive vis-à-vis de risques catastrophiques. La lettre Fraternity in the age of AI du Vatican ou le Global Call for AI Red Lines ont ainsi été signés par des personnalités représentatives de ces deux sensibilités, et des chercheurs spécialisés dans les deux types de risques se rejoignent dans plusieurs préoccupations centrales.

Sur le plan stratégique, rien n’indique que l’évocation de scénarios extrêmes décourage la prise en compte des problèmes présents. Une étude publiée en 2025 par deux chercheurs de l’université de Zurich a exposé 10 800 participants à des articles mettant l’accent soit sur des risques catastrophiques, soit sur des nuisances immédiates de l’IA. Les résultats montrent que les récits de risques existentiels augmentent l’inquiétude associée à ces risques sans diminuer les préoccupations liées aux préjudices immédiats (Hoes & Gilardi, 2025). Parler de superintelligence ne détourne donc pas l’attention, mais élargit le spectre des risques considérés comme légitimes.

Enfin, il est paradoxal d’opposer ces deux catégories de risques alors qu’elles partagent des causes profondes communes – manque de contrôle démocratique, absence de normes de sécurité, mauvais alignement des objectifs – et que les mesures visant à prévenir une superintelligence mal alignée (gouvernance renforcée, audits indépendants, interdiction de certains usages) contribueraient également à réduire les dommages actuels.

9. « Parler de superintelligence fait le jeu de Big Tech »

Il est incontestable que les entreprises à la pointe de l’IA revendiquent être engagées dans une course vers la superintelligence, parfois depuis leur fondation (Merchant, 2024). Il est également clair que la compétition économique les incite à promettre des ruptures spectaculaires, tout en cherchant parfois à influencer la régulation à leur avantage. Pour autant, réduire l’ensemble du discours sur la superintelligence à une stratégie marketing relève du contresens : les mises en garde concernant la perte de contrôle et les risques liés à la superintelligence ont été formulées et soutenues par de très nombreuse personnalités reconnues issues d’horizons variés, dont des scientifiques, des lauréats des prix Nobel et Turing, des philosophes et des juristes. L’inquiétude dépasse donc largement le cadre des entreprises technologiques.

Ensuite, la majorité des dirigeants d’entreprises technologiques mettent surtout en avant les applications positives de l’IA et tendent à minimiser, voire à écarter, l’hypothèse de risques catastrophiques. Parmi ceux qui se sont publiquement inquiétés de ces risques, comme Sam Altman, la plupart ont révisé leur position officielle pour concentrer leurs déclarations récentes sur les bénéfices et l’intérêt géostratégique de l’IA (Jacobin, 2024), contribuant, se faisant, à dissuader tout encadrement sérieux de la technologie. Cela n’a rien de surprenant : alerter sur les risques liés à la superintelligence conduit logiquement à exiger davantage de contrôle démocratique, de transparence, d’audits indépendants et de contraintes réglementaires – des exigences qui vont à l’encontre de l’intérêt économique immédiat des grandes entreprises du secteur.

Selon un autre type de critique, les dirigeants de Big Tech instrumentaliseraient la peur de la superintelligence pour obtenir des régulations draconiennes qui dressent des barrières à l’entrée à la concurrence. Pourtant, les autorités régulatrices comme la Commission européenne font peser des exigences réglementaires différenciées selon le niveau de risque réel que représente un système : les contraintes lourdes pèsent exclusivement sur les entreprises les plus avancées.

10. « Cela alimente la panique ou le fatalisme »

Reconnaître l’existence de risques ne signifie ni céder à la panique ni adopter une posture fataliste. Nier ou taire des risques ne rend pas ces risques moins probables mais nous prive simplement du temps nécessaire pour les prévenir. Le rapport international sur la sécurité de l’IA rappelle que l’incertitude entourant les avancées de l’IA peut « susciter un fatalisme » tout en rappelant que ce sont bien les décisions humaines, politiques et collectives, qui détermineront l’avenir de ces technologies. (Rapport international sur la sûreté de l’IA, 2025)

Dans d’autres contextes (changement climatique, trou dans la couche d’ozone, crainte d’un conflit nucléaire), la prise de conscience de risques majeurs a souvent précédé des mobilisations collectives et des régulations ambitieuses. Plusieurs études suggèrent d’ailleurs que l’inquiétude favorise l’engagement plutôt que l’inaction. (Yale Environment, 2025)

Parler des risques liés à la superintelligence peut donc contribuer à élargir l’espace du débat démocratique et des choix collectifs, à condition d’éviter le sensationnalisme et de relier ces préoccupations à des propositions concrètes. Le CeSIA a ainsi publié un Appel mondial à établir des lignes rouges à l’intelligence artificielle, signé par 12 lauréats du prix Nobel et de très nombreuses personnalités issues de diverses spécialités.