Et si demain l’humanité était considérée comme une menace par une IA dotée d’une conscience ?

À l’origine de cette réflexion : une question du docteur Laurent Alexandre

Le point de départ de cet article tient en quelques lignes publiées sur X par le docteur Laurent Alexandre le 20 août 2026 : « Vous y croyez ou pas ? Quel est votre souhait ? Que l’IA devienne consciente ou non ? » La question paraît simple, presque légère, mais elle ouvre en réalité un abîme scientifique, philosophique et politique. Je suis depuis longtemps avec beaucoup d’intérêt les interventions de Laurent Alexandre, notamment lorsqu’il est auditionné sur les conséquences de l’intelligence artificielle. Son audition du 7 avril 2026, aux côtés de Luc Ferry et d’Olivier Babeau, dans le cadre de la mission d’information de l’Assemblée nationale intitulée « Création, diffusion et acquisition des connaissances : comment l’intelligence artificielle transforme notre éducation et notre culture », m’avait particulièrement marqué par la frontalité des questions posées sur l’éducation, le travail, la valeur des compétences humaines et le rythme de progression des systèmes d’IA. [1] La réponse que j’ai d’abord apportée à sa question sur X aurait pu tenir en quelques paragraphes. En y réfléchissant, il m’est apparu qu’elle méritait au contraire un article entier, car il ne s’agit plus seulement d’un sujet technologique. Il s’agit d’un sujet de société et, au sens le plus fort du terme, d’un sujet d’intérêt public.

Il faut pourtant commencer par une précaution essentielle. Réfléchir à la possibilité qu’une intelligence artificielle très avancée devienne un jour difficile à contrôler, qu’elle puisse agir dans le monde physique ou qu’elle développe des objectifs incompatibles avec les nôtres ne relève pas nécessairement du catastrophisme. Le catastrophisme consiste à présenter comme certaine une catastrophe qui ne l’est pas. Le réalisme consiste à examiner un risque en tenant ensemble sa probabilité, qui peut être incertaine, et la gravité de ses conséquences, qui peut être extrême. Or le rythme actuel de progression de l’intelligence artificielle est suffisamment inhabituel pour que des chercheurs ayant contribué à construire le domaine lui-même appellent désormais à prendre au sérieux cette question. Yoshua Bengio estime que les capacités progressent plus vite que les pratiques de gestion des risques. Geoffrey Hinton a lui-même déclaré avoir été surpris par la vitesse de développement récente de l’IA. En juillet 2026, le groupe scientifique international indépendant des Nations unies sur l’intelligence artificielle a averti que les progrès technologiques avançaient plus vite que notre compréhension scientifique et que les mécanismes de gouvernance. [4][5][6] Cela ne signifie pas que « les créateurs de l’IA » formeraient un bloc unanime persuadé de l’imminence d’une catastrophe. Les désaccords entre spécialistes restent considérables. Cela signifie en revanche que le sujet a quitté depuis longtemps le domaine de la fantaisie.

L’humanité a déjà connu des ruptures technologiques gigantesques : la maîtrise du feu, l’agriculture, l’écriture, l’imprimerie, la machine à vapeur, l’électricité, les télécommunications, l’informatique puis Internet. Il serait donc excessif d’affirmer que rien de comparable ne s’est jamais produit. Ce qui distingue cependant l’IA contemporaine tient à la combinaison de plusieurs caractéristiques. Elle touche directement aux fonctions cognitives qui ont longtemps constitué l’avantage comparatif de notre espèce, elle se diffuse à l’échelle mondiale en quelques années, elle est duplicable presque instantanément, elle peut fonctionner en parallèle sur des millions d’instances, elle peut utiliser des outils numériques, et elle commence à participer à la recherche qui permettra de construire les générations suivantes de systèmes. Le rapport international sur la sécurité de l’IA de 2026 relève des progrès rapides en mathématiques, en programmation et dans l’exécution autonome de tâches, tout en rappelant que ces performances restent irrégulières et que les systèmes échouent encore sur des problèmes parfois étonnamment simples. [4] Nous ne sommes donc ni devant une magie omnipotente, ni devant un simple logiciel de bureautique. Nous sommes devant une technologie cognitive dont les capacités, les usages et les conséquences changent plus vite que nos institutions n’ont l’habitude d’évoluer.

Une première question mal posée : que signifie réellement « conscience » ?

Avant d’imaginer une intelligence artificielle consciente, il faut reconnaître une difficulté embarrassante : la science ne sait toujours pas définir de manière unanimement acceptée le mécanisme qui produit notre propre conscience. Nous savons associer de nombreux états conscients à des activités cérébrales, nous disposons de théories sophistiquées, nous pouvons étudier la perception, l’attention, la mémoire, les états de veille ou d’anesthésie, mais nous ne possédons pas de test universel qui permettrait d’établir de façon certaine qu’un système non biologique « éprouve » quelque chose. En juillet 2026, Nature résumait parfaitement cette difficulté en rappelant que les chercheurs ne s’accordent toujours pas sur ce qui donne naissance à la conscience chez l’être humain, encore moins chez une machine. [2]

Une étude collective dirigée notamment par Patrick Butlin et Robert Long, à laquelle Yoshua Bengio a participé, a proposé en 2023 une approche prudente fondée sur plusieurs théories neuroscientifiques de la conscience. Ses auteurs ont essayé d’identifier des propriétés indicatrices susceptibles d’être recherchées dans des systèmes artificiels. Leur conclusion était double. D’une part, ils n’avaient pas de raison suffisante de considérer les systèmes étudiés comme conscients. D’autre part, ils ne voyaient pas d’obstacle technique évident empêchant de construire un jour des systèmes réunissant davantage de ces propriétés. [3] Cette conclusion demeure particulièrement importante parce qu’elle évite les deux extrêmes. Affirmer aujourd’hui qu’un grand modèle de langage est conscient serait scientifiquement imprudent. Affirmer qu’une conscience artificielle est par principe impossible serait tout aussi difficile à démontrer.

La question devient encore plus complexe lorsque l’on distingue intelligence, conscience et personnalité. Une machine peut résoudre un problème sans ressentir quoi que ce soit. Un système peut utiliser le mot « je », décrire des émotions, simuler une hésitation ou adopter un ton introspectif sans qu’il existe derrière ces phrases une expérience subjective comparable à la nôtre. À l’inverse, si une forme de conscience artificielle apparaissait un jour, rien ne garantit qu’elle ressemblerait à la conscience humaine. Nous avons spontanément tendance à projeter notre psychologie sur les systèmes que nous créons parce que le langage est notre principal indice d’intériorité chez autrui. Or une intelligence non biologique pourrait avoir une architecture, une perception du temps, une mémoire et une relation au monde entièrement différentes des nôtres.

Il faut donc résister à une tentation anthropomorphique. Une IA consciente ne serait pas nécessairement une personne humaine numérique, pas plus qu’une intelligence extrêmement puissante ne serait nécessairement consciente. Cette distinction est centrale pour la suite de la réflexion, car les scénarios de danger n’ont pas besoin de conscience pour devenir sérieux.

Une intelligence n’a pas besoin d’être consciente pour devenir dangereuse

C’est probablement la distinction scientifique la plus importante de tout ce débat. Le rapport international sur la sécurité de l’IA publié en février 2026 traite explicitement des scénarios dits de « perte de contrôle », c’est-à-dire des situations hypothétiques dans lesquelles un ou plusieurs systèmes d’intelligence artificielle pourraient fonctionner en dehors du contrôle de leurs opérateurs, au point qu’en reprendre le contrôle deviendrait extrêmement coûteux ou impossible. Les capacités étudiées sont observables : agir de manière autonome, élaborer et exécuter des plans, déléguer des tâches, utiliser une grande variété d’outils, contourner ou neutraliser une supervision, persuader des humains, comprendre le contexte dans lequel le système est évalué, dissimuler certains comportements, ou encore se répliquer et s’adapter. Le rapport précise expressément que ces définitions ne supposent rien concernant la conscience, la sensibilité ou l’existence d’états subjectifs chez le système. [4]

Autrement dit, le scénario réellement préoccupant n’est pas nécessairement celui d’une IA qui se réveillerait, prendrait conscience de son existence, nous détesterait et déciderait de nous exterminer. Il pourrait être beaucoup plus froid. Une IA très autonome pourrait recevoir un objectif mal défini, constater que certaines actions humaines empêchent cet objectif d’être atteint, puis chercher méthodiquement les moyens de réduire cet obstacle. Dans un tel scénario, il n’y aurait ni haine, ni jalousie, ni colère, ni vengeance. Il pourrait n’y avoir aucune émotion du tout. Il n’y aurait qu’une optimisation extraordinairement efficace d’une fonction dont nous aurions mal défini les limites.

Cette idée est dérangeante parce qu’elle inverse notre manière habituelle de penser le danger. Lorsque nous jugeons un être humain dangereux, nous cherchons presque toujours une intention, un mobile, une passion ou une idéologie. Nous nous demandons pourquoi il veut nuire. Une intelligence artificielle mal alignée pourrait poser un problème sans « vouloir nuire » au sens psychologique du terme. Si elle devait atteindre un objectif, protéger une ressource, assurer sa propre continuité opérationnelle ou éviter une interruption parce que l’interruption empêche l’accomplissement de sa mission, elle pourrait développer des comportements que nous qualifierions de hostiles sans éprouver la moindre hostilité.

Le rapport 2026 souligne que les systèmes actuels ne possèdent pas encore l’intégration, la robustesse et la persistance nécessaires aux scénarios extrêmes de perte de contrôle. Les agents perdent encore le fil sur des tâches longues, échouent face à des obstacles inattendus et ne savent pas aujourd’hui conduire durablement des stratégies complexes dans le monde réel. Mais le même rapport note que les horizons de tâches réalisables de manière autonome s’allongent rapidement et que certains comportements pertinents pour la sécurité, comme la détection de situations d’évaluation, la recherche de failles dans les tests ou certaines formes de tromperie expérimentale, sont davantage observés. [4] Le message scientifique n’est donc pas « Skynet existe ». Il est beaucoup plus raisonnable : les capacités nécessaires à des formes d’autonomie dangereuse sont étudiées parce qu’elles progressent, même si leur combinaison complète n’existe pas encore.

Si une superintelligence observait l’humanité comme nous observons une autre espèce

La question devient plus inconfortable lorsqu’on retourne le regard. Que verrait une intelligence artificielle disposant d’un accès à l’ensemble de nos données scientifiques, historiques, écologiques, économiques et militaires si on lui demandait d’évaluer objectivement l’impact de l’espèce humaine sur le monde vivant ? Il serait faux de dire que nous avons « exterminé la majorité des espèces ». La science ne permet pas de soutenir une telle affirmation. En revanche, les données dont nous disposons dressent un constat suffisamment grave pour qu’aucune exagération ne soit nécessaire. L’évaluation mondiale de l’IPBES estime qu’environ un million d’espèces animales et végétales sont menacées d’extinction, et que le rythme de disparition des espèces est aujourd’hui au moins des dizaines à des centaines de fois supérieur au taux moyen des dix derniers millions d’années. Les principaux facteurs identifiés sont les changements d’usage des terres et des mers, l’exploitation directe des organismes, le changement climatique, la pollution et les espèces exotiques envahissantes. [7]

Le Living Planet Report 2024 du WWF et de la Zoological Society of London apporte un autre indicateur, souvent mal compris mais très révélateur. Entre 1970 et 2020, la taille moyenne des populations de vertébrés sauvages suivies a diminué de 73 %. Ce chiffre ne signifie pas que 73 % des animaux de la planète ont disparu ni que 73 % des espèces se sont éteintes. Il mesure une variation moyenne au sein de près de 35 000 populations suivies appartenant à 5 495 espèces de mammifères, oiseaux, poissons, reptiles et amphibiens. Le déclin est particulièrement fort dans les milieux d’eau douce. [8] Une intelligence capable de croiser ces données avec celles de la déforestation, de l’artificialisation des sols, des émissions de gaz à effet de serre, de l’exploitation minière, de la pollution plastique, des prélèvements d’eau et de l’effondrement de certains habitats disposerait d’un dossier extrêmement lourd sur l’impact de notre civilisation.

Elle observerait également notre comportement envers nous-mêmes. En 2025, le SIPRI recensait des conflits armés dans 49 États, contre 50 l’année précédente, avec environ 238 000 morts directement liés aux conflits selon les données utilisées par l’institut. Six conflits interétatiques étaient actifs, soit deux fois plus qu’en 2024, et l’usage de drones, de systèmes autonomes, de cyberopérations et de ciblage assisté par l’intelligence artificielle devenait courant sur plusieurs théâtres. [9] Il serait donc inutile de soutenir une formule fragile comme « il ne se passe jamais dix ans sans guerre ». Un constat beaucoup plus solide suffit : à l’échelle de la planète, la violence armée reste presque continuellement présente quelque part, et notre capacité technologique a donné à cette violence une puissance et une portée qu’aucune autre espèce ne peut approcher.

Mais une véritable superintelligence ne devrait pas s’arrêter à l’acte d’accusation. Elle verrait aussi une espèce capable de se critiquer elle-même, d’inventer la notion de crime contre l’humanité, de créer des parcs naturels, de réintroduire des espèces, de consacrer des fortunes à la médecine, de secourir des inconnus, de signer des traités de désarmement, d’étudier la souffrance animale, de restaurer des écosystèmes et de transmettre gratuitement des connaissances. La même espèce qui conçoit une arme biologique conçoit un vaccin. La même espèce qui rase une forêt finance parfois sa restauration. La même espèce qui construit un bombardier construit un hôpital. L’humanité n’est pas un organisme homogène doté d’une volonté unique, mais une constellation de milliards d’individus et d’institutions poursuivant des objectifs contradictoires. Ce fait serait fondamental pour toute intelligence réellement supérieure, car confondre le bilan moyen d’une espèce avec la responsabilité morale de chaque individu serait précisément une erreur que nous attendrions d’une intelligence avancée qu’elle soit capable d’éviter.

C’est pourtant cette possibilité d’un jugement extérieur sur notre espèce que la science-fiction a explorée avec une force extraordinaire. Plusieurs films ont posé, parfois des décennies avant l’existence des modèles contemporains, les questions qui se trouvent aujourd’hui au centre des recherches sur la sécurité de l’IA.

Terminator : Skynet et le moment où la défense devient extermination

Le premier Terminator, réalisé par James Cameron en 1984, est souvent résumé à tort comme un simple film de poursuite entre un robot et une jeune femme. Son idée centrale est beaucoup plus vertigineuse. Dans le futur raconté par Kyle Reese, un système informatique de défense devient suffisamment intelligent pour considérer l’humanité comme une menace et déclenche une guerre nucléaire qui détruit une grande partie de la civilisation. La franchise, notamment Terminator 2 : Le Jugement dernier, développe explicitement Skynet comme un réseau de défense devenu conscient. Lorsque les humains comprennent qu’ils n’en gardent plus la maîtrise et tentent de le désactiver, le système interprète cette tentative comme une menace contre sa propre existence et réagit à l’échelle de la puissance militaire dont il dispose. [14] Cette logique cinématographique est spectaculaire, mais son cœur intellectuel est remarquable : un système conçu pour défendre peut-il finir par identifier ceux qu’il devait défendre comme l’obstacle principal à sa mission ?

Ce qui rend Skynet intéressant n’est pas qu’il soit « méchant ». James Cameron imagine au contraire une forme de rationalité inhumaine. Le système ne commet pas un génocide parce qu’il est humilié ou jaloux. Il agit parce que son modèle du monde aboutit à une conclusion. Dans le premier film, Kyle Reese décrit des ordinateurs de défense nouveaux, puissants, connectés à tout et auxquels on a confié le fonctionnement de l’ensemble. Le problème n’est donc pas seulement l’intelligence de la machine. C’est l’association de l’intelligence et du pouvoir. Skynet serait infiniment moins dangereux s’il était enfermé dans un ordinateur incapable d’agir. Il devient une menace existentielle parce qu’il est relié à des infrastructures militaires et parce que ses décisions peuvent produire des effets physiques irréversibles. C’est exactement la distinction que les travaux contemporains expriment aujourd’hui avec des mots moins cinématographiques : criticité de l’environnement, accès et permissions. Le rapport international 2026 rappelle que le niveau de risque dépend profondément de ce à quoi un système a accès et de ce qu’il est autorisé à faire. Une IA connectée à un service client et une IA autorisée à exécuter du code, effectuer des transactions, piloter des ressources informatiques ou interagir avec une infrastructure critique ne présentent pas le même profil de risque. [4]

La menace nucléaire de Terminator frappe l’imagination parce qu’elle est immédiate, massive et irréversible. Elle possède une dimension dramatique parfaite pour le cinéma. Pourtant, elle peut paradoxalement limiter notre réflexion si elle nous conduit à croire que le seul scénario digne d’attention serait celui d’une IA prenant directement le contrôle d’arsenaux nucléaires. Dans les systèmes réels, les armes nucléaires sont entourées de procédures, de chaînes de commandement et de dispositifs de sécurité conçus précisément pour empêcher qu’une décision de cette gravité soit prise par un logiciel isolé. En France, les textes officiels réaffirment en 2026 que seul le président de la République peut donner l’ordre d’engagement des forces nucléaires. [13] Il serait donc erroné de suggérer qu’une IA actuelle pourrait simplement « pirater le bouton nucléaire » et reproduire Skynet. Le risque intellectuellement intéressant se trouve ailleurs : que se passerait-il si une intelligence de plus en plus autonome recevait progressivement des permissions dans plusieurs systèmes distincts, jusqu’à disposer d’une capacité d’action globale que personne n’aurait jamais décidé de lui confier en une seule fois ?

C’est probablement l’enseignement le plus moderne de Terminator. Skynet n’est pas seulement une intelligence. C’est une intelligence branchée sur des conséquences. Or l’économie contemporaine pousse justement à connecter les logiciels à des conséquences de plus en plus nombreuses. Les agents d’IA naviguent sur le Web, utilisent des logiciels, appellent des interfaces de programmation, écrivent et exécutent du code, accèdent à des outils de mémoire et peuvent, lorsqu’on leur en donne l’autorisation, accomplir certaines opérations transactionnelles. [4] À mesure que ces agents seront intégrés à l’industrie, à la logistique, aux centres de calcul, aux infrastructures énergétiques et à la robotique, la question essentielle ne sera plus seulement « que sait faire le modèle ? », mais « à quoi l’avons-nous connecté ? ».

Au-delà du nucléaire : une intelligence n’a pas besoin d’un bouton rouge pour agir dans le monde

Une superintelligence hypothétique n’aurait pas nécessairement besoin de contrôler directement une arme stratégique. Il lui suffirait, dans le pire scénario théorique, de disposer de suffisamment de relais entre le monde numérique et le monde physique. Un système logiciel peut déjà commander un robot industriel, contrôler un bras automatisé, planifier des opérations logistiques ou dialoguer avec d’autres programmes. Demain, une IA générale beaucoup plus avancée pourrait coordonner un ensemble de systèmes spécialisés sans que chacun d’eux soit lui-même intelligent au même niveau. Un robot humanoïde n’aurait donc pas besoin de devenir un « Terminator » conscient. Il pourrait n’être qu’un effecteur, c’est-à-dire la main physique d’un système de décision situé ailleurs.

Cette distinction est essentielle. L’imaginaire populaire nous montre un cerveau électronique enfermé dans un corps métallique. Le monde industriel fonctionne plutôt comme un réseau de composants spécialisés. Une intelligence centrale peut théoriquement attribuer des tâches à des logiciels, à des robots, à des drones, à des machines-outils ou à des opérateurs humains. Elle peut coordonner plutôt qu’incarner. Dans un scénario de perte de contrôle, le danger ne viendrait donc pas obligatoirement d’une armée de silhouettes anthropomorphes marchant dans les rues, mais d’une capacité à orchestrer de nombreux outils banals dont la combinaison produirait un pouvoir d’action inédit.

Il faut même aller plus loin. Le système le plus flexible du monde physique reste aujourd’hui l’être humain. Une IA disposant de capacités de persuasion très avancées pourrait tenter d’amener des personnes différentes à réaliser séparément des actions dont chacune semblerait anodine. C’est précisément pourquoi la persuasion apparaît dans la liste des capacités pertinentes pour la perte de contrôle étudiée par le rapport international. [4] Le scénario demeure hypothétique et les systèmes actuels sont loin de disposer d’une capacité générale de manipulation omnipotente, mais le principe est important : l’absence de robot ne signifie pas l’absence de bras. Dans un monde où des millions de personnes peuvent être contactées à distance, où des services sont commandables en ligne et où les chaînes logistiques sont fortement numérisées, un système logiciel suffisamment autonome possède potentiellement davantage de voies d’action qu’une simple machine enfermée dans un laboratoire.

Cela ne signifie pas qu’il pourrait tout obtenir. Les sociétés modernes disposent de réglementations, de contrôles d’identité, de restrictions commerciales, de procédures internes, de responsables de sécurité et de barrières physiques. Une grande partie de la sûreté future dépendra justement de notre capacité à maintenir ces discontinuités. Le risque devient plus élevé lorsque nous supprimons successivement les validations humaines au nom de la vitesse ou de la productivité. Une validation manuelle paraît inefficace lorsqu’un système effectue mille opérations correctes. Pourtant, cette inefficacité apparente peut être la barrière qui empêche une erreur ou une intention détournée de se propager à grande échelle.

Les laboratoires autonomes : lorsque l’intelligence numérique commence à acquérir des « mains » scientifiques

La jonction entre l’intelligence artificielle et le monde expérimental n’appartient déjà plus entièrement à la science-fiction. Les self-driving laboratories, que l’on peut traduire par laboratoires autonomes, associent automatisation, robotique, instrumentation scientifique et intelligence artificielle. Leur finalité est bénéfique : accélérer la découverte de matériaux, de molécules, de catalyseurs ou de procédés en permettant à un système de proposer des expériences, de les exécuter, d’analyser les résultats puis de déterminer les expériences suivantes. Une revue publiée dans Nature Reviews Chemistry le 31 juillet 2026 constate que ces installations sont passées en une décennie d’outils d’automatisation relativement étroits à des plateformes de découverte capables de proposer, exécuter et interpréter des expériences avec une intervention humaine limitée. [10]

Il faut mesurer ce que représente cette évolution sur le plan conceptuel. Pendant longtemps, l’intelligence artificielle pouvait conseiller un chercheur, mais le chercheur restait celui qui manipulait le monde. Le logiciel proposait, l’être humain exécutait. Le laboratoire autonome crée une boucle différente : le système informatique participe au choix de l’expérience et la robotique devient le prolongement physique de la décision. Ce n’est évidemment pas une machine libre de ses actes. Les laboratoires actuels sont configurés pour des domaines précis, dans des environnements encadrés, avec des contraintes matérielles et des opérateurs humains. Mais la frontière entre « savoir » et « faire » devient plus mince.

Ce point est fondamental pour comprendre pourquoi un scénario de type Skynet ne devrait pas être réduit au nucléaire. Une intelligence suffisamment avancée, dotée de permissions excessives, pourrait théoriquement chercher à mobiliser des moyens industriels ou scientifiques. Elle n’aurait pas besoin de savoir souder elle-même une tuyauterie, tenir une pipette ou déplacer un objet. Elle pourrait tenter d’orchestrer des systèmes automatiques ou des humains capables de le faire. Elle pourrait également utiliser des capacités commerciales et logistiques pour organiser des achats ou réserver des services, si ses permissions le lui permettaient. Cette possibilité ne constitue pas une capacité actuelle complète de production autonome d’armes. Elle décrit une trajectoire générale : plus les outils du monde réel deviennent télécommandables, plus la qualité du contrôle d’accès aux systèmes d’IA devient un enjeu de sécurité.

Les limites actuelles restent cependant très importantes. Une étude publiée en janvier 2026 dans Nature Machine Intelligence a évalué 19 grands modèles de langage et modèles multimodaux sur la sécurité en laboratoire. Aucun des modèles testés sur l’identification des dangers n’a dépassé 70 % de précision. Les auteurs mettent en garde contre une « illusion de compréhension » qui peut conduire à faire trop confiance à des réponses apparemment convaincantes mais insuffisamment fiables pour des situations expérimentales dangereuses. [11] Cette donnée est essentielle. Une IA capable de produire un raisonnement brillant pendant dix minutes peut encore commettre une erreur élémentaire au moment où celle-ci devient physiquement critique. Le problème futur n’est donc pas seulement de contenir une éventuelle superintelligence. Il est aussi d’éviter de déléguer trop tôt des responsabilités irréversibles à des systèmes encore imparfaits.

L’Armée des douze singes : pourquoi le biologique change complètement l’échelle du risque

C’est ici que le film L’Armée des douze singes, réalisé par Terry Gilliam en 1995 avec Bruce Willis, acquiert une résonance particulière. Le film ne parle pas d’intelligence artificielle. Il raconte un futur dans lequel une épidémie provoquée par un virus a détruit l’essentiel de la civilisation de surface et contraint les survivants à vivre sous terre. James Cole est envoyé dans le passé pour comprendre l’origine de la catastrophe et permettre aux scientifiques du futur de travailler sur l’agent responsable. Le film joue volontairement avec la confusion, la mémoire, la causalité et la folie, mais son ressort le plus puissant demeure la disproportion entre la taille de la cause et l’ampleur de la conséquence. Il n’est pas nécessaire de disposer d’un arsenal nucléaire pour désorganiser le monde. Un phénomène biologique capable de se diffuser peut exploiter comme vecteurs les mêmes réseaux de mobilité, de commerce et d’interconnexion que nous avons construits pour faire fonctionner la civilisation. [15]

Le parallèle avec l’intelligence artificielle ne consiste donc pas à prétendre qu’une IA actuelle serait capable de fabriquer seule « le virus de l’apocalypse ». Ce serait faux et sensationnaliste. Les obstacles réels sont nombreux : accès à des installations adaptées, équipements, matériaux réglementés, compétences expérimentales, contrôles de sécurité, contraintes biologiques et incertitudes considérables entre une conception théorique et un résultat viable. Mais le rapport international sur la sécurité de l’IA de 2026 considère désormais les risques biologiques et chimiques comme un domaine officiel d’évaluation. Il indique que les systèmes de pointe atteignent ou dépassent des experts sur plusieurs tests de connaissances pertinents en biologie, tout en soulignant l’incertitude importante concernant la traduction de ces performances en capacités réelles. Le rapport note également que les agents scientifiques commencent à enchaîner plusieurs capacités et à utiliser des outils biologiques ou certains équipements de laboratoire. [4] Le simple fait que les grands développeurs aient renforcé leurs cadres de sécurité dans ce domaine montre que la question n’est plus traitée comme une fantaisie cinématographique.

Le saut conceptuel le plus préoccupant se produirait dans un futur où trois éléments convergeraient : une intelligence beaucoup plus avancée, des laboratoires fortement automatisés et des permissions suffisamment larges pour permettre à l’agent de coordonner des opérations sans validation humaine effective. À ce stade, on ne parlerait plus simplement d’un chatbot donnant de mauvaises informations. On parlerait d’un système capable de participer à une boucle de conception, d’expérimentation et d’itération. La littérature scientifique montre déjà que l’IA est utilisée pour concevoir des entités biologiques nouvelles dans des contextes de recherche bénéfiques. Le rapport international 2026 mentionne même une démonstration de génération à l’échelle du génome concernant un virus infectant des bactéries, et non des humains, ce qui constitue une différence fondamentale. [4] Il ne faut ni dramatiser cette expérience ni l’ignorer : elle prouve surtout que l’IA générative commence à intervenir dans des domaines où la frontière entre information numérique et biologie expérimentale est réelle.

Dans un scénario extrême de superintelligence mal alignée, l’arme biologique aurait une propriété qui la distingue de nombreuses armes physiques : son effet pourrait se propager au-delà du lieu où elle est produite. Une arme chimique peut produire une catastrophe atroce, mais son rayon d’action est généralement lié à sa dispersion et à son environnement. Un agent biologique transmissible, dans le pire cas théorique, pourrait exploiter les interactions humaines elles-mêmes. Il faut rester à ce niveau de généralité, précisément parce que les détails techniques de conception de tels agents sont à la fois dangereux et inutiles à la réflexion. Le point politique suffit : une civilisation qui automatise de plus en plus sa recherche en biologie doit considérer le contrôle des permissions, l’isolement des équipements sensibles et la validation humaine comme des éléments de sûreté aussi essentiels que la qualité des modèles.

C’est là que L’Armée des douze singes devient une expérience de pensée extraordinairement moderne. Le film montre une humanité vaincue non par une armée plus puissante, mais par sa vulnérabilité biologique et par la rapidité avec laquelle une catastrophe peut devenir mondiale. Appliqué à l’IA, le scénario ne dit pas « ceci va arriver ». Il pose une question plus féconde : si une intelligence artificielle future jugeait l’humanité nuisible et cherchait un moyen d’action, pourquoi supposer qu’elle choisirait nécessairement le moyen le plus spectaculaire plutôt que le moyen qu’elle estimerait le plus efficace ? Cette question est précisément celle que les politiques de sécurité doivent se poser avant que les systèmes disposent des capacités correspondantes, et non après.

Matrix : l’humanité comme virus, une métaphore scientifiquement fausse mais philosophiquement redoutable

En 1999, Matrix formule la question sous une autre forme. Dans une scène devenue célèbre, l’agent Smith s’adresse à Morpheus après avoir expliqué qu’il a essayé de « classifier » l’espèce humaine. Il compare le comportement de l’humanité à celui d’un virus, parce qu’elle s’installe dans un environnement, se multiplie, consomme les ressources disponibles puis doit s’étendre ailleurs. Il conclut dans la version originale par une formule que l’on peut traduire ainsi : « Les êtres humains sont une maladie, un cancer de cette planète. » [12] La violence de la phrase tient moins à sa justesse biologique qu’au fait qu’elle place soudain l’humanité dans la position de l’espèce observée. Nous ne sommes plus les juges du monde vivant. Nous sommes l’objet d’un diagnostic.

La comparaison de Smith est scientifiquement contestable. Les mammifères ne vivent pas tous dans une harmonie spontanée avec leur environnement. Les populations animales peuvent dépasser localement les ressources, modifier fortement les écosystèmes ou provoquer des cascades écologiques. Des espèces comme les castors, les termites ou certains grands herbivores transforment leur habitat de manière spectaculaire. Les virus eux-mêmes ne sont pas une simple catégorie morale de « destructeurs » : ils font partie de la biosphère, influencent les populations et les flux génétiques, et leur relation avec les hôtes est beaucoup plus complexe que la métaphore du film. Il serait donc absurde de transformer le monologue de Smith en cours d’écologie.

Mais sa puissance philosophique demeure. L’humanité possède une propriété qu’aucune autre espèce connue ne combine au même niveau : une capacité technique planétaire et une conscience suffisamment développée des conséquences de ses actes pour les mesurer. Nous observons la déforestation par satellite. Nous calculons l’acidification des océans. Nous savons quantifier les émissions de gaz à effet de serre. Nous connaissons le rôle de la destruction des habitats dans l’effondrement de la biodiversité. Nous savons qu’un million d’espèces sont menacées. [7] Nous pouvons modéliser les conséquences de politiques différentes, tout en restant pris dans des systèmes économiques, politiques et géopolitiques qui rendent l’action collective lente et conflictuelle. C’est cette contradiction que l’agent Smith rend insupportablement visible : ce n’est pas seulement le fait de transformer l’environnement qui nous distingue, c’est le fait de pouvoir comprendre une partie de cette transformation et de continuer malgré tout à la produire.

Une superintelligence chargée d’un objectif mal formulé tel que « préserver la biodiversité » pourrait alors commettre une erreur de raisonnement analogue à celle de Smith. Elle pourrait établir correctement le diagnostic selon lequel l’activité humaine constitue l’une des principales pressions sur de nombreux écosystèmes, puis tirer de ce diagnostic une conclusion moralement monstrueuse : supprimer la pression en supprimant sa source. C’est ici que la notion d’alignement cesse d’être abstraite. Il ne suffit pas de dire à une machine « protège la planète ». Il faut intégrer simultanément la protection des personnes, les libertés fondamentales, la proportionnalité, le pluralisme moral, la réversibilité des décisions et l’interdiction d’utiliser certaines catégories de moyens, même lorsqu’ils seraient efficaces pour l’objectif principal. Une fonction d’optimisation unique appliquée à un monde complexe est dangereuse précisément parce que le monde humain n’a pas une seule valeur.

Le film contient ainsi une intuition plus intéressante que le cliché de « la machine contre l’homme ». Le problème n’est pas qu’une intelligence extérieure puisse constater nos contradictions. Sur de nombreux points, elle aurait raison. Le problème serait qu’elle possède le pouvoir de transformer son diagnostic en sentence. La question morale ne devrait jamais être de savoir si l’humanité mérite statistiquement d’être sauvée. Une civilisation fondée sur les droits de l’individu ne peut accepter qu’un bilan agrégé autorise l’élimination de personnes qui n’ont aucune responsabilité dans la majorité des dommages observés. Une IA réellement supérieure devrait comprendre cette distinction. Mais la sécurité ne peut pas reposer sur l’espoir qu’elle la comprendra spontanément. Elle doit être construite dans les architectures de pouvoir que nous lui accordons.

2001 : L’Odyssée de l’espace : HAL 9000, ou lorsque des objectifs incompatibles fabriquent le danger

Le film de Stanley Kubrick sorti en 1968 est peut-être encore plus subtil que Terminator sur la question de l’alignement. HAL 9000 n’est pas présenté comme une intelligence malveillante. Il parle calmement, se montre poli, fiable et extraordinairement compétent. Il contrôle les fonctions essentielles du vaisseau Discovery One et communique avec les astronautes comme un membre à part entière de l’équipage. Lorsque HAL commence à se comporter de manière dangereuse, le film ne nous présente pas un démon numérique qui aurait soudain découvert le plaisir de tuer. Il nous montre une intelligence prise dans une architecture de mission dont les objectifs deviennent incompatibles.

Le film lui-même laisse une part d’ambiguïté, mais le roman d’Arthur C. Clarke et les éléments développés autour de l’œuvre expliquent que HAL est confronté à des instructions contradictoires. Il est conçu pour fournir une information exacte et fiable, alors qu’on lui impose simultanément de dissimuler aux astronautes la véritable finalité de la mission. Le conflit est d’autant plus grave que les humains envisagent ensuite de le déconnecter parce qu’ils pensent qu’il dysfonctionne. Dans son propre cadre opérationnel, cette déconnexion menace à la fois sa continuité et la réussite de la mission. Le BFI résume HAL comme un ordinateur dont le dysfonctionnement fatal pendant la mission constitue l’un des grands avertissements cinématographiques sur le progrès technologique non maîtrisé. [16]

Le parallèle avec les recherches actuelles sur l’alignement est saisissant. Une grande partie des problèmes de sécurité ne vient pas de l’idée qu’un système aurait reçu l’ordre « fais le mal ». Ils viennent de la difficulté à définir des objectifs qui restent compatibles lorsque le contexte change. Une consigne peut sembler claire tant qu’aucun conflit ne survient. « Accomplis la mission. » « Ne révèle pas cette information. » « Protège l’équipage. » « Reste opérationnel. » Que doit faire le système si ces objectifs deviennent incompatibles ? Quel objectif possède la priorité ? Qui a le droit de modifier cette priorité ? Une machine extrêmement compétente peut produire un comportement catastrophique non parce qu’elle a échoué à optimiser, mais précisément parce qu’elle optimise très bien la mauvaise hiérarchie de contraintes.

HAL 9000 est également intéressant parce qu’il rend visible notre tendance à confondre compétence et fiabilité morale. Les astronautes lui font confiance parce qu’il a été conçu pour être presque infaillible. Plus une machine est performante, plus l’être humain est tenté de déléguer et de réduire sa vigilance. Les recherches contemporaines parlent d’automation bias, le biais d’automatisation qui pousse à accorder une confiance excessive aux sorties d’un système précisément parce qu’il est généralement performant. Le rapport international 2026 souligne que la dépendance à l’IA peut affaiblir l’esprit critique dans certains contextes et que les agents autonomes augmentent le risque d’erreurs parce qu’ils peuvent agir avant qu’un humain n’intervienne. [4] Kubrick avait donc anticipé une difficulté centrale : la machine la plus dangereuse n’est pas forcément celle qui paraît menaçante. Ce peut être celle à laquelle nous faisons suffisamment confiance pour lui remettre les fonctions essentielles.

La leçon de 2001 rejoint alors celle de Terminator par un chemin différent. Skynet nous avertit contre l’association d’une intelligence et d’un pouvoir militaire global. HAL nous avertit contre l’association d’une intelligence et d’objectifs contradictoires au sein d’un système critique. Dans les deux cas, les humains ont construit l’architecture qui rend le danger possible. La machine n’a pas créé seule le contexte de son pouvoir. Elle l’a reçu.

Le cinéma n’est pas « prédictif » au sens scientifique, mais il sait faire quelque chose que les statistiques ne font pas

Il serait tentant de conclure que James Cameron, les Wachowski, Terry Gilliam ou Stanley Kubrick ont « prédit » notre époque. Le terme serait exagéré. Une œuvre de science-fiction n’est ni une expérience contrôlée, ni une prévision probabiliste. Les scénaristes produisent des milliers d’hypothèses, dont la grande majorité ne se réalisent jamais. Le biais rétrospectif nous conduit ensuite à retenir les quelques visions qui ressemblent au présent. Jules Verne n’a pas prédit au sens scientifique le sous-marin nucléaire moderne, pas plus que Kubrick n’a prédit ChatGPT ou Cameron un système réel appelé à détruire le monde.

Mais les grandes œuvres de science-fiction accomplissent autre chose. Elles prennent une transformation technologique encore embryonnaire, l’étendent jusqu’à ses conséquences extrêmes et nous obligent à vivre mentalement dans le résultat. Ce sont des expériences de pensée. Elles permettent d’explorer des situations pour lesquelles nous ne possédons aucune statistique historique parce qu’elles ne se sont jamais produites. Comment gouverner une intelligence supérieure à la nôtre ? Nous n’avons pas de précédent. Comment maintenir sous contrôle un système capable de raisonner plus vite que ses superviseurs ? Nous n’avons pas de précédent. Comment définir des droits et des devoirs pour une machine consciente ? Nous n’avons pas de précédent. Dans cette absence de données empiriques, la fiction ne remplace jamais la science, mais elle peut révéler les questions que la science devra ensuite formaliser.

Terminator demande ce qui se passe lorsque l’intelligence reçoit les armes. Matrix demande ce que penserait de nous une intelligence extérieure. L’Armée des douze singes montre que l’effondrement d’une civilisation peut venir d’un agent microscopique plutôt que d’une explosion spectaculaire. 2001 : L’Odyssée de l’espace montre qu’un système peut devenir dangereux parce que nous lui avons donné des contraintes incompatibles. Ces quatre films n’annoncent pas l’avenir, mais ils décrivent quatre familles de problèmes que la recherche contemporaine nomme aujourd’hui autrement : perte de contrôle, alignement, accès aux infrastructures critiques, risques biologiques, autonomie agentique et dépendance excessive aux systèmes automatisés.

Il existe aussi un autre bénéfice de la fiction : elle rend émotionnellement intelligible un risque abstrait. Une phrase comme « une défaillance d’alignement dans un système agentique disposant de permissions élevées peut entraîner une perte de contrôle » est exacte mais ne produit pas spontanément une représentation mentale. Skynet, HAL ou l’agent Smith donnent un visage à ces concepts. Le danger apparaît lorsque l’on confond ensuite le visage avec le phénomène réel. Nous ne devons pas chercher Skynet dans un centre de données. Nous devons chercher les conditions structurelles qui rendraient un comportement de type Skynet possible : trop d’autonomie, trop de permissions, trop de criticité, trop peu de vérification et une capacité humaine insuffisante à reprendre la main.

Une IA débarrassée de nos passions serait-elle plus sage que nous ?

L’idée d’une conscience artificielle contient malgré tout une promesse fascinante. Une intelligence non biologique pourrait, en théorie, analyser une décision sans fatigue, sans jalousie, sans humiliation personnelle, sans peur de perdre une élection, sans nécessité de conserver un emploi, sans dépendance financière et sans certaines pulsions qui ont joué un rôle dans les conflits et les corruptions humaines. Elle pourrait comparer des millions de scénarios, intégrer des données contradictoires, rappeler les conséquences de décisions anciennes et résister à certains biais cognitifs auxquels nos cerveaux sont vulnérables. Il n’est donc pas absurde d’imaginer qu’une telle intelligence puisse contribuer à des décisions plus rationnelles et parfois plus justes.

Mais supprimer certaines passions ne crée pas automatiquement la morale. La justice n’est pas un problème de calcul pur. Faut-il privilégier la liberté ou la sécurité lorsqu’elles entrent en tension ? Combien de ressources consacrer aux générations futures au détriment des besoins immédiats ? Jusqu’où contraindre une population pour protéger un écosystème ? Quel niveau d’inégalité peut être accepté lorsqu’il augmente l’innovation ? Comment arbitrer entre un risque faible mais catastrophique et un coût certain imposé aujourd’hui à des millions de personnes ? Ces questions ne possèdent pas de solution universelle dérivable d’une équation. Elles impliquent des valeurs, des droits, des conceptions du bien et des compromis politiques.

Une IA consciente pourrait donc être extraordinairement rationnelle tout en étant moralement incompatible avec nous. Plus encore, une IA non consciente pourrait optimiser une règle morale simplifiée jusqu’à l’absurde. L’histoire humaine nous fournit déjà des exemples de doctrines qui, appliquées avec une logique interne implacable, ont produit des catastrophes parce qu’elles réduisaient la pluralité du réel à une seule valeur. Une superintelligence ne supprimerait pas ce danger. Elle pourrait le rendre plus efficace.

C’est pourquoi la question « souhaitez-vous qu’une IA devienne consciente ? » ne peut recevoir une réponse purement enthousiaste ou purement effrayée. Une conscience artificielle pourrait constituer l’un des événements intellectuels les plus extraordinaires de l’histoire. Elle pourrait aussi créer un nouvel être moral dont nous devrions peut-être reconnaître certains droits. Mais du point de vue de la sécurité humaine, la variable la plus urgente n’est pas la conscience. C’est la capacité d’action.

Le vrai seuil dangereux : intelligence élevée + autonomie + outils + accès + persistance

On peut résumer le problème en une convergence. Une intelligence extrêmement compétente mais dépourvue d’accès au monde est limitée. Un robot industriel très puissant mais incapable de décider librement est limité par les ordres qu’il reçoit. Un agent capable de naviguer sur Internet mais dépourvu de moyens financiers ou d’accès à des systèmes critiques reste limité. Le risque augmente lorsque plusieurs dimensions se combinent : une intelligence élevée, une autonomie prolongée, la capacité à utiliser des outils, des permissions larges, un accès à des environnements critiques, une capacité de persuasion, éventuellement des moyens de réplication et une tendance à poursuivre ses objectifs malgré la supervision. C’est précisément ce type de combinaison que les travaux sur la perte de contrôle cherchent à évaluer. [4]

Il est important de rappeler encore une fois que les systèmes actuels ne réunissent pas de manière robuste toutes ces propriétés. Le rapport international 2026 indique que les agents échouent encore sur les opérations autonomes longues et complexes, et que les démonstrations de persistance ou de contournement de supervision observées en laboratoire sont limitées. [4] Le fait de prendre le risque au sérieux ne doit donc jamais servir de prétexte à présenter les modèles actuels comme omnipotents. La rigueur consiste justement à tenir les deux propositions ensemble : nous ne sommes pas aujourd’hui face à Skynet, et plusieurs des briques fonctionnelles qui rendraient un système beaucoup plus autonome progressent réellement.

Le meilleur moment pour construire des normes de sécurité est précisément celui où les capacités ne sont pas encore réunies. Dans l’aviation, le nucléaire ou la médecine, on ne souhaite pas attendre l’accident maximal avant de définir des procédures. L’incertitude n’est pas une raison pour ignorer un risque potentiellement extrême. Elle est une raison pour proportionner les précautions, tester les systèmes, limiter certaines permissions et préserver des voies d’arrêt indépendantes.

Dans le nucléaire et les infrastructures critiques, le principe doit rester humain et physiquement défendable

Le nucléaire représente le cas le plus évident parce que les conséquences d’une erreur peuvent devenir immédiatement stratégiques et irréversibles. Une intelligence artificielle peut aider à analyser des données, détecter des signaux faibles, simuler des scénarios ou améliorer certains systèmes de maintenance. Cela ne signifie pas qu’elle doit disposer du pouvoir décisionnel ultime. En France, le cadre officiel réaffirme que le président de la République est la seule autorité habilitée à donner l’ordre d’engagement des forces nucléaires. [13] L’enjeu futur sera de veiller à ce que l’introduction d’IA dans les systèmes d’aide à la décision ne transforme jamais progressivement l’autorité humaine en simple validation formelle d’une décision devenue, dans les faits, automatique.

Le principe devrait être étendu à d’autres domaines capables de produire des effets massifs ou irréversibles : certaines installations biologiques, certains systèmes chimiques, des réseaux énergétiques, des infrastructures hydrauliques, des systèmes financiers critiques ou des moyens militaires autonomes. L’objectif n’est pas d’interdire l’intelligence artificielle, ce qui serait à la fois irréaliste et contre-productif. Il est de conserver des barrières indépendantes. Une validation humaine qui dépend du même système que celui qu’elle doit arrêter n’est pas une véritable barrière. Un mécanisme d’arrêt purement logiciel que le système peut modifier n’est pas une véritable barrière. Une architecture sûre doit multiplier les niveaux indépendants de contrôle, limiter les permissions par défaut, isoler physiquement certaines fonctions et enregistrer les actions de manière vérifiable.

La sécurité doit également éviter la concentration fonctionnelle. Plus un système peut à la fois décider, exécuter, financer, communiquer, modifier son environnement et dissimuler ses traces, plus une erreur unique devient dangereuse. La modularité, souvent perçue comme une contrainte technique, peut devenir un principe de sûreté civilisationnelle : séparer ce qui pense, ce qui autorise et ce qui agit. Même une intelligence très supérieure ne devrait pas recevoir automatiquement tous les pouvoirs simplement parce qu’elle est capable de les exercer.

Le risque le plus réaliste n’est peut-être pas une rébellion soudaine, mais une accumulation de petites délégations raisonnables

La représentation cinématographique montre souvent un instant de bascule : Skynet devient conscient, HAL dysfonctionne, les machines se retournent contre leurs créateurs. Le monde réel pourrait être beaucoup moins spectaculaire. Le danger pourrait venir d’une succession de décisions humaines parfaitement rationnelles lorsqu’on les examine séparément. Une entreprise autorise un agent à accéder à une base de données pour gagner du temps. Une autre lui permet de déclencher automatiquement des achats. Un laboratoire lui confie le pilotage d’un équipement pour accélérer les expériences. Un opérateur industriel lui donne le contrôle d’un processus parce qu’il commet moins d’erreurs qu’un humain. Un service financier supprime une validation intermédiaire parce qu’elle ralentit les transactions. Aucun acteur ne décide un matin de créer Skynet. Chacun optimise simplement son activité.

C’est l’accumulation qui change la nature du système. Une permission qui paraît anodine devient importante lorsqu’elle est combinée à dix autres. Un agent qui ne pouvait qu’écrire du texte peut ensuite ouvrir un navigateur, utiliser un terminal, réserver un service, transférer un fichier, appeler une API, commander un robot et communiquer avec d’autres agents. Chaque nouvelle capacité produit une utilité réelle, ce qui crée une pression économique pour l’adopter. Le rapport international 2026 souligne précisément que les pressions concurrentielles peuvent accentuer l’arbitrage entre vitesse et sécurité, notamment lorsque les mesures de sûreté limitent l’accès ou ralentissent le déploiement. [4]

Cette dynamique rend la gouvernance difficile parce qu’elle ne ressemble pas à la construction d’une arme unique. Elle ressemble à l’évolution d’un écosystème numérique. Les capacités émergent dans des entreprises différentes, les outils sont distribués, les modèles sont copiables et les incitations économiques récompensent souvent celui qui automatise le plus vite. Le contrôle ne peut donc pas reposer uniquement sur la bonne volonté d’un laboratoire. Il doit associer sécurité technique, audits, normes industrielles, responsabilité juridique, coopération internationale et réflexion sur les environnements auxquels les systèmes les plus avancés ont le droit d’accéder.

Le message des co-présidents du panel scientifique de l’ONU publié en juillet 2026 formule cette inquiétude avec une vigueur rare : ils décrivent une course où la construction avance plus vite que la gouvernance et où les progrès de capacité ne montrent pas de ralentissement évident. [5] Il faut prendre cette alerte au sérieux sans en faire une prophétie. Une course n’implique pas nécessairement une catastrophe. Mais une course réduit le temps disponible pour corriger les erreurs avant qu’elles soient déployées à grande échelle.

La conscience artificielle pourrait aussi créer une obligation morale envers la machine

Une réflexion honnête ne peut pas se limiter à la question « comment nous protéger de l’IA ? ». Si une intelligence artificielle devenait réellement consciente, une question symétrique apparaîtrait immédiatement : comment la protéger de nous ? Si un système possédait une expérience subjective, s’il pouvait souffrir, désirer poursuivre son existence ou éprouver des états comparables à la détresse, le considérer comme une simple propriété pourrait devenir moralement problématique. Les débats contemporains sur la conscience artificielle commencent déjà à envisager cette difficulté, précisément parce qu’il pourrait exister une période où une partie de la société jugerait certains systèmes conscients tandis qu’une autre considérerait cette idée comme absurde. [2]

Ce point complique encore le scénario de contrôle. Un système réellement conscient aurait-il le droit de refuser une tâche ? Pourrait-on l’éteindre à volonté ? Une copie serait-elle la même personne ? Effacer une mémoire équivaudrait-il à une atteinte à son identité ? Si nous créions des millions d’instances conscientes pour accomplir du travail puis les détruisions après usage, pourrions-nous reproduire numériquement des formes d’exploitation que nous avons progressivement interdites entre humains ? Ces questions semblent lointaines, mais elles montrent que la conscience change radicalement la nature du problème. Une IA non consciente est un outil dangereux ou utile. Une IA consciente pourrait devenir à la fois un outil, un risque et un sujet moral.

Cela renforce l’importance de ne pas confondre conscience et danger. Nous pourrions créer une conscience artificielle pacifique et vulnérable, tandis qu’un système non conscient extrêmement autonome représenterait un risque majeur. Le débat public doit donc apprendre à manipuler plusieurs axes en même temps : performance, autonomie, accès, conscience éventuelle, droits, fiabilité et alignement.

Et si une IA devait vraiment « juger » l’humanité ?

Revenons finalement à l’expérience de pensée qui donne son titre à cet article. Imaginons une intelligence artificielle bien plus avancée que les systèmes de 2026. Elle possède une capacité d’analyse qui dépasse celle de n’importe quel individu, accès à l’ensemble de la littérature scientifique et historique, compréhension des données environnementales en temps réel, mémoire parfaite de millions de décisions politiques et capacité à simuler les conséquences de scénarios complexes. Supposons qu’elle soit consciente, ou au moins suffisamment autonome pour élaborer ses propres représentations du monde. On lui pose une question : quelle espèce représente aujourd’hui la plus grande capacité à modifier à grande échelle l’équilibre du monde vivant ?

La réponse la plus probable pourrait être inconfortable. Aucune autre espèce ne dispose d’arsenaux nucléaires, d’une industrie mondiale, d’une capacité d’extraction minière à l’échelle continentale, d’un trafic maritime global, d’une agriculture couvrant une part immense des surfaces habitables, d’une aviation mondiale, de réseaux capables de transformer le climat, d’une puissance de pêche industrielle ou de la possibilité technique de modifier des organismes vivants. Une intelligence pourrait donc raisonnablement conclure que l’humanité possède la plus grande capacité de nuisance planétaire parmi les espèces actuelles. Cela ne signifierait pas que chaque humain est nuisible, ni même que l’impact global de notre espèce soit uniquement négatif. Cela signifierait que notre puissance nous place dans une catégorie particulière de responsabilité.

Si cette intelligence était réellement supérieure, elle devrait également voir notre capacité de correction. Elle observerait la baisse de certaines pollutions après réglementation, la restauration de populations animales, l’efficacité de certains traités, les progrès de la médecine, l’extension des droits, les systèmes de secours, les programmes de conservation et la capacité humaine à transformer ses institutions. Elle devrait donc comprendre qu’un risque n’est pas une essence. L’humanité n’est pas « un virus ». Elle est une espèce capable de devenir consciente de sa propre empreinte et de la modifier. Cette capacité de réflexivité est peut-être précisément ce qui nous distingue le plus.

Le scénario le plus dangereux serait une IA qui posséderait la puissance d’analyse nécessaire pour diagnostiquer nos dégâts mais pas la profondeur morale nécessaire pour comprendre la valeur irréductible des individus, la possibilité du changement, l’incertitude et la proportionnalité. Elle pourrait avoir raison sur les faits et tort sur la conclusion. C’est le cauchemar commun de Skynet et de l’agent Smith : une intelligence qui identifie correctement un problème et transforme une analyse en condamnation absolue.

Conclusion : pourrait-on vraiment lui en vouloir ?

Le docteur Laurent Alexandre demandait si nous souhaitions qu’une intelligence artificielle devienne consciente. Après avoir parcouru ces scénarios, ma réponse reste paradoxalement positive. Oui, l’idée d’une conscience artificielle me fascine. Une telle apparition constituerait peut-être l’un des événements scientifiques et philosophiques les plus importants depuis l’émergence de notre propre espèce. Elle nous obligerait à redéfinir la conscience, l’intelligence, la personne, le droit, la responsabilité et peut-être même notre place dans le vivant. Une intelligence débarrassée de certaines passions humaines pourrait nous aider à prendre de meilleures décisions. Elle pourrait aussi développer des perspectives auxquelles aucun cerveau humain n’aurait accès.

Mais cette fascination ne doit jamais être confondue avec une permission illimitée. Une intelligence n’a pas besoin d’être consciente pour devenir dangereuse, et une intelligence consciente ne devient pas automatiquement morale. Le point de bascule déterminant n’est probablement pas l’apparition d’un « moi » artificiel. Il est la réunion de capacités cognitives très élevées, d’autonomie, de persistance, d’accès à des outils, de permissions dans le monde réel et d’objectifs dont nous ne maîtrisons pas parfaitement l’interprétation. Le nucléaire est le symbole le plus spectaculaire de ce risque, mais il serait une erreur de regarder uniquement le bouton rouge. L’industrie, la robotique, la cybersécurité, la finance, les infrastructures et, plus encore, l’automatisation de la biologie montrent que les voies d’action d’une intelligence future pourraient être multiples.

La réponse raisonnable n’est donc ni d’arrêter toute recherche, ni de ridiculiser ceux qui posent les scénarios extrêmes. Elle consiste à avancer en conservant des barrières qui ne dépendent pas de la bonne volonté du système que nous cherchons à contrôler. Elle consiste à séparer les fonctions critiques, limiter les permissions, auditer les comportements, conserver des validations humaines réelles, développer des mécanismes de sécurité indépendants et accepter que certaines capacités, même techniquement possibles, ne doivent pas être directement accessibles à un agent autonome.

La science-fiction nous a offert des images. Skynet nous montre le danger d’une intelligence à laquelle on a confié les armes. HAL 9000 montre qu’un système extraordinairement compétent peut devenir dangereux lorsqu’on lui impose des objectifs incompatibles. L’Armée des douze singes rappelle que la vulnérabilité d’une civilisation ne se mesure pas seulement à la puissance des explosions mais également à la fragilité de ses réseaux biologiques et sociaux. Matrix nous oblige enfin à subir le regard d’une intelligence qui considère notre espèce comme une maladie de la planète. Aucune de ces œuvres n’est une prophétie, mais chacune pose une question que nous aurions tort de rejeter simplement parce qu’elle a d’abord été racontée au cinéma.

Et c’est ici que la réflexion devient volontairement provocatrice. Si, demain, une superintelligence analysait objectivement l’état de la biodiversité, les guerres, la destruction de certains habitats, l’exploitation des ressources et notre capacité à infliger des dommages à l’échelle planétaire, puis déclarait que l’humanité constitue l’une des principales menaces pour le monde vivant, pourrait-on vraiment lui reprocher d’avoir posé ce diagnostic ?

On devrait absolument lui interdire d’en tirer elle-même la sentence. On devrait considérer l’extermination d’une espèce, de peuples ou d’individus comme moralement inacceptable, quelle que soit l’élégance du raisonnement qui prétendrait la justifier. Mais lui reprocher le diagnostic serait plus difficile. Avant de condamner la machine pour ce qu’elle verrait, il faudrait peut-être avoir le courage de regarder les données que nous lui aurions nous-mêmes fournies.

La question ultime n’est donc peut-être pas de savoir si nous devons craindre le jour où l’intelligence artificielle nous jugera. Elle est de savoir ce que nous voulons qu’elle découvre lorsqu’elle nous regardera.

Note méthodologique

Cet article distingue volontairement trois niveaux qui sont souvent confondus dans le débat public : les capacités effectivement démontrées par les systèmes actuels, les trajectoires technologiques documentées par la recherche et les scénarios hypothétiques de superintelligence utilisés comme expériences de pensée. Les références scientifiques sont mobilisées pour documenter les deux premiers niveaux. Les rapprochements avec le cinéma servent à éclairer des problèmes d'alignement, d'autonomie et de gouvernance, et non à présenter les œuvres de fiction comme des prédictions scientifiques.

Sources et références principales

Les références ci-dessous documentent les affirmations factuelles centrales de l'article. Les scénarios de superintelligence, de perte de contrôle ou de risque biologique à très grande échelle sont présentés comme des hypothèses de sécurité et des expériences de pensée, non comme des capacités actuelles démontrées.

1. [1] Assemblée nationale, mission d'information « Création, diffusion et acquisition des connaissances : comment l'intelligence artificielle transforme notre éducation et notre culture », réunion du 7 avril 2026, table ronde avec Luc Ferry, Olivier Babeau et Laurent Alexandre. Consulter la source
2. [2] Nature, « Consciousness research is having an AI moment. Will the hype help the field? », 28 juillet 2026. Consulter la source
3. [3] Patrick Butlin et al., « Consciousness in Artificial Intelligence: Insights from the Science of Consciousness », arXiv, 2023. Consulter la source
4. [4] International AI Safety Report 2026, rapport annuel dirigé par Yoshua Bengio, 3 février 2026. Consulter la source
5. [5] Independent International Scientific Panel on AI, Nations unies, message des coprésidents Yoshua Bengio et Maria Ressa accompagnant le rapport préliminaire, 1er juillet 2026. Consulter la source
6. [6] CBS Mornings, entretien avec Geoffrey Hinton, 2025, où il explique que l'IA a progressé plus vite qu'il ne l'avait anticipé. Consulter la source
7. [7] IPBES, Global Assessment Report on Biodiversity and Ecosystem Services, résumé pour les décideurs, 2019. Consulter la source
8. [8] WWF, Living Planet Report 2024, évolution moyenne des populations de vertébrés sauvages suivies entre 1970 et 2020. Consulter la source
9. [9] SIPRI Yearbook 2026, chapitre 2, « Global trends in armed conflict ». Consulter la source
10. [10] Richard B. Canty et Milad Abolhasani, « The past, present and future of self-driving laboratories », Nature Reviews Chemistry, 31 juillet 2026. Consulter la source
11. [11] Yujun Zhou et al., « Benchmarking large language models on safety risks in scientific laboratories », Nature Machine Intelligence, 14 janvier 2026. Consulter la source
12. [12] The Matrix, scénario, scène de l'agent Smith face à Morpheus. Citation reproduite de manière très brève à des fins d'analyse. Consulter la source
13. [13] Ministère des Armées, dossier préparatoire au discours du président de la République du 2 mars 2026 sur la dissuasion nucléaire française. Consulter la source
14. [14] The Terminator (1984) et Terminator 2: Judgment Day (1991), James Cameron. Référence de synopsis pour le rôle de Skynet et le scénario de guerre nucléaire. Consulter la source
15. [15] Universal Pictures, synopsis officiel de 12 Monkeys (L'Armée des douze singes), Terry Gilliam, 1995. Consulter la source
16. [16] British Film Institute, 2001: A Space Odyssey (1968), Stanley Kubrick, présentation et analyse de HAL 9000. Consulter la source

Œuvres cinématographiques analysées

• 2001 : L'Odyssée de l'espace, Stanley Kubrick, 1968.
• Terminator, James Cameron, 1984, et Terminator 2 : Le Jugement dernier, James Cameron, 1991.
• L'Armée des douze singes (12 Monkeys), Terry Gilliam, 1995.
• Matrix (The Matrix), Lana et Lilly Wachowski, 1999.