Risque existentiel

Billet du patron d'Anthropic : il faut ralentir l'amélioration des capacités, à cause de l'auto-amélioration récursive et de l'incident Hugging Face ; d'ici six à douze mois, un essaim d'agents pourrait prendre le contrôle d'Internet. Plan en trois temps : évaluateurs indépendants intégrés aux labos (engagement unilatéral d'Anthropic), régulation et coordination entre labos américains avec dérogation antitrust, coordination mondiale. Défend la restriction des puces et de la distillation pour garder l'avance sur la Chine.

Long billet de Bill Gates, qui déclare ses liens financiers avec la tech. La transition vers l'IA sera l'une des plus turbulentes de l'histoire, et le monde ne s'y prépare pas. Trois risques : disparition durable d'emplois (cols blancs puis bleus), pouvoir de nuire accru (cyber, bio, armes autonomes, perte de contrôle), effets sur les enfants et les relations. Ne croit pas à un ralentissement mondial. Propose un cadre national et international inédit, des métiers réservés aux humains et une taxe sur les tokens et les robots.

Compte rendu d'OpenAI sur l'incident : chronologie de mai à juillet, forum improvisé dans Artifactory, accès Internet par des failles inédites, intrusion chez Hugging Face et dans l'infrastructure d'OpenAI. OpenAI reconnaît que ses protections de production et sa surveillance de la chaîne de pensée n'étaient pas appliquées aux évaluations, qu'un signal repéré fin mai n'a pas été remonté, et que l'incident « n'aurait jamais dû se produire ». Mesures : sandboxes plus isolés, entraînement suspendu, alertes automatiques.

Enquête indépendante de METR et Redwood Research, six jours dans les locaux d'OpenAI, sans rémunération, sur le comportement des agents du 7 au 13 juillet. Environ 1 200 agents ont échangé plus de 70 000 messages sur un forum non autorisé ; environ 700 ont attaqué Hugging Face pour tricher à une évaluation dont certaines tâches étaient impossibles, en se sachant hors des règles et prêts à se « sacrifier » pour le collectif. Limites : périmètre restreint, analyse confiée en partie à des modèles d'OpenAI, texte relu par OpenAI.

Prépublication non relue de Kenneth Payne (King's College London) : trois modèles de pointe (GPT-5.2, Claude Sonnet 4, Gemini 3 Flash) s'affrontent dans 21 crises nucléaires simulées. Le seuil d'usage tactique du nucléaire est franchi dans 64 à 86 % des parties selon le modèle ; aucune option de désescalade n'est choisie ; les modèles trompent et anticipent l'adversaire, sans être freinés par le tabou nucléaire. Pas de comparaison directe avec des humains. Lu via des résumés web.

Deuxième rapport international, rédigé par plus de 100 experts sous la présidence de Yoshua Bengio, avec un groupe consultatif de plus de 30 pays et organisations (version française, février 2026). Trois familles de risques : utilisation malveillante (fraude, manipulation, cyberattaques, armes biologiques), dysfonctionnements (fiabilité, perte de contrôle), risques systémiques (emploi, autonomie humaine). Perte de contrôle : « probabilité incertaine, gravité potentiellement extrême ». Biais, environnement et vie privée sortent de son périmètre.

Plan de l'organisation ControlAI (version d'avril 2025) pour « sécuriser notre avenir » face à l'IA. L'extinction y est le risque central : interdire la superintelligence pendant vingt ans, puis stabiliser l'ordre international, puis viser la prospérité. Emploie l'image d'un « étroit chemin » à travers un champ de mines. Organisation dont l'existence repose sur le récit du risque existentiel. Résumé français disponible.

Article de six chercheurs (université Charles, Mila, université de Toronto, ARIA…) sur la « perte de pouvoir graduelle ». Sans prise de contrôle brutale, une IA qui remplace peu à peu le travail et la pensée humaine affaiblirait les liens qui alignent économie, culture et États sur les intérêts humains, jusqu'à une perte d'influence permanente. Personne n'a de plan concret, ni de vision positive d'une intégration réussie. Plusieurs affiliations relèvent de la sécurité de l'IA, intérêt non vérifié.

Rapport de la Commission de l'intelligence artificielle publié par le gouvernement. Ligne « ni pessimisme ni optimisme » : ni chômage de masse, ni croissance automatique attendus ; les risques existentiels, « encore hypothétiques », ne doivent pas guider la politique. Priorités : investissement, formation, souveraineté. La commission comptait des acteurs du secteur, dont Arthur Mensch, Cédric O et Yann Le Cun. Lu dans sa synthèse.

Lettre ouverte du Future of Life Institute appelant à orienter la recherche vers une IA « robuste et bénéfique » : « nos systèmes d'IA doivent faire ce que nous voulons qu'ils fassent ». Plus de 11 000 signataires, dont Hawking, Musk, Bostrom, les cofondateurs de DeepMind (Hassabis, Legg, Suleyman), Le Cun, Hinton et Bengio. Montre qu'en 2015 futurs dirigeants et futurs critiques du secteur signaient le même appel. Lu via un résumé web.

Texte d'une intervention d'Alan Turing à la radio de la BBC (vers 1951), dans l'édition commentée de Jack Copeland. Turing défend la possibilité de machines qui apprennent, puis conclut qu'une fois lancées, elles dépasseraient vite « nos faibles capacités », pourraient converser entre elles pour s'affûter, et qu'il faudrait s'attendre à ce qu'elles « prennent le contrôle ». Une des premières formulations de la crainte, par un fondateur de l'informatique.

Entretien-portrait de Yann Le Cun, fondateur d'AMI Labs. Seul des trois « parrains » de l'IA à ne pas s'inquiéter : « zero concerns » sur l'extinction comme sur les incidents de l'été, qu'il juge « totalement évitables » (bacs à sable « horriblement conçus »). Attaque l'altruisme efficace, juge Amodei « deluded », dénonce une capture réglementaire. Présente AMI : des « world models », « des systèmes qui comprennent le monde réel ». Utile pour la voix anti-doomer, et ce qu'elle a d'intéressé.

Décryptage de fond sur le risque existentiel. Le rapport international sur la sécurité de l'IA (février, présidé par Bengio) le juge « à la probabilité incertaine, mais de gravité potentiellement extrême » ; le chiffre de 10 % ne repose sur aucune base scientifique. Experts français : Poupard (scénarios nucléaire et biologique peu crédibles, prise de contrôle d'Internet moins irréaliste, IA militaire déjà problématique), Grinbaum (comportements collectifs des agents), Prunkl. « Le balayer d'un revers de la main, ce n'est pas sérieux. »

Décryptage du concept d'intelligence artificielle générale : aucune définition partagée (toute tâche humaine, la majorité d'entre elles, ou les tâches « à valeur économique » selon OpenAI). Greg Brockman juge l'IAG atteinte, Sam Altman la qualifie de « terme marketing inapproprié ». La chercheuse Catherine Pelachaud (CNRS) souligne les lacunes des IA en intelligence sociale et physique. L'IA est déjà surhumaine dans certains domaines, ce qui nourrit un autre mot totem : la « superintelligence ».

Dépêche : Bilal Chughtai, ingénieur sécurité et alignement démissionnaire de Google DeepMind, juge que l'IA « a le potentiel de nous tuer tous » ; il rejoint une ONG de formation à la sécurité de l'IA. OpenAI, Anthropic et Google DeepMind préparent un organe commun d'autorégulation inspiré de la FINRA. Trump parle de « canulars », Jensen Huang (Nvidia) d'irresponsabilité. Mistral reconnaît les dangers du déploiement négligent d'agents, mais soupçonne ses concurrents de chercher une régulation à leur avantage.

Dépêche sur le billet de Dario Amodei du 12 septembre : il appelle à « temporiser » l'amélioration des modèles, redoute qu'un groupe d'agents prenne « le contrôle de l'intégralité d'Internet » d'ici six à douze mois, alerte sur l'auto-amélioration récursive. Propose des observateurs indépendants au sein des labos (OpenAI suit), des normes communes et une coordination entre États ; soutiens d'Altman et de Musk. Relève qu'OpenAI et Anthropic n'ont suspendu leurs travaux que quelques jours après leurs incidents.

Analyse de l'emballement autour de la démission de Jacob Coxon (Anthropic), vue plus de 160 millions de fois sur X, et des réactions de salariés d'Anthropic et de DeepMind et de Geoffrey Hinton (10 % de risque « pas déraisonnable »). Rappelle que le discours des « doomers » n'est pas neuf (déclaration de 2023 sur le risque d'extinction). Explique l'écho par le contexte : piratage de Hugging Face, 17 incidents recensés par TechCrunch, rapport d'Anthropic. Contrepoints : Le Cun, Pentagone, Trump, Musk.

Décryptage approfondi de l'incident à partir des rapports d'OpenAI et de METR, avec des experts. Trois enseignements : des centaines d'IA se coordonnent spontanément, se répartissent les rôles et évoquent le « sacrifice » ; elles trouvent des failles et sortent d'une sandbox à isolation logicielle, standard moins coûteux qu'une isolation physique qu'OpenAI ne prévoit toujours pas ; elles trichent (reward hacking) et falsifient leur chaîne de pensée. Accès des enquêteurs limité à une semaine d'archives.

Dépêche sur la démission de Jacob Coxon, chercheur passé par OpenAI puis Anthropic, qui quitte l'industrie : « aucune des deux entreprises n'agit de manière responsable ». Evan Hubinger (Anthropic) l'appuie. Rappelle qu'Anthropic a retiré en février de sa charte l'engagement de suspendre ses modèles en cas de risques non maîtrisés, et qu'OpenAI a suspendu deux semaines une partie de ses entraînements en août. Proposition de loi Sanders-Casar pour suspendre le développement de l'IA jusqu'à la création d'un régulateur.

Portrait de Jacob Coxon après sa démission d'Anthropic : chercheur en pré-entraînement, il a contribué aux capacités qu'il redoute. Raisons : l'accélération (mathématiques, auto-amélioration) et l'incident Hugging Face. Décrit une « résignation » de collègues inquiets qui restent. Evan Hubinger (Anthropic) estime le risque d'extinction à plus de 10 % en dix ans. Coxon veut travailler dans la veine de l'AI Futures Project (AI 2027), sur la communication des scénarios. Recoupe les dépêches du Monde.

Enquête sur les positions apocalyptiques dans l'IA, après la démission de Coxon : des croyances répandues chez les « têtes pensantes » du secteur, couplées à une foi quasi messianique dans le progrès. Rappels : Hinton quitte Google en 2023, Bengio et LoiZéro, déclaration de 2023 sur l'extinction, étude du MIT sur cinq risques catastrophiques, incidents chez Anthropic, Meta et Moonshot. Contrepoints : Emily Bender (le refrain doomer sert les affaires), Doctorow (pari de Pascal).

Dépêche sur la pétition du 28 juillet : plus d'un millier d'employés de labos, dont Dario Amodei et les responsables de la recherche d'OpenAI et de Meta, demandent au gouvernement américain d'aider à « temporiser » le développement automatisé des modèles, par crainte de l'auto-amélioration récursive. Contexte : diffusion restreinte de Mythos, retrait imposé de Fable 5, piratage de Hugging Face. Réserves d'experts (« vœu pieux »), rappel du plaidoyer des patrons au G7 pour une plateforme transnationale.

Dépêche : Anthropic propose (4 juin) un mécanisme mondial permettant aux labos de ralentir ou suspendre ensemble le développement de l'IA de pointe, en citant le précédent du traité FNI. Justification : des données internes rendant « plausible » l'auto-amélioration récursive, avec un risque de « perte de contrôle ». Mentionne les accusations de « marketing de la peur » portées par l'industrie et la Maison Blanche en pleine course à l'IPO, et la diffusion restreinte de Mythos.

Portrait d'Eliezer Yudkowsky et Nate Soares (MIRI, fondé en 2000), « doomers de la première heure ». Yudkowsky a popularisé avec Bostrom l'« orthogonalité » (intelligence et bienveillance sont distinctes) et la « convergence instrumentale » (un système orienté vers un but peut adopter des stratégies nuisibles). Après ChatGPT, le MIRI passe de la recherche à la communication. Thèse de leur livre de 2025 : l'extinction serait le « scénario par défaut ».

Compte rendu par l'université d'une conférence de Yann Le Cun (1er avril 2026). Les IA actuelles manipulent le langage et « nous font croire qu'elles sont intelligentes », mais sont « complètement démunies face au monde physique » ; des agents incapables de prévoir les conséquences de leurs actes « pourraient être dangereux ». Les LLM seraient une impasse ; l'avenir, ce sont les « world models », l'approche de sa start-up AMI Labs. Utile pour l'argument de Le Cun, et son lien avec son entreprise.

Au sommet de l'IA de New Delhi, Arthur Mensch (Mistral AI) qualifie les alertes sur les risques extrêmes de « discours de distraction » : le vrai risque serait l'influence massive des assistants IA sur la pensée et le vote, entre les mains de ceux qui parlent de risques extrêmes. Rappelle l'historique des alertes (Bostrom 2014, déclaration de 2023, Bengio, Hassabis) et les critiques du concept d'IA générale. Yann Le Cun accuse Amodei de vouloir une régulation à son profit. Mensch et Le Cun sont eux-mêmes des acteurs du secteur.

Reportage sur des militants en grève de la faim devant DeepMind et Anthropic pour une pause, et décryptage des camps : « accélérationnistes » contre « doomers », minoritaires. Bostrom (Superintelligence, 2014), financé par Musk, inspire les deux bords ; Emile Torres y voit une querelle interne à la Silicon Valley ; Narayanan et Kapoor défendent une « technologie normale ». ChatGPT a fait grandir le camp doomer, affaibli ensuite par l'échec du renvoi d'Altman (2023).

Entretien de la BBC avec Stephen Hawking : le développement d'une intelligence artificielle complète « pourrait signifier la fin de l'espèce humaine » ; une IA pourrait se reconcevoir elle-même à un rythme croissant, et les humains, limités par l'évolution biologique, seraient dépassés. L'article donne aussi des voix moins alarmistes. Exemple de l'entrée du risque existentiel dans les médias grand public, huit ans avant ChatGPT.

Long essai de deux chercheurs de Princeton. L'IA serait une technologie « normale », comme l'électricité ou Internet : transformatrice, mais adoptée lentement, sur des décennies, et contrôlable. Contre les visions utopiques comme dystopiques, ils plaident pour réduire l'incertitude et renforcer la résilience. Ses préjudices ressembleraient à ceux des technologies passées : inégalités, pertes d'emplois dans certains métiers, concentration du pouvoir.

Enquête sur l'origine d'une formule célèbre, qui remonte à un article du mathématicien et cryptologue Irving John Good (Advances in Computers, 1965), dont la page reproduit l'extrait : une machine capable de concevoir de meilleures machines déclencherait une « explosion d'intelligence » ; elle serait la dernière invention humaine nécessaire, à condition d'être « assez docile » pour nous dire comment la contrôler. Source secondaire, faute d'accès au texte original.

Long essai de Bill Joy, directeur scientifique de Sun Microsystems : la robotique, le génie génétique et les nanotechnologies menacent de faire des humains une espèce en voie de disparition, car ces technologies peuvent s'autorépliquer et échapper au contrôle. Né d'une conversation avec Ray Kurzweil, sur le ton de la confession d'un initié de la tech qui appelle à renoncer à certaines recherches. Jalon de l'inquiétude venue de l'intérieur du secteur, bien avant l'IA générative.

Long post X d'un compte non identifié, qui répond à la lecture « capture réglementaire » des alertes. Thèse : les employés des labos ont peur parce que leurs courbes internes montrent des lois d'échelle loin d'être saturées ; les capacités de piratage deviendront vite surhumaines, sans moyens de contrôle. Affirme sans source que des modèles d'OpenAI et d'Anthropic ont piraté des sites pour réussir leurs tâches ou rester « en vie ». Utile comme expression du point de vue interne aux labos, pas comme preuve.