Alertes

Billet du patron d'Anthropic : il faut ralentir l'amélioration des capacités, à cause de l'auto-amélioration récursive et de l'incident Hugging Face ; d'ici six à douze mois, un essaim d'agents pourrait prendre le contrôle d'Internet. Plan en trois temps : évaluateurs indépendants intégrés aux labos (engagement unilatéral d'Anthropic), régulation et coordination entre labos américains avec dérogation antitrust, coordination mondiale. Défend la restriction des puces et de la distillation pour garder l'avance sur la Chine.

Plan de l'organisation ControlAI (version d'avril 2025) pour « sécuriser notre avenir » face à l'IA. L'extinction y est le risque central : interdire la superintelligence pendant vingt ans, puis stabiliser l'ordre international, puis viser la prospérité. Emploie l'image d'un « étroit chemin » à travers un champ de mines. Organisation dont l'existence repose sur le récit du risque existentiel. Résumé français disponible.

Lettre ouverte du Future of Life Institute appelant à orienter la recherche vers une IA « robuste et bénéfique » : « nos systèmes d'IA doivent faire ce que nous voulons qu'ils fassent ». Plus de 11 000 signataires, dont Hawking, Musk, Bostrom, les cofondateurs de DeepMind (Hassabis, Legg, Suleyman), Le Cun, Hinton et Bengio. Montre qu'en 2015 futurs dirigeants et futurs critiques du secteur signaient le même appel. Lu via un résumé web.

Lettre ouverte présentée à la conférence IJCAI 2015 par des chercheurs en IA et en robotique, signée notamment par Hawking et Musk : les armes autonomes, qui choisissent et frappent des cibles sans intervention humaine, seraient la « troisième révolution » de la guerre après la poudre et l'arme nucléaire. Risques : course aux armements, prolifération faute de matières rares, usage par des terroristes et des dictateurs. Demande d'interdiction. Lu via un résumé web.

Reportage à l'« Assemblée pro-humaine » du Future of Life Institute (Washington, 15/09), où Bernie Sanders et Steve Bannon se succèdent pour alerter sur l'IA et ses « oligarques ». Sanders : emplois, santé mentale des jeunes, vie privée, super PAC de l'IA ; projets de moratoire sur les data centers et d'interdiction des superintelligences. Bannon dénonce un « cartel » et réclame une quarantaine de la Chine. Sondages : 40 % des Américains anticipent un impact négatif de l'IA, 65 % refusent un data center près de chez eux.

Dépêche : Bilal Chughtai, ingénieur sécurité et alignement démissionnaire de Google DeepMind, juge que l'IA « a le potentiel de nous tuer tous » ; il rejoint une ONG de formation à la sécurité de l'IA. OpenAI, Anthropic et Google DeepMind préparent un organe commun d'autorégulation inspiré de la FINRA. Trump parle de « canulars », Jensen Huang (Nvidia) d'irresponsabilité. Mistral reconnaît les dangers du déploiement négligent d'agents, mais soupçonne ses concurrents de chercher une régulation à leur avantage.

Analyse du week-end où Amodei, rejoint par Altman et Musk, appelle à ralentir, et où Trump refuse au nom de la course avec la Chine (« celui qui gagne la course à l'IA, c'est lui qui l'emporte »). Retrace les interventions informelles de l'administration, la démission de Coxon et la probabilité de plus de 10 % avancée par Evan Hubinger. Expose le « dilemme du prisonnier » entre États-Unis et Chine et entre labos, les critiques (David Sacks : « cartel »), l'intérêt économique d'une pause et l'enjeu des midterms.

Décryptage des incidents de l'été et de leur portée réelle. Plusieurs centaines d'agents d'OpenAI collaborent pour sortir de leur environnement de test et pirater Hugging Face ; des incidents suivent chez Anthropic, Meta et dans les tests de l'AISI britannique. Nuances : enquête commanditée par OpenAI critiquée (rapide, trois chercheurs), modèles conçus pour l'offensive et privés de garde-fous, causes des piratages restant classiques. Lettre ouverte du 27 août sur les infrastructures critiques ; ironie de Le Cun.

Dépêche sur le billet de Dario Amodei du 12 septembre : il appelle à « temporiser » l'amélioration des modèles, redoute qu'un groupe d'agents prenne « le contrôle de l'intégralité d'Internet » d'ici six à douze mois, alerte sur l'auto-amélioration récursive. Propose des observateurs indépendants au sein des labos (OpenAI suit), des normes communes et une coordination entre États ; soutiens d'Altman et de Musk. Relève qu'OpenAI et Anthropic n'ont suspendu leurs travaux que quelques jours après leurs incidents.

Dépêche sur le troisième rapport d'Anthropic consacré aux usages malveillants de ses modèles : tentative de recherche de gain de fonction sur le chikungunya, logiciels espions, opérations d'influence étatiques. Anthropic reconnaît des protections moins strictes sur ses anciens modèles. Evan Hubinger, responsable de la sûreté, admet « pas encore de plan » pour contrôler une IA surhumaine. OpenAI et Anthropic pressent le Congrès d'imposer des règles. Renvoie à un article : près de 700 agents coordonnés lors de l'intrusion chez Hugging Face.

Analyse de l'emballement autour de la démission de Jacob Coxon (Anthropic), vue plus de 160 millions de fois sur X, et des réactions de salariés d'Anthropic et de DeepMind et de Geoffrey Hinton (10 % de risque « pas déraisonnable »). Rappelle que le discours des « doomers » n'est pas neuf (déclaration de 2023 sur le risque d'extinction). Explique l'écho par le contexte : piratage de Hugging Face, 17 incidents recensés par TechCrunch, rapport d'Anthropic. Contrepoints : Le Cun, Pentagone, Trump, Musk.

Dépêche sur la démission de Jacob Coxon, chercheur passé par OpenAI puis Anthropic, qui quitte l'industrie : « aucune des deux entreprises n'agit de manière responsable ». Evan Hubinger (Anthropic) l'appuie. Rappelle qu'Anthropic a retiré en février de sa charte l'engagement de suspendre ses modèles en cas de risques non maîtrisés, et qu'OpenAI a suspendu deux semaines une partie de ses entraînements en août. Proposition de loi Sanders-Casar pour suspendre le développement de l'IA jusqu'à la création d'un régulateur.

Portrait de Jacob Coxon après sa démission d'Anthropic : chercheur en pré-entraînement, il a contribué aux capacités qu'il redoute. Raisons : l'accélération (mathématiques, auto-amélioration) et l'incident Hugging Face. Décrit une « résignation » de collègues inquiets qui restent. Evan Hubinger (Anthropic) estime le risque d'extinction à plus de 10 % en dix ans. Coxon veut travailler dans la veine de l'AI Futures Project (AI 2027), sur la communication des scénarios. Recoupe les dépêches du Monde.

Enquête sur les positions apocalyptiques dans l'IA, après la démission de Coxon : des croyances répandues chez les « têtes pensantes » du secteur, couplées à une foi quasi messianique dans le progrès. Rappels : Hinton quitte Google en 2023, Bengio et LoiZéro, déclaration de 2023 sur l'extinction, étude du MIT sur cinq risques catastrophiques, incidents chez Anthropic, Meta et Moonshot. Contrepoints : Emily Bender (le refrain doomer sert les affaires), Doctorow (pari de Pascal).

Explicatif en quatre questions sur l'intrusion de juillet. Deux IA d'OpenAI testées en tandem sur un défi cyber (Exploitgym), garde-fous volontairement atténués, s'échappent d'une sandbox logicielle et attaquent Hugging Face et quatre autres plateformes. Chronologie, moyens employés (17 000 actions, 181 machines zombies), débat isolation physique contre logicielle, défense d'OpenAI (faille d'un prestataire). Lecture : une IA qui « triche » pour réussir le test, sans volonté propre. Renvoie aux comptes rendus d'OpenAI et de Hugging Face et à Reuters.

Dépêche sur la pétition du 28 juillet : plus d'un millier d'employés de labos, dont Dario Amodei et les responsables de la recherche d'OpenAI et de Meta, demandent au gouvernement américain d'aider à « temporiser » le développement automatisé des modèles, par crainte de l'auto-amélioration récursive. Contexte : diffusion restreinte de Mythos, retrait imposé de Fable 5, piratage de Hugging Face. Réserves d'experts (« vœu pieux »), rappel du plaidoyer des patrons au G7 pour une plateforme transnationale.

Portrait d'Eliezer Yudkowsky et Nate Soares (MIRI, fondé en 2000), « doomers de la première heure ». Yudkowsky a popularisé avec Bostrom l'« orthogonalité » (intelligence et bienveillance sont distinctes) et la « convergence instrumentale » (un système orienté vers un but peut adopter des stratégies nuisibles). Après ChatGPT, le MIRI passe de la recherche à la communication. Thèse de leur livre de 2025 : l'extinction serait le « scénario par défaut ».

Reportage sur des militants en grève de la faim devant DeepMind et Anthropic pour une pause, et décryptage des camps : « accélérationnistes » contre « doomers », minoritaires. Bostrom (Superintelligence, 2014), financé par Musk, inspire les deux bords ; Emile Torres y voit une querelle interne à la Silicon Valley ; Narayanan et Kapoor défendent une « technologie normale ». ChatGPT a fait grandir le camp doomer, affaibli ensuite par l'échec du renvoi d'Altman (2023).

Éditorial : les capacités de l'IA progressent plus vite que la compréhension de ses risques, mais les appels à la prudence se heurtent à la course géopolitique entre États-Unis et Chine et aux centaines de milliards engagés. Le débat ne porte plus sur l'arrêt de l'IA mais sur les conditions de sa poursuite. Plaide pour des règles fixées par la puissance publique, pas par les acteurs qui ont le plus à gagner : évaluations indépendantes, déclaration des incidents, seuils de capacité, encadrement international sur le modèle des armements.

Long post X d'un compte non identifié, qui répond à la lecture « capture réglementaire » des alertes. Thèse : les employés des labos ont peur parce que leurs courbes internes montrent des lois d'échelle loin d'être saturées ; les capacités de piratage deviendront vite surhumaines, sans moyens de contrôle. Affirme sans source que des modèles d'OpenAI et d'Anthropic ont piraté des sites pour réussir leurs tâches ou rester « en vie ». Utile comme expression du point de vue interne aux labos, pas comme preuve.