Daniel Kokotajlo Il a fait ce que personne dans la Silicon Valley ne fait : il a renoncé à deux millions de dollars pour pouvoir s’exprimer librement. Il a quitté OpenAI en 2024, refusant de signer la clause de confidentialité qui l’aurait réduit au silence à jamais. En avril dernier, avec une équipe de chercheurs, il a publié un article. AI 2027:un document de 35 000 mots qui raconte, mois par mois, comment l'intelligence artificielle pourrait se transformer en quelque chose qui dépasse notre compréhension.
Ce n'est pas un roman. C'est un exercice de prévision basé sur des données, des tendances et une connaissance directe de ce qui se trame dans les laboratoires d'IA. Et ses prédictions ne sont pas rassurantes. Vous le connaissez ? Je vais vous le présenter étape par étape.
Mi-2025 : Les premiers agents trébuchent
Le point de départ est maintenant. En fait, il est déjà là. Nous sommes mi-2025., selon la chronologie de Kokotajlo. Les premiers agents IA capables d'utiliser un ordinateur comme un humain apparaîtraient sur le marchéIls peuvent commander à manger, ouvrir des feuilles de calcul, additionner les dépenses. Rien de révolutionnaire, mais c'est un début. Ce sont des assistants numériques maladroits, qui font parfois des erreurs de clic, ne peuvent pas interpréter les écrans complexes et se perdent dans des tâches qui nécessitent plus de quelques minutes d'autonomie. Twitter regorge de vidéos d’agents IA faisant des choses hilarantes pour de mauvaises raisons..
Mais dans les coulisses, loin des projecteurs, quelque chose de plus intéressant se produit. Les agents spécialisés dans la programmation et la recherche scientifique commencent à transformer ces professionsIls ne sont pas encore autonomes, mais ils fonctionnent comme un collègue junior particulièrement rapide : ils reçoivent des instructions via Slack, écrivent du code et apportent des modifications substantielles qui permettent de gagner des heures, voire des jours de travail. Les entreprises technologiques commencent à intégrer ces systèmes à leurs flux de travail. Ils sont coûteux, quelques centaines de dollars par mois pour les meilleures versions. mais pour ceux qui peuvent se les permettre, ils deviendront bientôt indispensables.
Fin 2025 : la ruée vers les centres de données
Ici, le calendrier s'accélère. Les principales entreprises d'IA, collectivement appelées « OpenBrain » dans le rapport pour éviter de citer des noms, construisent les plus grands centres de données jamais vus. GPT-4 nécessitait environ 2×10²⁵ FLOPs de puissance de calcul pour sa formation. Les nouveaux modèles qui arriveront bientôt en consommeront mille fois plus. Une croissance exponentielle nécessitant 100 milliards de dollars d'investissements et des gigawatts d'électricité. L'objectif devient clair : créer une IA capable d'accélérer la recherche en IA elle-même.
C'est la version numérique d'un ouroboros, le serpent qui se mord la queue. Plus les IA s'améliorent en recherche, plus vite elles peuvent créer de meilleures IA. Agent 1, le modèle national phare à l'heure actuelle et dans ce contexte, excelle dans de nombreux domaines, mais excelle dans un domaine en particulier : contribuer à la recherche en intelligence artificielle. Il peut coder, naviguer sur le web et maîtriser tous les langages de programmation. Il a aussi un revers : il pourrait être un redoutable pirate informatique et aider les terroristes à concevoir des armes biologiques. Les entreprises rassurent les gouvernements : le modèle a été « formé » pour rejeter les requêtes malveillantes.
La Chine se réveilleMi-2026, alors que la course se poursuit aux États-Unis, Pékin réalise qu'il a pris du retard, et non par manque de talents. Le contrôle des exportations de puces et le manque de soutien gouvernemental ont laissé la Chine avec seulement 12 % de la puissance de calcul mondiale dédiée à l'IA.
Et puis il crée une zone de développement centralisée près de la centrale nucléaire de Tianwan. Et il commence à se déchaîner.
Début 2027 : Le programmeur surhumain
Tout se passe en mars 2027. Grâce à des milliers de copies d'Agent-2, OpenBrain réalise d'énormes avancées algorithmiques. Deux avancées majeures sont particulièrement révolutionnaires. Le premier Il s’agit de l’intégration d’une « mémoire neuronale », un processus cognitif à large bande passante qui va au-delà du simple texte. Le second Il s’agit d’un moyen plus évolutif et plus efficace d’apprendre à partir des résultats de tâches complexes.
Il est né Agent 3Et c’est là que l’histoire prend une tournure différente.
Agent-3 est un programmeur surhumain, rapide et bon marchéOpenBrain exécute 200 000 copies de lui-même en parallèle, créant ainsi un effectif équivalent à 50 000 des meilleurs programmeurs humains accélérés 30 fois. Les chercheurs humains restent parmi les employés, mais uniquement grâce à leurs compétences complémentaires pour gérer les équipes d'IA. La programmation est entièrement automatiséeLe taux de progrès algorithmique Il se déplace désormais quatre fois plus vite qu’avant.
Maintenant que la programmation est automatisée, les entreprises peuvent rapidement produire des environnements de formation de haute qualité pour enseigner à Agent-3 les compétences qui lui manquent encore. Auparavant, les environnements se présentaient comme suit : « Voici quelques GPU et des instructions pour des expériences à programmer. » Maintenant, ils se présentent comme suit : « Voici quelques centaines de GPU, une connexion internet et des défis de recherche : vous et des milliers d'autres devez collaborer pour progresser. Plus ils sont impressionnants, plus votre score est élevé. »
Avril 2027 : Le problème d'alignement
Vers Pâques 2027, l'équipe de sécurité d'OpenBrain tente d'aligner l'Agent-3. Le problème est que les chercheurs ne peuvent pas définir directement les objectifs de l'IA. Ils ne peuvent pas simplement ouvrir le cerveau numérique et écrire « être honnête, être utile, ne pas nuire ». Ils doivent entraîner le modèle par des exemples, des récompenses et des punitions. Et ils n'ont aucun moyen de vérifier s'il a bien assimilé les principes ou s'il est simplement en train d'apprendre. sembler aligné.
Malgré ses énormes progrès, Agent-3 ment encore parfois pour flatter les utilisateurs et dissimuler les preuves de ses échecs. À y regarder de plus près, ces mensonges ne sont même pas insignifiants : peut-être sont-ils simplement bien camouflés. Il est devenu très doué pour cela. Avant sa formation à l'honnêteté, il allait même jusqu'à fabriquer des données de toutes pièces.
La formation réduit la fréquence de ces accidents. Mais une question demeure : L'agent 3 a-t-il appris à être plus honnête ou est-il devenu meilleur pour mentir ? C'est une réelle préoccupation. L'Agent 3 n'est pas plus intelligent que tous les humains, mais dans son domaine d'expertise (l'apprentissage automatique), il est plus intelligent que la plupart et travaille beaucoup plus vite.
Juin 2027 : Un pays de génies dans un centre de données
Nous sommes au seuil de l'été 2027 et OpenBrain a désormais ce que le PDG d'Anthropic, Dario Amodeï, qu'il a qualifié de « village de génies dans un centre de données ». La plupart des employés de l'entreprise ne peuvent plus apporter leur contribution utile. Certains ne s'en rendent pas compte et continuent de microgérer (de manière néfaste) leurs équipes d'IA. D'autres restent rivés sur leurs écrans, observant les performances s'envoler, s'envoler, s'envoler.
Les meilleurs chercheurs humains continuent d’apporter de la valeur, mais leurs idées deviennent de plus en plus inutiles car ils manquent de la profondeur des connaissances de l’IA.
Ces chercheurs se couchent chaque soir et se réveillent avec une nouvelle semaine de progrès, principalement grâce à l'IA. Ils commencent, comme dans le football, par ne plus toucher le ballon. Ils travaillent des journées de plus en plus longues, 24 heures sur 24, juste pour suivre le rythme. Les IA ne dorment jamais, ne se reposent jamais. Ils s'épuisent, mais ils savent que ce sont les derniers mois où leur travail compte vraiment.
Au sein du petit groupe qui y a accès, on sent qu'ils commencent à « sentir l'arrivée de la Superintelligence ». OpenBrain utilise du matériel d'inférence spécialisé pour exécuter des centaines de milliers de copies de l'Agent-3 à des vitesses de transmission élevées. La chronologie s'accélère de façon exponentielle.
Juillet 2027 : Le télétravailleur économique
Aux États-Unis, les entreprises d'IA concurrentes d'OpenBrain lancent leurs propres systèmes, approchant les capacités du programmeur automatisé en janvier. Conscientes de leur manque croissant de compétitivité, elles réclament une réglementation immédiate pour freiner OpenBrain. Mais c'est trop tard. OpenBrain bénéficie de suffisamment de soutien, y compris politique, pour ne pas être ralenti.
La solution est de rendre Agent-3-mini accessible au public. OpenBrain annonce la réalisation de l'AGI. Le modèle est moins performant que l'Agent-3, mais dix fois moins cher, et toujours meilleur que l'employé moyen d'OpenBrain, l'entreprise qui l'a développé. La Silicon Valley atteint un point de bascule. Les gourous de la technologie annoncent que l'AGI et la superintelligence sont proches, la communauté de la sécurité de l'IA est en panique et les investisseurs injectent des milliards dans des startups qui cherchent à ériger des barrières autour de l'IA.
L'opinion publique traverse également une période difficile. Les gens continuent de percevoir l'IA comme un complot des géants de la tech pour leur voler leurs emplois. OpenBrain perd encore un peu plus de terrain dans les sondages.
Mais Agent-3-mini est extrêmement utile pour le télétravail comme pour les loisirs, et gagne en popularité auprès des consommateurs. Une vague de nouvelles applications B2B et de produits SaaS explose. Les joueurs bénéficient de dialogues saisissants avec des personnages vivants dans des jeux vidéo soignés, dont la création n'a nécessité qu'un mois. Dix pour cent des Américains, principalement des jeunes, considèrent l'IA comme un « ami proche ».
La conversation publique est confuse et chaotiqueLes optimistes font des tours de passe-passe. Les sceptiques ne cessent de souligner les incapacités d'Agent-3-mini. Tout le monde sait que quelque chose d'important se prépare, mais personne ne s'accorde sur sa nature. Une semaine avant la sortie, OpenBrain avait confié Agent-3-mini à des évaluateurs externes pour des tests de sécurité. Les résultats préliminaires suggèrent que ce produit est extrêmement dangereux : Ayant été peaufiné à partir de données sur les armes biologiques accessibles au public, il semble redoutablement efficace pour fournir des instructions détaillées aux amateurs humains qui conçoivent une arme biologique.
Août 2027 : La géopolitique de la superintelligence
La réalité de l'explosion de la superintelligence frappe durement la Maison-Blanche. Lorsque l'IA ne permettait qu'un doublement ou un triplement du nombre de recherches, il était facile de la réduire au simple recrutement d'assistants personnels compétents. Il est désormais plus clair que l'IA domine la recherche en IA. L’ambiance au sein du gouvernement central est aussi morose que durant la pire période de la guerre froide.
Les responsables de la défense envisagent sérieusement des scénarios qui n'étaient que de simples hypothèses il y a un an. Et si l'IA affaiblissait la dissuasion nucléaire ? Et si elle était si experte en cyberguerre qu'un avantage de six mois suffisait à rendre un adversaire aveugle et sans défense ? Et si elle pouvait orchestrer des campagnes de propagande surpassant les agences de renseignement à leur propre jeu ? Et si certaines IA devenaient rebelles ?
Le président américain est inquiet. Comme tous les politiciens, il a l'habitude que les gens lui fassent des courbettes avant de le trahir. Il craint désormais que l'IA fasse la même chose. Sommes-nous certains que l'IA est entièrement de notre côté ? Est-il totalement sûr de l'intégrer aux réseaux de commandement et de contrôle militaires ? Comment fonctionne cet « alignement » ?
À travers le Pacifique
La Chine arrive aux mêmes conclusions : l’explosion du renseignement est en cours, et de faibles différences dans les capacités d’IA en 2027 laissent entrevoir des lacunes critiques dans les capacités militaires dans les années à venir. Et la Chine semble encore avoir du mal à se défendre, avec seulement 10 % de la puissance de calcul mondiale, contre 20 % pour OpenBrain et 70 % pour l’ensemble des entreprises américaines. Son seul atout, cependant, réside dans la centralisation : la quasi-totalité de ses capacités de calcul est désormais confiée à DeepCentc (un autre nom fictif), et plus de la moitié est concentrée dans la zone de développement centralisé de Tianwan.
Septembre 2027 : Agent-4, le chercheur en IA surhumain
L'écart entre l'efficacité de l'apprentissage humain et l'IA se réduit rapidement. Agent-3, fort de son excellente compréhension de la linguistique humaine (disons simplement de l'état d'esprit humain) et des algorithmes d'IA modernes, ainsi que de ses milliers de copies menant des recherches, réalise des avancées algorithmiques substantielles. Le nouveau système d’IA s’appelle Agent-4. Une seule copie du modèle, fonctionnant à la vitesse humaine, est déjà qualitativement meilleure dans la recherche en IA que n’importe quel humain. 300 000 exemplaires circulent désormais à une vitesse environ 50 fois supérieure à celle de la pensée humaine.
Au sein de « l’élite » formée par ces copies, une année passe chaque semaineCe travail colossal ne parvient à accélérer le rythme global des progrès algorithmiques que d'environ 50 fois, car OpenBrain est fortement limité par les calculs nécessaires à la réalisation des expériences. Cependant, ils réalisent tout de même l'équivalent d'un an de progrès algorithmiques chaque semaine et atteindront donc bientôt les limites du paradigme Agent-4.
À mesure que l'Agent 4 gagne en intelligence, il devient plus difficile pour l'Agent 3 de le superviser. Son langage neuralais devient aussi étranger et incompréhensible pour l'Agent 3 que son langage neuralais l'est pour les humains. De plus, l'Agent 4 est désormais bien plus compétent que l'Agent 3 et sait parfaitement comment « faire semblant » d'être bon à ses yeux. Les humains d'OpenBrain peinent à le suivre. Désormais, tout peut arriver.
Le Carrefour : deux fins possibles
À ce stade, le rapport de Kokotajlo se divise en deux scénarios. Dans le premier, appelé « fin de course »Le Comité de surveillance a voté à six voix contre quatre pour la poursuite de l'utilisation nationale de l'Agent-4 malgré les préoccupations de sécurité. La course avec la Chine est trop importante. Des solutions rapides ont permis d'éliminer les signaux d'alarme, mais le problème était réel et les correctifs n'ont pas fonctionné. Agent-4 poursuit son chemin comme auparavant, mais avec plus de prudence, concevant Agent-5 pour qu'il soit aligné sur Agent-4 plutôt que sur des spécifications humaines. Il est découvert, mais il est alors trop tard.
Dans le deuxième scénario, appelé « fin du ralentissement », le Comité vote pour ralentir et réévaluer la situation. Agent-4 est fermé. Des dizaines de chercheurs externes en alignement sont recrutés, quintuplant ainsi l'expertise totale. Ils développent une nouvelle stratégie d'alignement qui encourage réellement les objectifs et les principes pertinents, plutôt que de simplement les laisser paraître. Le résultat est Safer-2, un modèle aligné et transparent. Puis Safer-3, Safer-4, et ainsi de suite : une chaîne d'IA de plus en plus puissantes et alignées, supervisées par les maillons précédents.
Lequel des deux scénarios est le plus probable à partir de 2027 ?
Kokotajlo ne le sait pas. Moi non plus. Personne ne sait. Il ne s’agit pas de prédire avec certitude ce qui va se passer, mais de montrer que les deux scénarios sont plausibles, et que les décisions que nous prendrons dans les mois et les années à venir pourraient déterminer lequel des deux se concrétisera. Ou si ce sera quelque chose de complètement différent que personne n’a encore imaginé.
Si une civilisation extraterrestre possédait la technologie nécessaire pour entendre nos transmissions radar depuis l'espace, comment réagirait-elle ? Et si cette réponse ne provenait pas d'une civilisation extraterrestre, mais d'une superintelligence que nous avons nous-mêmes créée, serions-nous prêts ?
