Si l'émergence de l'IA générative vous a consterné, sachez que ce n'est pas le cas, nous n'avons encore rien vu. Le génie est sorti de la bouteille, et il lui sera difficile de s'y remettre. Au contraire. La course est plus folle que jamais, et six projets se disputent la création de modèles d'IA allant au-delà de 2 XNUMX milliards de paramètres. Oui, vous avez bien lu : mille milliards.
Les titans de l'IA avec 2 XNUMX milliards de paramètres
Les six grands projets en compétition pour le cap des 2 XNUMX milliards de métriques sont OpenAI, Anthropique, Google/Deepmind, Meta, un projet du gouvernement britannique et encore secret. Et c'est une course "mortelle" : il faut des ressources économiques pour tenir le rythme. Beaucoup. Entre 1 et 2 milliards de dollars par an, pour constamment mettre à jour le matériel (de plus en plus vorace en calculs et en énergie), embaucher des centaines de spécialistes et fidéliser les meilleurs équipiers avec des salaires millionnaires et des stock-options.
GPT-5 : Le retour du roi
Après avoir pris la moitié du monde par surprise, a tiré un missile sur Google et encaissé beaucoup d'argent de Microsoft, OpenAI a déjà un éventuel coup KO en préparation. Celui qui pourrait assurer la suprématie à l'entreprise de Sam Altman. GPT-5 sera achevé d'ici la fin de 2023 et publié au début de 2024, avec un nombre de paramètres compris entre 2 et 5 XNUMX milliards.
Nous sommes incapables, pour le moment, d'imaginer ses capacités.
Claude-Next : Anthropic et son projet ambitieux
Anthropique, l'équipe fondée par d'anciens employés d'OpenAI, travaille sur un modèle appelé Claude-Suivant, qui se veut 10 fois plus puissante que les IA actuelles. Avec 1 milliard de dollars de financement déjà levé et 5 milliards de dollars en route, Anthropic prévoit d'atteindre ses objectifs au cours des 18 prochains mois.
Leur modèle phare nécessitera 10 ^ 25 FLOP, avec l'utilisation de clusters composés de dizaines de milliers de GPU. Google est l'un des bailleurs de fonds d'Anthropic, jouant sur plusieurs tables.
Gemini : Google cherche la rédemption avec Deepmind
Google et Deepmind collaborent pour développer un concurrent de GPT-4 appelé GEMINI. Le projet a commencé récemment, après que Bard a montré di échouer à rivaliser avec ChatGPT. Gemini sera un grand modèle de langage avec des billions de paramètres, similaires à GPT-4 ou GPT-5, et utilisera des dizaines de milliers de puces AI TPU de Google pour la formation. On ne sait pas encore s'il sera multimodal.
Deepmind a également développé le chatbot en ligne Moineau, optimisé pour la sécurité et similaire à ChatGPT. Les chercheurs de DeepMind ont découvert que les citations de Sparrow sont utiles et exactes 78 % du temps. Un autre top model de DeepMind est Chinchilla, formé sur 1,4 trillion de paramètres.
Les paramètres d'un futur impensable
Si vous voulez avoir une idée de ce que signifient 2 trillions de paramètres, sachez que l'estimation de la quantité totale de données textuelles utilisables dans le monde se situe entre 4,6 trillions et 17,2 trillions de paramètres.
Tous les livres, articles scientifiques, reportages, l'intégralité de Wikipédia, le code accessible au public et une grande partie du reste d'Internet, filtrés par qualité. La connaissance humaine numérique.
Au fur et à mesure que des modèles plus grands arriveront, de nouvelles capacités apparaîtront. Au cours des 6 prochaines années, il y aura des améliorations de la puissance de calcul et des algorithmes pour modéliser mille fois, voire beaucoup plus.
Le PDG de Nvidia a prédit des modèles d'IA un million de fois plus puissants que ChatGPT d'ici 10 ans.
Pouvez-vous imaginer ce que ces intelligences artificielles feront de nous, ce qu'elles feront de la planète ? Pensez-y rapidement. Nous sommes ici maintenant.
