Si l’émergence de l’IA générative vous a consterné, sachez que ce n’est pas le cas, nous n’avons encore rien vu. Le génie est sorti de la lampe et il lui sera difficile d'y rentrer. Au contraire. La course est plus sauvage que jamais et six projets se disputent la création de modèles d’IA allant au-delà de 2 XNUMX milliards de paramètres. Oui, vous avez bien lu : mille milliards.
Les titans de l'IA avec 2 XNUMX milliards de paramètres
Les six grands projets en compétition pour le cap des 2 XNUMX milliards de métriques sont OpenAI, Anthropique, Google/Esprit profond, Meta, un projet du gouvernement britannique et encore secret. Et c'est une course « mortelle » : il faut des ressources économiques pour suivre le rythme. Beaucoup. Entre 1 et 2 milliards de dollars par an, pour mettre à jour constamment le matériel (de plus en plus vorace de calculs et d'énergie), embaucher des centaines de spécialistes et retenir les meilleurs équipiers avec des salaires millionnaires et des stock-options.
GPT-5 : Le retour du roi
Après avoir pris la moitié du monde par surprise, a tiré un missile sur Google et ayant reçu beaucoup d’argent de Microsoft, OpenAI a déjà un éventuel coup de KO en préparation. Celui qui pourrait assurer la suprématie de l’entreprise de Sam Altman. GPT-5 sera achevé d’ici fin 2023 et publié début 2024, avec entre 2 et 5 XNUMX milliards de paramètres.
Nous sommes incapables, pour le moment, d'imaginer ses capacités.
Claude-Next : Anthropic et son projet ambitieux
Anthropique, l'équipe fondée par d'anciens employés d'OpenAI, travaille sur un modèle appelé Claude-Suivant, qui se veut 10 fois plus puissante que les IA actuelles. Avec 1 milliard de dollars de financement déjà levé et 5 milliards de dollars en route, Anthropic prévoit d'atteindre ses objectifs au cours des 18 prochains mois.
Leur modèle phare nécessitera 10^25 FLOP, utilisant des clusters de dizaines de milliers de GPU. Parmi les financiers d'Anthropic figure Google, qui joue sur plusieurs tables.
Gemini : Google cherche la rédemption avec Deepmind
Google et Deepmind collaborent pour développer un concurrent de GPT-4 appelé GEMINI. Le projet a commencé récemment, après que Bard a montré di échouer à rivaliser avec ChatGPT. Gemini sera un grand modèle de langage avec des milliards de paramètres, similaire à GPT-4 ou GPT-5, et utilisera des dizaines de milliers de puces Google AI TPU pour la formation. On ne sait pas encore si ce sera multimodal.
Deepmind a également développé le chatbot en ligne Moineau, optimisé pour la sécurité et similaire à ChatGPT. Les chercheurs de DeepMind ont découvert que les citations de Sparrow sont utiles et exactes 78 % du temps. Un autre top model de DeepMind est Chinchilla, formé sur 1,4 trillion de paramètres.
Les paramètres d'un futur impensable
Si vous souhaitez avoir une idée de ce que signifie 2 4,6 milliards de paramètres, sachez que l'estimation de la quantité totale de données textuelles utilisables dans le monde se situe entre 17,2 XNUMX milliards et XNUMX XNUMX milliards de paramètres.
Tous les livres, articles scientifiques, actualités, l'intégralité de Wikipédia, le code accessible au public et une grande partie du reste d'Internet, filtrés pour leur qualité. Connaissance humaine numérique.
Au fur et à mesure que des modèles plus grands arriveront, de nouvelles capacités apparaîtront. Au cours des 6 prochaines années, il y aura des améliorations de la puissance de calcul et des algorithmes pour modéliser mille fois, voire beaucoup plus.
Le PDG de Nvidia a prédit des modèles d'IA un million de fois plus puissants que ChatGPT d'ici 10 ans.
Pouvez-vous imaginer ce que ces intelligences artificielles feront de nous, ce qu'elles feront de la planète ? Pensez-y rapidement. Nous sommes ici maintenant.
