Au début c'était GPT-3, avec ses 175 milliards de paramètres. Puis ils sont venus PaLM, Mégatron-Turing, Chinchilla etc, et les paramètres ont dépassé le seuil des 1000 milliards. Ce sont les LLM, Large Language Model, des modèles entraînés sur d’immenses quantités de texte pour imiter le langage humain. Et ils sont devenus les protagonistes incontestés de la course à l’intelligence artificielle. Mais il y a un problème.
Plus ces modèles deviennent grands et sophistiqués, plus ils consomment d’énergie. Et les améliorations obtenues semblent suivre uniquement une croissance linéaire, et non exponentielle comme les coûts. C'est le signal que peut-être, pour atteindre l'AGI tant convoitée, l'intelligence artificielle générale capable de penser comme (ou plus) que les êtres humains un changement de paradigme est nécessaire. Que la réponse ne réside pas seulement dans le big data, mais dans des architectures plus efficaces et « rationnelles ».
Le paradoxe du LLM
Soyons clairs : les grands modèles linguistiques sont une merveille de l'ingéniosité humaine. Ils ont appris à maîtriser les subtilités du langage avec une maîtrise incroyable. Ils sont capables d’écrire des articles, de répondre à des questions, de résumer des concepts complexes, de traduire entre des dizaines de langues et savent même désormais générer du code. Parfois, je ne pense pas exagérer, ils semblent saisir le sens profond des paroles, et avoir une compréhension presque humaine du monde.
Déjà. Presque.
Mais plus nous les soumettons au stress, plus leurs limites deviennent apparentes : ils sont très doués pour reconnaître des modèles et imiter des styles, mais pas pour penser de manière indépendante. Derrière la façade scintillante de leurs performances linguistiques, il n’y a aucune véritable intelligence, aucune capacité d’inférence et de résolution de problèmes déconnectée des données sur lesquelles ils ont été formés. Rien.
Et pour obtenir même ces résultats partiels, les LLM nécessitent des quantités excessives d’énergie. Autant dire que sur le plan énergétique, la formation du GPT-3 était « coûteuse » l'équivalent de piloter 700 fois un avion entre New York et San Francisco. Un coût environnemental et économique énorme, qui croît de façon exponentielle à chaque saut d’échelle des modèles. C'est comme si pour rendre un travailleur un peu plus productif, il fallait doubler son salaire chaque mois. Une dynamique insoutenable à long terme.
L'étincelle n'était pas là
Mais ce n’est pas seulement une question de coût-bénéfice. Il existe un problème plus profond qui pèse sur les LLM, qui sape leurs ambitions de devenir la base de l’intelligence artificielle générale. Et c’est le manque de raisonnement abstrait, de véritable « pensée » au-delà des analogies superficielles.
Certains chercheurs espéraient que ce type de capacité pourrait « émerger » spontanément des LLM, une fois que des paramètres et des ensembles de données suffisamment grands auraient été obtenus. L’idée était que plus vous injectiez d’informations et de puissance de calcul dans le modèle, plus il commencerait à développer une intelligence qui lui est propre, imitant non seulement le langage humain mais aussi les processus cognitifs sous-jacents.
Mais jusqu’à présent, il n’y a aucun signe de cette « urgence ». Même les LLM les plus avancés, confrontés à des tâches qui nécessitent un raisonnement logique, une planification et une créativité originale, se perdent dans des conjectures et des hallucinations dénuées de sens. Il semble que l’intelligence, la véritable intelligence, ne soit pas seulement une question de statistiques monstrueusement brutes, mais nécessite des architectures et des processus d’apprentissage différents, encore largement à découvrir.
Les nouvelles voies de l’intelligence artificielle générale
Les difficultés montrées par les LLM sont à la base du fait que de nombreux chercheurs explorent des voies alternatives pour atteindre l'objectif final de l'AGI. L'un d'eux est le Théorie des catégories, une branche des mathématiques abstraites qui étudie les relations entre les structures algébriques. Certaines startups, comme Symbolique, pensent qu’elle peut fournir le cadre théorique pour construire des systèmes d’intelligence artificielle capables de développer des représentations symboliques du monde, et pas seulement des associations statistiques entre mots.
Une autre tendance prometteuse est celle de IA « orientée objectifs », c'est-à-dire conçu pour atteindre des objectifs spécifiques dans des environnements tridimensionnels complexes, en interagissant avec des objets et des agents de manière physique et linguistique. L’idée est que l’intelligence ne naît pas du vide, mais se développe à travers lui. l'incarnation, action incarnée dans le monde, exactement comme elle arrive aux enfants. Sans surprise, on estime que un enfant de 4 ans a déjà traité, grâce à l'exploration multisensorielle de l'environnement, environ 50 fois les données du plus grand LLM actuel.
Ce ne sont là que deux des nouvelles frontières qui s'ouvrent dans le domaine de l'intelligence artificielle, pour tenter de dépasser les limites des LLM et de se rapprocher réellement de l'AGI. Des frontières qui nécessitent non seulement des avancées technologiques, mais aussi et surtout une refonte profonde de ce qu’est l’intelligence et de la manière dont elle peut émerger dans les systèmes artificiels.
LLM, l'intelligence (artificielle) n'habite plus ici
J'en viens au fait. Pendant des décennies, l’intelligence artificielle a été « piégée » dans un paradigme de pure manipulation symbolique, basé sur l’idée que la pensée consiste essentiellement à traiter des chaînes de symboles abstraits selon des règles syntaxiques. C’est le paradigme qui a donné naissance aux systèmes experts et aux moteurs de recherche sémantiques, et qui constitue finalement la base des LLM actuels, bien qu’enrichis par des ensembles de données et des architectures neuronales.
Mais c’est peut-être précisément ce paradigme « désincarné » et réductionniste qui représente le véritable goulot d’étranglement vers l’AGI. Peut-être que l’intelligence n’est pas simplement un algorithme exécuté sur un ordinateur, mais une propriété émergente de systèmes complexes qui interagissent dynamiquement avec un environnement, le modifiant et se laissant modifier dans un cycle continu de perception, d’action et d’apprentissage.
Peut-être que pour créer une intelligence artificielle véritablement générale, il faudrait s'inspirer davantage de la seule intelligence générale que nous connaissons, c'est-à-dire l'intelligence biologique, avec son architecture distribuée, sa plasticité neuronale, son ancrage sensorimoteur dans le monde. Et peut-être devons-nous aussi reconnaître que l’intelligence n’est pas un objectif à atteindre, mais un processus en constante évolution, qui n’a pas de forme finale prédéfinie.
Cela ne veut pas dire que les LLM sont inutiles ou doivent être jetés.
Loin de là : elles représentent une étape importante dans l’évolution de l’IA, et ont encore de nombreuses applications pratiques à explorer. Mais il est peut-être temps de réduire les attentes messianiques que beaucoup ont exprimées et de reconnaître leurs limites intrinsèques en tant que candidats à l’intelligence artificielle générale.
Si jamais il arrive, AGI ne sera probablement pas un super-cerveau désincarné bavardant en 1000 langues, mais un agent intégré et incarné qui apprend du monde et le transforme, un peu comme nous, les humains, le faisons. Et pour y arriver, il faudra non seulement beaucoup plus d’énergie, mais surtout beaucoup plus d’imagination.
La frontière des possibles
Je pense que le but n'est même pas d'y arriver, d'atteindre l'AGI. Il s’agit d’élargir continuellement les frontières de ce que l’intelligence, humaine aujourd’hui et artificielle demain, peut faire. Cela signifie repousser les limites de ce qui est pensable et possible, à travers le collaboration hybride entre nos esprits biologiques et synthétiques.
Après tout, c’est ce que nous avons toujours fait, depuis que nous avons gravé les premiers symboles dans la pierre ou appuyé sur les premières touches d’un ordinateur. Utiliser la technologie renforcer notre intellect, multiplier nos capacités cognitives et créatives, affronter des problèmes de plus en plus vastes et complexes.
Les LLM, avec toutes leurs limites, représentent un pas en avant sur cette voie. Ils nous montrent à quel point le langage est flexible et puissant, une technologie en soi qui imprègne tous les aspects de nos vies. Et ils nous mettent au défi d’en inventer de nouvelles, de nouvelles grammaires de pensée, d’exprimer l’inexprimable et d’imaginer l’inimaginable.
Le véritable objectif n’est pas de créer une intelligence artificielle qui nous remplace, mais de co-évoluer avec elle en symbiose, faisant émerger des formes d’intelligence que nous ne savons même pas encore concevoir.
LLM et l'avenir du renseignement
Les LLM sont là pour rester. Comme les vélos dans le monde des transports, ils sont destinés à nous donner un gros coup de main, mais il en faudra davantage.
Peut-être que l’avenir de l’intelligence n’est pas une singularité technologique, mais une pluralité d’intelligences interconnectées, humaines et non humaines, biologiques et synthétiques. Une explosion de diversité cognitive qui nous emmènera au-delà des limites actuelles de la pensée, vers de nouvelles frontières de sens et de possibilités.
Mais pour y arriver, il faut d’abord se libérer des préconceptions et des visions étriquées qui nous emprisonnent encore. Nous devons cesser de courir après les illusions informatiques qui reproduisent les manifestations extérieures de notre intelligence de manière maladroite et partielle, sans en saisir l’essence profonde.
Nous devons avoir le courage de repenser radicalement ce que signifie être intelligent dans un univers en constante évolution. Et il faut le faire avec curiosité, ouverture, enthousiasme. Sachant que L’intelligence n’est pas un algorithme à découvrir, mais un processus à créer et à développer, jour après jour, erreur après erreur, intuition après intuition.
Le chemin vers l’AGI, ou quelle que soit l’intelligence du futur, ne passe pas (uniquement) par les LLM. Cela passe par les connexions inattendues que l'on va pouvoir imaginer, par les espaces inexplorés que l'on va pouvoir habiter, par les questions impertinentes que l'on va pouvoir se poser.
Cela passe par notre capacité à nous émerveiller et à rêver, à nous tromper et à apprendre, à nous déconstruire et à nous reconstruire ainsi que le monde qui nous entoure. Car l’intelligence n’est rien d’autre que cela : le courage de s’aventurer toujours un peu plus loin, un peu plus haut, un peu plus profond. Vers la prochaine limite à briser, la prochaine frontière à explorer. Vers l’inconnu qui nous attend, et qui peut-être, grâce à l’IA, ne nous fera plus peur.
