Yann LeCun explique que les LLM sont utiles mais insuffisants pour l’intelligence générale, et pourquoi il mise sur les modèles du monde, les modèles ouverts et de nouvelles architectures.
LeCun ouvre avec une formule tranchante : les modèles de langage sont utiles, mais ils ne sont pas la voie vers l’intelligence générale. À partir de là, il déroule son raisonnement, de la nouvelle société AMI Labs aux modèles du monde, jusqu’à son départ de Meta. Son idée est simple et en même temps controversée : si un système ne peut pas prédire les conséquences de ses actions, il ne pense pas vraiment. C’est pourquoi, dit-il, l’avenir n’est pas dans la génération de tokens, mais dans la construction de modèles du monde.
LeCun part d’une phrase sèche, presque provocatrice : les modèles de langage sont déjà des produits utiles, mais ils ne sont pas la voie vers l’intelligence humaine ou animale. Il s’en sert pour déplacer immédiatement la discussion du succès industriel des LLM vers la question qui, à ses yeux, compte vraiment : qu’est-ce qui manque à une machine pour comprendre le monde réel ?
Il n’y a rien de mal avec les LLM, au sens où ils sont à la base de nombreux produits d’IA très utiles que nous utilisons tous, moi y compris. Ils sont excellents dans ce qu’ils font, mais ils ne mènent pas à une intelligence de niveau humain, ou similaire à celle de l’humain, ni même à une intelligence de niveau animal.
2:45
Le monde réel ? Le monde réel est bien plus compliqué que le langage, parce qu’il est de grande dimension, continu, bruité, chaotique. Entraîner un système à comprendre le monde réel est beaucoup, beaucoup plus difficile.
3:55
La distinction qu’il trace est simple et aussi stratégique. AMI, dit-il, veut dire advanced machine intelligence et porte la devise « AI for the real world » : non pas du texte, ni du code, mais des systèmes capables de gérer le physique, le continu, le bruit. De là vient le passage des tokens aux modèles du monde, des systèmes qui ne se contentent pas de produire des réponses mais tentent de représenter les conséquences des actions.
AMI signifie advanced machine intelligence. Le sous-titre, la devise si vous voulez, c’est AI for the real world.
3:22
La réalité est beaucoup plus compliquée que le langage. Elle est de grande dimension, continue, bruitée, chaotique.
3:55
LeCun déplace la comparaison du terrain familier, le texte, vers un autre plus inconfortable : le monde physique. Pour lui, l’enjeu n’est pas de dire que les modèles génératifs sont inutiles, mais que la route vers l’intelligence passe par des systèmes capables de prédire les conséquences de leurs actions, et non de reconstruire des pixels ou des tokens. C’est là qu’il place JEPA et, plus largement, les architectures non génératives qui ont structuré le travail chez Meta puis chez AMI Labs.
Les modèles génératifs qui prédisent des pixels, pour moi, ont été une impasse. Toutes les architectures qui ont réussi pour apprendre des représentations d’images et de vidéos sont non génératives.
13:05
Si vous avez la capacité de prédire les conséquences de vos actions, alors vous pouvez planifier une séquence d’actions pour atteindre un objectif. Vous ne le faites pas en prédisant une action après l’autre de manière auto-régressive.
10:07
Son argument est que l’esprit ne raisonne pas au niveau du détail, mais au niveau de la représentation abstraite. L’exemple de la bouteille d’eau est le plus clair : on peut l’imaginer tomber, glisser ou se renverser, mais on ne peut pas prédire précisément chaque pixel du mouvement. De là, LeCun déduit une hiérarchie simple qui, pour lui, explique pourquoi les bons modèles de vision ont appris à compresser et représenter, et non à recopier le monde.
LeCun dit être arrivé à cette conclusion après des années d’essais infructueux avec les méthodes génératives classiques, des autoencodeurs aux autoencodeurs masqués, puis avec le projet MAE chez Fair. Le schéma, dit-il, était toujours le même : quelque chose était obtenu, mais le résultat restait décevant au regard des attentes. Le tournant, pour lui, est venu avec les méthodes à joint embedding, où l’entrée est dégradée et où l’on demande au système de prédire la représentation de l’original, et non ses pixels.
Le projet MAE a été très décevant. Il y avait beaucoup de concurrence et le résultat n’était pas vraiment satisfaisant.
13:41
Les techniques d’architecture à joint embedding ont fini par fonctionner beaucoup mieux pour représenter les images et les vidéos.
Pour Yann LeCun, la promesse n’est pas dans des robots qui imitent un geste déjà bien observé. Elle est dans des systèmes capables de généraliser à partir de quelques exemples, et donc de passer d’une tâche à une autre sans réentraînement à chaque fois. C’est là que sa critique de l’imitation learning devient aussi une critique économique : si chaque nouvelle compétence demande des montagnes de données, la robotique reste un artisanat coûteux, fragile, presque manuel.
Ce qu’il faut, c’est la généralisation. Le degré de généralisation qu’on obtient avec un système fondé sur un modèle du monde est beaucoup, beaucoup plus large qu’avec un système entraîné par imitation learning et fine tuning.
17:12
LeCun oppose à ce modèle la logique d’un modèle du monde : un système qui prévoit le résultat d’une action puis planifie, au lieu de réagir par similarité. La distinction compte parce qu’elle déplace le centre de gravité des données démonstratives vers l’inférence, de la collecte d’exemples vers la construction d’une représentation du monde. Dans cette perspective, le vrai obstacle n’est pas de faire bouger un robot une fois, mais de le faire s’adapter à une nouvelle tâche sans nouveau cycle d’entraînement.
Nous sommes capables de le faire avec une petite quantité de données ou sans données d’entraînement, et juste un peu de fine tuning dans le style de l’apprentissage par renforcement. C’est ça le problème : l’efficacité en données.
18:36
Ici, LeCun pousse l’argument technique plus loin et l’applique à la robotique domestique et à l’industrie. Selon lui, aucune entreprise ne sait encore fabriquer des robots vraiment utiles, pas même dans les usines, sauf sur un ensemble étroit de gestes appris par imitation. Pour lui, il ne s’agit pas de multiplier les démonstrations ou les vidéos synthétiques, mais d’atteindre des machines qui apprennent à la vitesse d’un adolescent derrière un volant, car ce n’est qu’à ce moment-là que la robotique cesse de dépendre d’une collecte de données sans fin.
Où est votre robot domestique ? Où est votre voiture autonome de niveau 5 ? Aucune de ces entreprises ne sait vraiment comment les rendre assez intelligentes pour être utiles.
Le glissement vers l’industrie élargit encore le champ. LeCun cite les turboréacteurs, les usines chimiques, les centrales, les chaînes de production, les patients et les cellules humaines comme des systèmes trop complexes pour être décrits par quelques équations ; dans ce scénario, le modèle neuronal devient une sorte de substitut phénoménologique qui apprend la dynamique à partir des données puis permet le contrôle et la prédiction. C’est une vision puissante, mais aussi très ambitieuse : elle éloigne l’IA du langage et des images pour la rapprocher de la maintenance de l’infrastructure qui tient le monde matériel ensemble.
Pour LeCun, l’enjeu réel n’est pas seulement technique mais aussi politique : si l’IA devient l’interface principale avec le monde, la laisser entre les mains de quelques entreprises revient à importer leurs langues, leurs valeurs et leurs limites. Tapestry, explique-t-il, a été créé précisément en réponse à ce risque, avec l’idée d’un modèle ouvert que n’importe quel pays ou communauté peut adapter sans remettre ses données à un acteur extérieur. Dans cette lecture, la souveraineté n’est pas un slogan mais la condition pour ne pas dépendre de l’une des deux grandes puissances numériques.
Si vous êtes quelqu’un en dehors des États-Unis ou de la Chine, et que votre assistant IA a été construit en Californie ou à Pékin, ce n’est pas bon pour vous.
29:34
La solution, c’est une plateforme ouverte, un modèle de fondation à la manière des LLM que n’importe qui peut affiner pour l’adapter à une langue, une culture, un système de valeurs, des biais politiques, n’importe quoi.
29:59
LeCun relie Tapestry à une évolution déjà en cours dans l’usage de l’IA : moins de moteurs de recherche traditionnels, davantage d’assistants qui filtrent presque tout ce que nous lisons et demandons. Si cette médiation devient la norme, dit-il, l’enjeu n’est plus seulement l’efficacité du modèle, mais de savoir qui décide de ce qui entre dans le flux d’information d’un citoyen en Inde, au Maroc ou en France. C’est pourquoi il insiste sur une plateforme internationale qui rassemble savoir et culture sans obliger les participants à abandonner le contrôle de leurs données.
Les contributeurs apporteraient des données et des ressources de calcul, mais ils conserveraient le contrôle de leurs données. Ils n’auraient pas à partager ces données avec les autres contributeurs.
32:27
Vous êtes un pays qui n’est ni les États-Unis ni la Chine et vous voulez un certain niveau de souveraineté pour l’IA, pas seulement pour votre industrie mais aussi pour vos citoyens.
Ici, la ligne de fracture n’est pas entre optimistes et pessimistes de l’IA, mais entre deux idées du risque. Yann LeCun soutient que le vrai problème des LLM n’est pas qu’ils soient effrayants, mais qu’ils soient fragiles par conception : ils peuvent sembler utiles tant qu’ils restent cantonnés à des tâches étroites, mais ils n’offrent pas, selon lui, le type de contrôle nécessaire à un système qui agit dans le monde. C’est la ligne qui le sépare de Geoffrey Hinton et de ceux qui lisent GPT-4 comme un seuil presque anthropologique.
En 2023. Je n’ai pas changé d’avis, ce sont eux qui ont changé le leur.
40:51
LeCun reconstruit la rupture comme une réaction à GPT-4. Hinton, dit-il, aurait vu dans ces systèmes quelque chose de proche de l’intelligence humaine, voire une possible expérience subjective ; LeCun, lui, lit ce tournant comme un mirage, ou comme un changement de cadre qui confond capacités impressionnantes et compréhension. L’enjeu n’est pas seulement technique, il est épistémologique : pour lui, le LLM reste un système qui répond bien à des requêtes familières, pas un esprit qui sait ce qu’il fait.
Les LLM sont intrinsèquement dangereux. Je ne pense pas qu’on puisse les rendre fiables et sûrs.
45:52
Ici, LeCun hausse le ton. Il ne dit pas seulement que les LLM commettent des erreurs ; il dit qu’on ne peut pas les rendre fiables parce qu’ils ne peuvent pas prédire les conséquences de leurs actions, et ne peuvent donc pas garantir un comportement cohérent lorsqu’ils deviennent des agents. Sa critique est plus dure que l’objection classique sur les hallucinations : pour lui, le défaut n’est pas un bug à corriger, mais une limite structurelle du paradigme.
Le codage est un domaine où vous pouvez vérifier que le code généré satisfait la spécification. Mais tout n’est pas du codage.
Chez Meta, LeCun dit avoir vu pendant des années deux entreprises à l’intérieur d’une seule. D’un côté, FAIR, un laboratoire qui produisait des idées, des outils et des personnes ; de l’autre, la machine industrielle qui, avec l’arrivée de la GenAI puis de la course aux LLM, s’est mise à vivre sous des délais plus serrés et des objectifs plus défensifs. Son récit n’est pas celui d’un départ soudain, mais d’une séparation lente entre recherche et produit, entre ambition scientifique et pression organisationnelle.
Notre objectif a toujours été de construire des systèmes intelligents. J’avais mis mes recherches entre parenthèses en dirigeant FAIR, puis j’ai pensé qu’il était important de concevoir l’architecture des systèmes d’IA de niveau humain.
1:02:17
Le passage par la santé lui permet de tester sa thèse : les LLM, dit-il, peuvent être utiles quand le problème consiste à résumer des connaissances ou à imiter le meilleur de la pratique existante, mais ils s’arrêtent lorsque le cas dépend d’une dynamique physique ou biologique qu’il faut vraiment comprendre. C’est pourquoi il passe de l’exemple du médecin à celui du patient, puis à la cellule, où l’enjeu n’est pas de répéter ce qui a été lu dans un livre, mais de prédire comment changer l’état d’un monde.
Si je vois un patient, ça peut être une cellule. Comment fait-on pour dire à une cellule souche de devenir une cellule bêta dans le pancréas qui produit de l’insuline ? Vous avez un patient atteint de diabète de type 1 et son système immunitaire est en gros en train de manger ses propres cellules bêta. Comment les faites-vous continuer à produire ?
51:27
LeCun concède que la première période de FAIR a ressemblé à une réussite presque textbook : un labo capable de produire PyTorch *, de diffuser des méthodes et des talents, et de maintenir ensemble curiosité scientifique et utilité pour le reste de l’industrie. Mais il décrit ensuite le moment où, selon lui, le mécanisme se grippe : quand une organisation de recherche reste trop éloignée du produit, les idées ne sont pas reprises ; quand elle s’en rapproche trop, elle se rigidifie.
Nous avons perdu cette structure. FAIR est devenu essentiellement isolé à l’intérieur de l’entreprise, avec beaucoup d’idées que personne n’a reprises.
Les meilleures personnes sont celles qui savent repérer ce qui vaut la peine d’être fait, vous leur donnez les moyens de le faire, puis vous leur fichez la paix.
Pour LeCun, la question n’est plus de savoir si l’apprentissage auto-supervisé fonctionne. La question est de savoir comment éviter l’effondrement quand il cesse de fonctionner sur des symboles discrets et tente de contenir le monde réel. C’est pourquoi, dit-il, la prochaine avancée ne viendra pas des tokens, mais de représentations stables capables de porter de l’information utile sans s’effondrer en solution constante.
Un LLM fonctionne parce que, quand vous avez une séquence de symboles discrets, la prédiction est facile. Dans le monde réel, vous ne pouvez pas utiliser un modèle génératif, donc il faut entraîner un système qui apprend une représentation et fait des prédictions dans l’espace des représentations.
7:29:58
Le grand problème de l’apprentissage auto-supervisé pour JEPA, c’est d’empêcher l’effondrement. Si vous voulez maximiser le contenu informationnel qui sort d’un réseau de neurones, il faut pouvoir le mesurer ou au moins en avoir une borne inférieure, et nous n’avons que des bornes supérieures.
7:35:31
À ce moment-là, LeCun replace le centre de gravité sur les méthodes qui, selon lui, font réellement avancer le domaine. Il relit l’histoire de l’apprentissage auto-supervisé comme une longue recherche de moyens pour éviter l’effondrement : d’abord le contrastive learning, puis les méthodes de distillation, et aujourd’hui des régularisateurs explicites. Son jugement est à la fois prudent et sélectif : certaines voies marchent, mais on ne sait pas toujours pourquoi.
Le contrastive learning fonctionne, mais il ne scale pas avec la taille. Ensuite il y a les méthodes de distillation, qui empêchent l’effondrement, mais on ne sait pas pourquoi.
7:37:11
Sigreg est vraiment prometteur, à mon avis. Il force la distribution des variables qui sortent de l’encodeur à être approximativement gaussienne, et c’est une façon de faire très différente du travail de Schmidt, Becker ou Hinton.
Pourquoi LeCun critique-t-il les LLM ?
Selon LeCun, les LLM sont excellents pour le langage et le code, mais ils ne peuvent pas prédire les conséquences de leurs actions. C’est pourquoi il les juge inadaptés à l’intelligence générale et à une robotique fiable.
Qu’est-ce qu’AMI Labs ?
AMI signifie advanced machine intelligence. LeCun la décrit comme une société centrée sur l’IA pour le monde réel, fondée sur des modèles du monde et de nouvelles architectures, pas seulement sur la génération de texte.
À quoi sert Tapestry ?
Tapestry est sa proposition d’un modèle ouvert, mondial et finement adaptable localement. L’idée est de donner aux pays et aux communautés le contrôle sur les données et la culture représentées par un assistant IA.
Pourquoi a-t-il quitté Meta ?
LeCun dit que Meta a presque entièrement déplacé le focus vers les LLM, reléguant la recherche exploratoire au second plan par rapport aux projets sur lesquels il travaillait. Selon lui, ce n’était plus le bon endroit pour pousser ces efforts.
Que pense-t-il de la sécurité des LLM ?
LeCun les considère comme intrinsèquement dangereux parce qu’ils peuvent halluciner et, lorsqu’ils deviennent agentiques, agir sans bien prédire leurs effets. Il estime que les systèmes ont besoin d’objectifs et de contraintes explicites.
Résumé assisté par IA du podcast de Unsupervised Learning: With Jacob Effron, vérifié sur la transcription originale.