L'intelligence artificielle, notamment les grands modèles de langage (LLM), a atteint ses limites dans les domaines nécessitant une compréhension du monde physique. De la robotique à la conduite autonome, en passant par la fabrication, l'IA doit désormais interpréter et interagir avec son environnement de manière plus intuitive. Cette contrainte pousse les investisseurs à miser sur les "world models", des modèles du monde qui cherchent à simuler la réalité. Preuve en est, AMI Labs et World Labs ont récemment levé respectivement 1,03 milliard et 1 milliard de dollars pour financer leurs recherches dans ce domaine.

Les LLM excellent dans le traitement de connaissances abstraites grâce à la prédiction du prochain mot ou jeton. Cependant, ils manquent fondamentalement d'ancrage dans la causalité physique. Ils ne peuvent pas prédire de manière fiable les conséquences physiques des actions dans le monde réel. Par exemple, un LLM peut générer un texte cohérent sur la façon de réparer une voiture, mais il ne peut pas effectuer la réparation lui-même ni anticiper les résultats de ses actions sur la voiture physique.

Les chercheurs et leaders d'opinion du secteur expriment de plus en plus ouvertement ces limites, alors que l'industrie tente de sortir l'IA des navigateurs web et de l'intégrer dans des espaces physiques. Richard Sutton, lauréat du prix Turing, a souligné dans une interview que les LLM se contentent d'imiter ce que disent les gens au lieu de modéliser le monde. Cela limite leur capacité à apprendre de l'expérience et à s'adapter aux changements de leur environnement.

Alors, comment l'IA apprend-elle à mieux comprendre le monde physique ? Voici trois pistes principales :

1. **Les "World Models" :** Ces modèles visent à créer une représentation interne du monde, permettant à l'IA de simuler des actions et d'anticiper leurs conséquences. Ils intègrent des données sensorielles (vision, son, toucher) et des connaissances physiques pour construire une compréhension plus riche de l'environnement. Différents types de modèles sont en cours de développement, chacun avec ses propres forces et faiblesses.

2. **L'Apprentissage par Renforcement :** Cette approche permet à l'IA d'apprendre par essai et erreur, en interagissant directement avec le monde physique. En recevant des récompenses pour les actions réussies et des pénalités pour les échecs, l'IA apprend à optimiser ses comportements et à s'adapter à des situations nouvelles. Cette méthode est particulièrement utile pour la robotique et la conduite autonome.

3. **L'Intégration de Données Multimodales :** Combiner différentes sources de données (texte, images, audio, données de capteurs) permet à l'IA d'acquérir une compréhension plus complète du monde. Par exemple, un robot pourrait utiliser des images pour identifier un objet, du texte pour comprendre son utilisation et des données de capteurs pour manipuler l'objet avec précision.

L'avenir de l'IA réside dans sa capacité à transcender le monde virtuel et à interagir de manière intelligente avec le monde physique. Les "world models" et les autres approches mentionnées ci-dessus ouvrent des perspectives prometteuses pour la robotique, la conduite autonome, la fabrication et de nombreux autres domaines. L'IA est en train de devenir plus qu'un simple outil de traitement de l'information : elle devient un agent capable d'agir et d'apprendre dans le monde réel.