L'ère de l'IA générative a véritablement démarré pour le grand public avec le lancement de ChatGPT d'OpenAI fin 2022. Cependant, la technologie sous-jacente, l'architecture de réseau neuronal dite « Transformer », qui permet aux modèles d'IA de pondérer différemment l'importance des mots dans une phrase (ou des pixels dans une image) et de s'entraîner en parallèle sur l'information, remonte à l'article fondateur de Google de 2017 intitulé « Attention Is All You Need ».

Bien que les Transformers offrent une qualité de modèle inégalée et qu'ils aient servi de base à la plupart des grands modèles d'IA générative utilisés aujourd'hui, ils sont extrêmement gourmands en ressources de calcul. Ils sont grevés par des exigences de calcul quadratiques et de mémoire linéaires, ce qui rend l'inférence à grande échelle coûteuse, voire prohibitive. D'où le désir de certains chercheurs de les améliorer en développant une nouvelle architecture, Mamba, en 2023, qui a ensuite été intégrée dans des modèles hybrides Mamba-Transformer comme Nemotron 3 Super de Nvidia.

L'équipe de chercheurs à l'origine de l'architecture Mamba originale vient de franchir une nouvelle étape avec la sortie de Mamba 3, une version open source qui promet des performances encore améliorées. L'objectif principal de Mamba 3 est de surperformer l'architecture Transformer, notamment en matière de modélisation linguistique. Les premiers tests indiquent une amélioration d'environ 4 % dans ce domaine, ce qui représente un gain significatif pour la qualité et la cohérence des textes générés.

Un autre avantage clé de Mamba 3 est la réduction de la latence. La latence, ou le temps de réponse d'un modèle d'IA, est un facteur crucial pour de nombreuses applications, notamment les chatbots, les assistants virtuels et les systèmes de traduction en temps réel. En réduisant la latence, Mamba 3 rend ces applications plus réactives et plus agréables à utiliser.

L'architecture Mamba se distingue des Transformers par sa capacité à traiter les données de manière séquentielle, plutôt qu'en parallèle. Cette approche permet de réduire considérablement les besoins en mémoire et en puissance de calcul, tout en maintenant un niveau de performance élevé. Mamba utilise une technique appelée « Selective State Space Models » (SSM) pour filtrer et retenir les informations pertinentes, ce qui lui permet de se concentrer sur les éléments les plus importants du contexte.

L'ouverture de Mamba 3 en open source est une excellente nouvelle pour la communauté de l'IA. Elle permettra à d'autres chercheurs et développeurs d'expérimenter avec cette nouvelle architecture, de l'améliorer et de l'intégrer dans leurs propres projets. Cette collaboration ouverte devrait accélérer le développement de nouvelles applications d'IA plus performantes et plus efficaces. L'avenir de l'IA s'annonce prometteur avec des alternatives comme Mamba qui challengent la domination de Transformer et ouvrent la voie à des modèles plus accessibles et moins énergivores.