Technologie

Cette start-up de MIT révèle des modèles d'IA révolutionnaires : préparez-vous à être ébloui !

2024-10-08

Auteur: Léa

Liquid AI a émergé d'une innovation technologique sans précédent : les réseaux de neurones liquides. Ce concept, élaboré en 2018 à l'Université de technologie de Vienne, a pris une envergure inattendue en 2022 grâce à l'équipe de Daniela Rus au CSAIL du MIT. La spécificité de cette architecture réside dans sa flexibilité exceptionnelle, lui permettant d'adapter dynamiquement les échanges d'informations entre ses 'neurones'. Cela signifie qu'elle peut effectuer des analyses même sur des situations qui diffèrent de ses données d'entraînement.

Cette caractéristique est cruciale pour des applications comme la conduite autonome. Mieux encore, les LFM nécessitent significativamente moins de paramètres et de puissance de calcul que les modèles traditionnels. Grâce à ce potentiel prometteur, Liquid AI a levé près de 40 millions de dollars à la fin de 2023 auprès d'investisseurs renommés pour développer une nouvelle génération de modèles d'IA fondés sur ces réseaux de neurones liquides. Moins d'un an plus tard, la start-up, qui opère depuis Boston et Palo Alto, présente donc ses premiers modèles LFM.

Liquid AI propose trois modèles au départ :

- LFM-1B (1,3 milliard de paramètres), spécifiquement conçu pour des environnements à ressources limitées ;

- LFM-3B (3,1 milliards de paramètres), idéal pour le edge computing ;

- LFM-40B (40,3 milliards de paramètres), un puissant modèle 'Mixture of Experts' (MoE) adaptatif pour des tâches complexes.

D'après Liquid AI, ses modèles LFM ont déjà démontré des performances impressionnantes sur plusieurs benchmarks clés de l'IA. Le modèle LFM-1B, par exemple, aurait surpassé le Llama 3.2-1.2B de Meta et le Phi-1.5 de Microsoft sur le test MMLU (Massive Multitask Language Understanding), qui évalue les performances sur 57 types de problèmes dans les disciplines STEM. Une première pour une architecture qui n'est pas basée sur GPT !

Cependant, l'avantage des LFM ne se limite pas à leurs performances. En raison de leur architecture adaptative héritée des réseaux de neurones liquides, ils peuvent traiter efficacement jusqu'à 1 million de tokens avec un minimum d'utilisation mémoire. Par exemple, le modèle LFM-3B maintient une empreinte mémoire beaucoup plus faible que ses concurrents lorsque la longueur des séquences augmente, ce qui est optimal pour analyser de longs documents ou alimenter des chatbots.

Avec ces premiers modèles LFM, Liquid AI a pour objectif de se tailler une place sur le marché hyper concurrentiel de l'IA générative, qui est dominé par des géants de la technologie ainsi que des start-ups comme Anthropic. Ramin Hasani, le P.-D.G. de la société, déclare sans hésitation que leur entreprise 'est en compétition avec des fournisseurs de modèles de fondation qui développent des GPT'. Préparez-vous à une bataille épique !

Mais Liquid AI ne compte pas s'arrêter là. Naturellement multimodaux, ses LFM visent également des applications professionnelles dans une gamme variée de secteurs tels que la finance, la biotechnologie et l'électronique grand public. De plus, des cas d'utilisation spécifiques, comme la navigation autonome, où les réseaux de neurones liquides se sont déjà démarqués, sont également au programme. La révolution de l'IA est-elle sur le point d'atteindre de nouveaux sommets ? Restez à l'écoute!