Présentation de LFM3
LFM3 constitue la nouvelle génération de Liquid Foundation Models, proposée en six déclinaisons autour d’un noyau commun de 1,7 milliard de paramètres. Chaque variante cible une modalité (texte, vision, audio, omni) ou une tâche décisionnelle, offrant ainsi une solution spécialisée sans recourir à un modèle généraliste volumineux. Les poids sont publiés en open‑weight sur Hugging Face, le Playground de Liquid AI et via l’API Liquid, ce qui permet un fine‑tuning local immédiat.
Architecture hybride et mix de couches
Le cœur de LFM3 repose sur une architecture hybride redéfinie par une recherche automatisée « hardware‑in‑the‑loop ». Sur 24 couches, 13 sont des convolutions courtes à porte, 5 utilisent l’attention à fenêtre glissante (SWA) avec une fenêtre de 256 tokens, et 6 emploient une attention globale. Le noyau de convolution passe d’un kernel de 3 (LFM2) à 7, augmentant la capacité d’extraction locale sans pénaliser la latence. Des mécanismes additionnels – attention à tête pondérée par sigmoïde, RoPE partiel sur les couches globales, et normalisation « sandwich » appliquée à l’entrée et à la sortie de chaque bloc – stabilisent l’entraînement et améliorent la quantisation sur des appareils embarqués.
Entraînement, données et capacités de contexte
LFM3‑Base a été pré‑entraîné sur 22 téra‑tokens, incluant une proportion accrue d’articles scientifiques, de code source et de traces d’agents. Les 3,5 téra‑tokens finaux proviennent d’un jeu de données curaté, riche en appels d’outils et en interactions agentiques, et étendent la fenêtre de contexte à 256 k tokens. Sur des prompts courts, le modèle 1,7 B de LFM3 égalise les performances du LFM2‑1,2 B, tandis qu’avec 8 k tokens il gagne environ 25 % de vitesse, démontrant l’efficacité du mix tri‑hybride pour les longues séquences.
Déploiement multimodal et implications pratiques
Le processus de recherche a intégré 14 combinaisons matériel‑logiciel, couvrant smartphones (Samsung Galaxy S26 Ultra, OnePlus 15), Raspberry Pi 5, laptops (Apple M4 Max, AMD Ryzen AI) ainsi que CPU Arm/x86, GPU et le NPU Qualcomm Hexagon. Cette diversité garantit que LFM3 peut s’exécuter « on‑device » avec des temps de latence compatibles avec les applications temps réel. La disponibilité des poids et la compatibilité avec les pipelines de fine‑tuning standard permettent aux développeurs de spécialiser rapidement le modèle sur des tâches précises, tout en conservant la possibilité d’opérer localement, ce qui limite les exigences de bande passante et renforce la confidentialité des données.
