Présentation

LFM3 constitue la troisième génération de Liquid Foundation Models (LFMs) proposée par LiquidAI. Le portefeuille regroupe six modèles de text, vision, audio, omni, et decision dans une gamme de 2 B paramètres. Chaque modèle part du même backbone LFM3-1.7B-Base, ce qui permet de choisir la spécialisation adaptée, de le fine‑tuner sur un seul GPU et de le déployer directement sur l’appareil cible.

Le texte de base occupe environ 1 Go en précision 4 bits et propose une fenêtre de contexte de 256 K tokens, suffisante pour des agents locaux capables de raisonner sur de longues séquences.

Architecture et innovations

LFM3‑1.7B‑Base comporte 24 couches organisées selon un tri‑hybrid layer mix : 13 convolutions courtes à porte, 5 couches d’attention à fenêtre glissante (SWA) avec une fenêtre de 256 tokens, et 6 couches d’attention globale. Les convolutions utilisent un noyau de taille 7, contre 3 dans LFM2, ce qui augmente la capacité de traitement local.

Deux mécanismes d’attention renforcent la stabilité en quantification : head‑wise gated attention, où chaque tête possède un gate sigmoïdal qui peut la désactiver, et partial RoPE, qui ne fait tourner que la moitié haute fréquence des têtes globales, laissant l’autre moitié invariant au déplacement.

Le sandwich norm normalise à la fois l’entrée et la sortie de chaque bloc, maintenant les activations dans une plage exploitable. Ces choix découlent d’une recherche d’architecture hardware‑in‑the‑loop couvrant 14 combinaisons d’appareils et de back‑ends (smartphones, Raspberry Pi 5, laptops, CPU/GPUs cloud, NPU Qualcomm Hexagon).

Performances et déploiement edge

Comparé à LFM2, LFM3 offre 35 % de paramètres en moins tout en surpassant les modèles LFM2.5‑2.6B. Sur des contextes de 8 K tokens, il est environ 25 % plus rapide. Le pré‑entraînement a consommé 22 T tokens avec le même vocabulaire de 128 K que LFM2.5‑8B‑A1B, suivi de 3,5 T tokens supplémentaires focalisés sur des traces d’agents et d’appels d’outils, ce qui a étendu la fenêtre à 256 K tokens.

Les encodeurs vision et audio sont développés en interne. L’encodeur vision, 164 M paramètres, consomme 3× moins de FLOPs que le précédent encodeur SigLIP2 tout en égalant la précision de Qwen3.5‑2B. Pour la vidéo, chaque paire de frames est condensée en une tranche temporelle, réduisant de moitié la séquence.

L’encodeur audio, entièrement causal, combine SWA et convolutions courtes, permettant un temps jusqu’au premier token de 50 ms. Le tokeniseur LiquidCodec génère du son à 87× la vitesse réelle sur un thread CPU Apple M4 Max, supportant le décodage en flux continu.

Applications, limites et mise en œuvre

Les modèles LFM3 sont destinés aux agents locaux, aux appels d’outils et aux sorties structurées. Sur le benchmark WebArena‑Verified, LFM3‑1.7B obtient un score de 38,42 contre 3,02 pour son prédécesseur, et dépasse Qwen3.5‑9B sur des tâches longues en navigation web et applications métier.

La spécialisation reste simple : un fine‑tuning sur un GPU unique suffit à adapter le modèle à un domaine ou à un vocabulaire spécifique. Toutefois, les évaluations publiques se limitent aux benchmarks cités ; l’efficacité sur des jeux de données plus variés ou en conditions réelles n’est pas encore documentée.

Exemple d’installation et d’inférence :

pip install -U transformers
from transformers import pipeline
generator = pipeline(
    "text-generation",
    model="LiquidAI/LFM3-1.7B",
    trust_remote_code=True,
)
messages = [{"role": "user", "content": "What is C. elegans?"}]
output = generator(
    messages,
    do_sample=True,
    temperature=0.1,
    top_k=50,
    repetition_penalty=1.1,
    max_new_tokens=2048,
)
print(output[0]["generated_text"][-1]["content"])

Ces extraits proviennent directement des cartes modèles et illustrent la simplicité d’intégration via la bibliothèque transformers.