Architecture et spécifications

LFM2.5-24B-A2B est un modèle de raisonnement de 24 milliards de paramètres total, dont seulement 2 milliards sont actifs à chaque token grâce à son mécanisme Mixture‑of‑Experts (MoE). Le réseau comporte 40 couches, chaque bloc MoE regroupe 64 experts avec un routage top‑4. Il combine des convolutions courtes à portes (gated short convolutions) et une attention à requêtes‑généralisées (GQA). Le contexte s’étend de 32 k à 131 k tokens et le vocabulaire a été doublé à 128 k entrées pour améliorer la tokenisation non‑latine.

Entraînement et phase de spécialisation

Le pré‑entraînement a consommé environ 33 téra‑tokens, contre 17 téra‑tokens pour la version précédente. Une phase intermédiaire a ajouté 2 téra‑tokens à 32 k de contexte, ciblant le raisonnement, les mathématiques, le code et le suivi d’instructions multilingues, puis 300 milliards de tokens à 131 k de contexte, privilégiant les données longues. La transformation en agent s’est déroulée en cinq étapes : fine‑tuning supervisé, spécialisation des enseignants, distillation multi‑domaines (non‑agentic puis agentic) et apprentissage par renforcement agentique dans des environnements tels qu’OpenClaw, Hermes Agent, Pi et OpenCode.

Benchmarks et performances comparatives

Sur seize jeux de tests couvrant l’usage d’outils, les flux agentiques, les connaissances, les instructions, les mathématiques et le code, LFM2.5‑24B‑A2B se montre compétitif face à des modèles MoE plus gros comme Qwen3.6‑35B‑A3B (≈50 % de paramètres supplémentaires). Il obtient les meilleurs scores sur cinq des huit benchmarks d’usage d’outils (AutomationBench 27.69, BFCLv4 65.01, ToolSandbox 80.71, LiveClaw 48.09, τ³‑Bench Banking 8.04) et domine les trois tests d’instructions. Les modèles plus volumineux conservent un avantage sur les évaluations de connaissances (GPQA Diamond 74.42 vs 48.09) et de codage (SWE‑Bench Verified 51.00 vs 25.80).

Efficacité d’inférence et déploiement

Le modèle atteint 184 tokens/s sur un Apple M5 Max et 114 tokens/s sur un Ryzen AI Max+ 395, soit 1,7 × plus rapide que le suivant, tout en consommant le moins de mémoire. En GPU, il dépasse 21 000 tokens de sortie par seconde sur une seule NVIDIA B300, confirmant son statut de modèle le plus rapide de sa classe. LFM2.5‑24B‑A2B est compatible dès le premier jour avec les stacks d’inférence majeurs : llama.cpp, MLX, vLLM, SGLang et ONNX, facilitant le déploiement sur appareils edge ou serveurs dédiés.

pip install -U transformers
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
model_id = "LiquidAI/LFM2.5-24B-A2B"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    dtype="bfloat16",
    # attn_implementation="flash_attention_2"  # décommenter sur GPU compatible
)
 tokenizer = AutoTokenizer.from_pretrained(model_id)
 streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
 prompt = "What is C. elegans?"
 input_ids = tokenizer.apply_chat_template([
     {"role": "user", "content": prompt}
 ], add_generation_prompt=True, return_tensors="pt")."input_ids".to(model.device)
 output = model.generate(
     input_ids,
     do_sample=True,
     temperature=0.1,
     top_k=50,
     repetition_penalty=1.05,
     max_new_tokens=512,
     streamer=streamer,
 )