Présentation du modèle Granite Switch 4.1

IBM propose deux variantes, Granite‑Switch‑4.1‑8B et Granite‑Switch‑4.1‑30B, qui combinent le modèle de base Granite avec trois adaptateurs activés (aLoRAs) : un Decision aLoRA pour les requêtes de décision, un Guardian aLoRA spécialisé dans les tâches de sécurité, et le modèle Granite‑Speech‑5.0‑Turbo‑CTC, actuellement le plus rapide du classement OpenASR. L’ensemble occupe approximativement la même quantité de VRAM qu’un modèle de base isolé, ce qui réduit le besoin en GPU.

Architecture des aLoRAs et réutilisation du KV cache

Les aLoRAs sont conçus comme des modules « cache‑efficient ». Le cache de clés‑valeurs (KV) généré lors d’une génération de texte par le modèle de base est réutilisé par chaque adaptateur subséquent, évitant ainsi la duplication de mémoire. Cette approche, couplée aux optimisations récentes de vLLM pour l’inférence de bas rang, accélère l’exécution des adaptateurs sans pénalité de latence. Le Speech‑to‑Decisions Demo montre que le même endpoint peut basculer en temps réel entre une requête de chat, une décision et une transcription audio.

Performances comparatives et cas d’usage

Sur un flux de travail RAG en cinq étapes, le modèle Granite‑Switch‑4.1‑30B (base Granite gelée + 4 aLoRAs) a surpassé Jev‑27B (base Qwen + 1 LoRA générique) en vitesse d’exécution. Le modèle 8B, quant à lui, réalise la transcription, la génération de résumés, le filtrage de contenu nuisible et le test de plus de quinze drapeaux génériques en temps réel sur un seul endpoint. Un prototype de 3 B paramètres, entraîné avec un aLoRA décision, a atteint 60‑100 décisions par seconde dans le jeu Doom, contre 10 décisions/s rapportées pour Jev, tout en conservant la capacité de narration.

Perspectives d’extension et écosystème

IBM livre les modèles « batteries included », mais les utilisateurs peuvent composer leurs propres configurations à partir de la Granite Libraries. Un SDK Adapter, prévu pour la plateforme Mellea, permettra d’entraîner des aLoRAs personnalisés : classification spécialisée, tâches linguistiques spécifiques, voire agents de jeu. La modularité du système ouvre la voie à des pipelines hybrides où un même modèle gère chat, décision et reconnaissance vocale, tout en maintenant une empreinte mémoire minimale.