Contexte et objectif
Iterate Studio Inc. a présenté Lifeboat, un moteur d’inférence dédié aux grands modèles de langage (LLM) qui intègre la confidentialité des calculs. L’enjeu principal est la saturation de la mémoire GPU lorsqu’un grand nombre d’agents IA exécutent des tâches simultanées. Chaque appel de modèle consomme une portion du cache clé‑valeur, et le nombre de requêtes à contexte long que les moteurs classiques peuvent gérer se situe généralement entre quatre et cinq avant de stagner. Lifeboat prétend augmenter ce facteur de deux à six, permettant ainsi aux organisations de conserver leurs charges de travail sur le matériel existant.
Architecture et optimisations
Le moteur repose sur trois leviers : une planification équitable (fair scheduling), un contrôle d’admission qui garantit à chaque session une part fixe du GPU, et une optimisation du cache clé‑valeur qui double sa capacité effective tout en conservant les poids du modèle en pleine précision. Sur les modèles de type mixture‑of‑experts (MoE), Lifeboat ne charge que les experts requis par l’agent, réduisant ainsi la pression mémoire. Chaque session s’exécute dans une capsule de sécurité contenant filtrage, budget de tokens et exécution sandboxée, ce qui limite les risques d’interférence entre agents lourds (ex. traitement de documents) et agents interactifs.
Performances mesurées
Les tests internes ont utilisé un GPU Nvidia RTX PRO 6000 Blackwell avec le modèle Qwen 30B‑A3B. En mode optimisé, Lifeboat a maintenu 2 048 sessions concurrentes, chaque requête aboutissant sans échec. En comparaison, le même moteur désactivé a plafonné à environ la moitié de ce nombre, soit ~1 000 sessions, et a traité 4 965 tokens/s contre 8 714 tokens/s avec les optimisations activées. Un scénario de forte pression mémoire a été simulé : 128 sessions ont envoyé des requêtes de 18 000 tokens. Le 99ᵉ percentile du temps jusqu’au premier token est resté à 1,5 s avec Lifeboat, alors que la configuration de référence a nécessité 189 s, illustrant l’impact direct de la gestion du cache et du scheduling sur la latence.
Sécurité et modèle de licence
La version Confidential Computing de Lifeboat n’accepte aucune requête tant que l’attestation matérielle n’est pas validée. L’attestation couvre les extensions de confiance d’AMD, d’Intel et le mode confidential de Nvidia (H100, B200, GB300, etc.). Les poids du modèle sont scellés dans l’environnement d’exécution sécurisé et restent chiffrés pendant l’usage, que le moteur soit déployé dans une VM cloud confidentielle ou sur du matériel client. Au niveau commercial, un abonnement Developer gratuit autorise deux serveurs d’inférence sur un nœud unique pour des usages non commerciaux. Le plan Standard coûte 49,99 $ / mois, tandis que l’édition Confidential Computing est facturée 499,99 $ / mois, avec une période d’essai de sept jours sans carte bancaire.
