Présentation du portefeuille Nemotron 3.5
Nvidia a annoncé trois modèles dérivés de la famille Nemotron 3.5, destinés aux agents d’intelligence artificielle toujours actifs. Le modèle phare, Nemotron 3.5 Super VL, compte 120 milliards de paramètres et est présenté comme ouvert, avec des poids publiés pour un post‑entraînement interne. Deux déclinaisons plus légères, Bolt 74B‑A9B (24 GB) et Bolt E4B (4 GB), ciblent respectivement les stations de travail et les appareils en périphérie comme les Jetson ou les cartes RTX/GTX Spark.
Architecture et techniques d’optimisation
Super VL repose sur une nouvelle architecture qui, selon Nvidia, génère des réponses près de cinq fois plus rapidement que les modèles de même classe. Cette accélération provient d’une combinaison de deux facteurs : un entraînement sur 26 trillions de tokens, incluant 3,8 millions d’échantillons post‑training, et l’usage de renforcement sur 100 environnements ouverts. Bolt 74B‑A9B utilise un mélange d’experts (Mixture‑of‑Experts) où seulement 9 milliards de ses 74 milliards de paramètres sont activés à chaque inférence, couplé à une quantisation à deux bits qui réduit la consommation mémoire à 24 GB. La version E4B, quant à elle, exploite la même architecture mais avec une taille de modèle adaptée aux contraintes de 4 GB, permettant l’exécution directe sur les GPU grand public.
Scénarios d’utilisation et contraintes de déploiement
Les trois modèles couvrent l’ensemble du spectre d’applications agentiques : du serveur d’entreprise aux dispositifs embarqués. Super VL, ouvert et post‑entraînable, vise les flux de travail multimodaux nécessitant une compréhension visuelle et la capacité d’utiliser des outils externes, comme les processus métier à étapes multiples. Bolt 74B‑A9B permet aux développeurs de déléguer des tâches quotidiennes – rédaction de code, débogage – sans recourir au cloud, préservant ainsi la souveraineté des données. Bolt E4B, quant à lui, cible les assistants vocaux, les interfaces conversationnelles sur wearables ou tableaux de bord automobiles. La limitation principale réside dans la nécessité d’un GPU capable de supporter la quantisation à deux bits et, pour Super VL, d’une infrastructure capable de stocker les 120 milliards de paramètres, même si le modèle est plus compact que les plus grands modèles de raisonnement de Nvidia.
Analyse des performances et limites
Le gain de vitesse annoncé (≈ 5×) repose sur l’activation partielle des paramètres et la quantisation, mais aucune métrique de latence ou de débit n’est fournie dans le communiqué. L’entraînement sur 26 trillions de tokens indique une consommation énergétique importante, ce qui peut restreindre la reproduction du modèle par des organisations aux ressources limitées. De plus, la publication des poids ouvre la porte à des personnalisations, mais implique également la responsabilité de gérer les biais et les risques de sécurité associés à un modèle ouvert. Enfin, la dépendance à la quantisation à deux bits peut affecter la précision sur des tâches très sensibles, un compromis que chaque déploiement devra évaluer.
