Présentation de la fonctionnalité

Box a présenté Box Content Retrieval lors de sa conférence développeur. Le service incorpore le système d’embedding Nemotron d’Nvidia au cœur du produit, destiné aux agents conversationnels qui interrogent les documents stockés.

Architecture et rôle de Nemotron Embed

Nemotron Embed fournit des modèles d’embedding à poids ouvert. Box les utilise pour transformer chaque document en vecteur de métadonnées, stocké dans son moteur de métadonnées existant. Ce moteur conserve les contrôles d’accès et les permissions déjà déployés par Box.

Le CEO Aaron Levie indique que cinq technologies sont combinées dans une API unique : le modèle d’embedding, le moteur de recherche vectorielle, le système de permissions, le service de mise à jour des vecteurs et le pipeline de pré‑traitement qui tokenise le texte avant de le passer au LLM.

Performances annoncées et limites

Nvidia affirme que les requêtes sont traitées quatre fois plus rapidement, avec 20 % de réduction d’erreurs et 90 % de tokens économisés. Ces chiffres proviennent d’une comparaison interne entre le moteur lexical précédent et le nouveau pipeline d’embedding.

Le modèle Nemotron a atteint la première place du benchmark RTEB en juillet, un indice reconnu pour la qualité de récupération d’information. Aucun chiffre de latence absolue n’est publié, ce qui empêche une validation indépendante.

La dépendance aux métadonnées propres à Box rend la reproduction du système difficile pour un tiers. Sans accès aux contrôles de permission internes, un concurrent ne peut pas reproduire exactement le même niveau de pertinence.

Scénarios d’usage et perspectives

Box cite les cabinets d’avocats comme cas d’usage typique. Les embeddings de Nemotron capturent les concepts sous‑jacents, permettant de retrouver des clauses ou des précédents même si le libellé diffère.

La réduction de tokens se traduit par une facture d’API moindre, ce qui rend le service économiquement intéressant pour les clients Enterprise Advance. La disponibilité est prévue pour le début de l’année prochaine, uniquement pour ces clients.

Le système s’appuie fortement sur les contrôles de permission de Box, garantissant que les agents ne renvoient que les fragments autorisés. Cette intégration reste confinée à l’écosystème Box ; les agents externes doivent appeler l’API Box pour exploiter les vecteurs générés.