Présentation de l'architecture
Une enquête de plus de dix mille requêtes API a permis de caractériser Jev comme un causal decision model. Contrairement aux modèles de génération de texte classiques, le système ne produit pas de séquences tokenisées mais renvoie directement des probabilités de décision. Cette approche repose sur un état partagé entre questions isolées, ce qui contraste avec les architectures traditionnelles où chaque appel est stateless.
Mécanisme de décision et état partagé
Les observations indiquent trois comportements majeurs : des readouts directs de probabilités, la création de branches de questions en lot et une interaction entre options. Le modèle semble maintenir un graphe d’état interne qui se met à jour à chaque interrogation, permettant ainsi de réutiliser le contexte sans recourir à un cache de type KV. Cette dynamique réduit la latence liée à la reconstruction du contexte, mais impose une contrainte de cohérence : toute corruption d’état affecte toutes les requêtes subséquentes.
Le « backbone » supposé est un sparse mixture‑of‑experts (MoE). Aucun détail concret n’a été fourni, et les preuves restent indirectes : la variation de temps de réponse selon la complexité de la question suggère une activation sélective d’experts, mais l’absence de métriques d’utilisation d’experts empêche de confirmer ce point.
Analyse des implications et limites
Le passage d’une génération de texte à une sortie probabiliste offre plusieurs avantages techniques. Premièrement, le débit d’information est réduit : le système renvoie un vecteur de scores au lieu d’une séquence de tokens, ce qui explique les temps de réponse plus courts observés dans les tests. Deuxièmement, la capacité à batcher les branches de questions améliore l’efficacité du parallélisme, car plusieurs scénarios peuvent être évalués simultanément sans duplication du modèle.
En contrepartie, la dépendance à un état partagé introduit un vecteur de risque. Une mauvaise gestion de la synchronisation peut entraîner des fuites d’information entre sessions, compromettant la confidentialité des requêtes. De plus, l’absence de génération de texte rend le modèle moins flexible pour des tâches nécessitant une sortie libre, limitant son usage à des problèmes de classification ou de sélection.
Enfin, le caractère spéculatif du MoE signifie que les gains d’échelle attendus (par ex. réduction du nombre de paramètres actifs) ne sont pas encore quantifiables. Sans métriques publiques sur le nombre d’experts actifs ou la distribution de charge, il reste difficile d’évaluer la robustesse du système face à des charges de travail hétérogènes.
