Contexte et modèles testés
Marc Brooker a publié une comparaison de cinq architectures autour du modèle Strands Decider. Le design final, nommé v19, repose sur Qwen3.5 et compte environ 2 milliards de paramètres. Deux variantes b1 et b2 utilisent une architecture encodeur‑décodeur inspirée de T5Gemma 2, avec respectivement 2 milliards (1 B encodeur + 1 B décodeur) et 8 milliards (4 B + 4 B) de paramètres, le head de langage étant remplacé par un pointer head. Les modèles purement encodeurs sont e1a (2,6 B paramètres, version non masquée) et e1b (2,6 B, version optimisée avec cache d’état masqué). Des encodeurs gelés comme ModernBERT et ettin‑encoder‑1b ont été mesurés mais ont été exclus du suivi détaillé.
Précision et calibration
Sur le benchmark JevBench, b2 dépasse v19 tant en exactitude qu’en score Brier, tout en atteignant le même niveau de Brier sur le jeu JF100. Cette supériorité s’explique en partie par le nombre de paramètres : b2 possède ~8 B contre 2 B pour v19, ce qui rend la comparaison non équivalente. Entre v19 et e1b, les écarts sont plus fins : e1b obtient une légère avance sur JevBench, mais la différence reste dans la marge de variance d’une exécution, tandis que la calibration est légèrement moins bonne. Sur JF100, les deux modèles affichent des scores de calibration similaires, e1b étant légèrement en retrait.
Latence et scalabilité
Les modèles encodeurs affichent une latence médiane d’environ 35 ms, contre 65 ms pour v19. Les architectures encodeur‑décodeur (b1, b2) sont les plus lentes. La différence de latence dépend fortement de la longueur du prompt : e1b conserve son avantage à de courtes séquences, mais la latence augmente plus rapidement lorsque la longueur dépasse un certain seuil. Cette tendance reflète la complexité algorithmique : e1b utilise 26 couches d’attention pleine, dont le coût est quadratique (O(N²)). En revanche, 75 % des couches de v19 sont des Gated DeltaNet à coût linéaire (O(N)), ce qui crée un plancher de latence plus élevé mais une meilleure asymptotique pour de longs prompts.
Analyse des compromis architecturaux
Le tableau d’évaluation montre que e1a, la version non masquée de l’encodeur, dépasse v19 sur sept des neuf tâches testées, mais reste en retrait sur les jeux JevBench (153 vs 168) et JF100 (158 vs 162). Le masquage introduit dans e1b améliore la généralisation sur ces jeux, suggérant que la capacité à « attendre la question » pendant la lecture de l’état peut être bénéfique. Cependant, le gain de latence offert par l’encodeur pur est contrebalancé par une dégradation de performance lorsque la séquence d’entrée devient longue, du fait du coût quadratique de l’attention complète. Aucun des modèles ne se démarque comme solution unique : les décodeurs offrent une meilleure asymptotique pour de gros contextes, tandis que les encodeurs offrent une latence plus faible sur des requêtes courtes. Le code de l’expérience est disponible dans une branche dédiée, mais n’est pas encore intégré dans la branche principale de Strands Decider.
