Présentation du contexte

Manifest a récemment déprécié son routeur LLM, un composant qui sélectionnait le modèle à utiliser en fonction de la complexité de la tâche. Ce choix a été motivé par les résultats mitigés obtenus après quatre mois d'utilisation par 7000 utilisateurs de cloud.

Fonctionnement du routeur LLM

Le routeur LLM de Manifest classifiait chaque requête en quatre niveaux de complexité : simple, standard, complexe et raisonnement. L'objectif principal de ce routeur était de réduire les coûts d'inférence en sélectionnant le modèle le plus adapté à la tâche.

Problèmes et limites

La complexité d'une tâche ne peut pas être déduite uniquement de la requête initiale. Le contexte et les informations supplémentaires nécessaires pour traiter la tâche ne sont souvent découverts qu'ultérieurement. Par exemple, la requête « évaluer les tests pour le référentiel $GIT_REPO et les améliorer » peut être très simple ou extrêmement complexe, selon le référentiel ciblé.

De plus, la mise en cache s'est avérée plus efficace que le routage pour réduire les coûts. Les lectures en cache sont entre 75% et 90% moins chères que les entrées non mises en cache. Les prompts système et l'historique des conversations représentent souvent un grand nombre de jetons, et la mise en cache préfixe fonctionne très bien pour ceux-ci.

Conséquences et conclusion

Les routeurs LLM peuvent également rompre la cohérence du comportement, car les ingénieurs ne peuvent pas choisir le modèle le plus adapté à leur tâche. Cela peut entraîner une qualité de travail inférieure et détourner les personnes de la maîtrise de leurs outils. L'imprévisibilité a un coût, en particulier dans les flux de travail automatisés ou les agents autonomes, où gérer cette incertitude supplémentaire peut coûter plus que ce qu'elle économise.

Cache reads are between 75% and 90% cheaper than uncached inputs.

En conclusion, bien qu'il existe probablement des cas d'utilisation où le routage LLM peut être utile, notre expérience suggère que, dans la plupart des cas, il n'en vaut pas la peine. Le montant économisé est payé ailleurs, et ce coût est plus difficile à estimer.