Contexte et motivations

Les grands modèles de langage (LLM) génèrent souvent des réponses libres et très détaillées, mais leur coût d’inférence reste élevé. PostHog a introduit des modèles décisionnels – des classificateurs à sortie unique accompagnée d’une probabilité – afin de filtrer les requêtes avant d’appeler un LLM. Un exemple de sortie typique montre une question structurée et une réponse chiffrée :

Noul. Are hedgehogs mammals? → Yes, 0.99
. Cette approche rend l’incertitude explicite : un score de 0,8 indique une précision d’environ 80 %.

Mise en œuvre et performances

Dans le produit Replay Vision, chaque résumé de session passe deux questions oui/non (« Does this name a real person? », « Does this show contact details or an ID? »). Si l’une des réponses dépasse le seuil de 0,4, le texte est envoyé à Gemini pour anonymisation, sinon il passe directement. En production, 98,7 % des résumés évitent l’appel LLM, ce qui représente une économie de 444,6 fois en coût et 193,6 fois en latence par rapport aux modèles de pointe.

Le même principe sert de router de modèle dans le bot Slack de PostHog. Le bot interroge d’abord si le message requiert un modèle spécifique ; sinon, une question de type « choice » sélectionne l’option la moins chère capable de réussir la tâche. Le seuil appliqué est de 0,85, car un faux positif (déclencher un LLM inutile) coûte moins qu’un faux négatif (ne pas répondre). Cette configuration a permis de réduire les appels superflus tout en maintenant la pertinence des réponses.

Pour le classement de recherches dans Replay Vision, les embeddings génèrent une première liste de sessions, puis le modèle décisionnel évalue chaque entrée avec la question « Does this summary describe a session that matches what the search looks for? ». Sur 20 requêtes testées, le ré‑ordonnancement basé sur la probabilité a amélioré la qualité du classement d’environ 25 %.

Limites et bonnes pratiques

Un score de 0,85 implique encore 150 erreurs pour 1 000 vérifications, ce qui oblige à calibrer le seuil en fonction du coût relatif des faux positifs et négatifs. Les seuils ne sont pas transférables entre modèles ou versions ; PostHog a constaté des variations entre v1 et v2 du même modèle, d’où la nécessité de paramètres configurables par projet et d’une phase d’ombre pour recalibrer avec des données annotées.

Les modèles décisionnels ne supportent pas le raisonnement en plusieurs étapes. Une tentative de chaîne de deux questions (« Is this session worth watching? », puis « Why? ») a saturé le serveur, générant des requêtes de 12–38 k tokens et bloquant d’autres services pendant des heures. La recommandation est donc de limiter les modèles décisionnels à des jugements « face‑value » et de déléguer les tâches complexes aux LLM.

Enfin, le remplacement des règles déterministes de sélection de graphiques SQL par un modèle décisionnel a montré que le modèle pouvait proposer des visualisations plus adaptées (ex. : bar chart au lieu de line chart) en analysant la requête et les trois premières lignes de résultats, démontrant la flexibilité d’un tel système pour des tâches où un LLM serait excessif.