Introduction
L'article présente un benchmark entre le plugin de compression Caveman et la simple instruction « Soyez bref » pour évaluer leur impact sur la qualité et la longueur des réponses générées par Claude Code.
Contexte Technique
Le plugin Caveman est conçu pour réduire la longueur des réponses tout en maintenant leur exactitude technique. Il propose six modes de compression et des commandes de réglage pour adapter l'intensité de la compression. L'instruction « Soyez bref » a été testée comme alternative simple pour atteindre des réponses plus courtes.
Les tests ont porté sur 24 cas de prompts répartis dans six catégories : diagnostic de bogues, explications de concepts, compromis d'architecture, configuration multi-étapes, sécurité et opérations destructives, et interprétation d'erreurs. Chaque prompt avait un référentiel spécifique avec des points clés à couvrir, des termes à utiliser et des affirmations erronées à éviter.
Analyse et Implications
Les résultats montrent que « Soyez bref » a atteint une qualité et une longueur de réponses similaires à celles du plugin Caveman, sans utiliser de fonctionnalités avancées de compression. La compression n'a pas affecté la qualité des réponses, mais a réduit la longueur des réponses de manière significative, avec « Soyez bref » réduisant les jetons de 34% par rapport à la référence.
Cependant, l'analyse catégorielle a révélé que le plugin Caveman offre une meilleure compression dans certaines catégories, notamment le diagnostic de bogues et les explications de concepts, grâce à son mécanisme de « clarité automatique » qui adapte la compression en fonction du contexte.
Perspective
Les résultats suggèrent que la valeur du plugin Caveman réside moins dans la compression elle-même que dans la structure cohérente qu'il impose aux réponses, ce qui peut être utile pour les utilisateurs qui ont besoin d'une sortie uniforme à travers les sessions ou qui utilisent des outils en aval qui consomment les sorties de Claude Code.
De plus, le plugin Caveman offre des fonctionnalités telles que l'intensité réglable et la persistance des règles de compression à travers les sessions, qui ne sont pas disponibles avec la simple instruction « Soyez bref ».
En conclusion, si l'on recherche uniquement des réponses plus courtes, « Soyez bref » peut être une solution suffisante. Cependant, pour ceux qui ont besoin d'une structure de sortie cohérente et de fonctionnalités avancées de compression, le plugin Caveman offre une valeur ajoutée significative.
