Gemma‑4‑26B‑A4B réduit de 39 % les tokens de réflexion sans perte d’exactitude

Présentation du modèle ThinkingCap appliqué à Gemma‑4‑26B‑A4B

ThinkingCap est la cinquième itération d’une série de modèles conçus pour diminuer le nombre de tokens de réflexion consommés par un LLM tout en conservant la qualité des réponses. Le modèle ciblé, gemma-4-26B-A4B-it de Google, possède 26 milliards de paramètres avec environ 4 milliards actifs par token grâce à son architecture à mélange d’experts (sparse mixture of experts). La version ThinkingCap de ce modèle a été intégrée dans le même stack d’inférence vLLM et utilise les mêmes réglages de décodage (temperature 1.0, top_p 0.95, top_k 64) que le modèle d’origine.

Méthodologie d’évaluation et jeux de données

Les deux modèles ont été évalués avec un harness interne exécuté sur le même matériel. Chaque benchmark a été testé avec plusieurs graines (de 4 à 64 selon la taille du jeu) afin de calculer une moyenne d’exactitude et un intervalle de confiance à 95 %. Les jeux de données couvrent douze familles de tâches : AIME 2026, HMMT Nov 2025, HMMT Feb 2026, LiveCodeBench, GPQA‑Diamond, MMLU‑Pro (12 032 questions), MMMLU (9 996 questions), AA‑LCR (100 questions), LongBench v2 (370 questions), RealWorldQA (765 questions), IFBench (300 questions) et τ²‑bench (278 tâches). La génération était plafonnée à 65 536 tokens par réponse, garantissant que la comparaison ne dépendait pas d’une différence de capacité de contexte.

Résultats quantitatifs : réduction des tokens de réflexion et impact sur l’exactitude

Sur l’ensemble des douze benchmarks, le modèle ThinkingCap utilise en moyenne 38,9 % moins de tokens de réflexion que le modèle original, avec un pic de 69,1 % de réduction observé sur LongBench v2. Cette économie se traduit par une perte d’exactitude marginale de seulement 0,15 point de pourcentage, inférieure à la variabilité habituelle entre exécutions. Certaines familles affichent même une amélioration : instruction following (+0,65 pp), maths (+0,39 pp) et connaissances/reasoning (+0,51 pp). Le taux de looping (réponses qui se répètent) chute de 3,64 % à 0,76 %, soit une réduction de plus de 75 %.

Lorsque l’on trace la courbe précision‑vs‑budget de tokens, le modèle ThinkingCap se situe au-dessus du modèle de base sur la majeure partie du domaine médian, offrant la même précision pour un budget de tokens plus restreint. Ce comportement confirme que la réduction de réflexion ne provient pas d’une modification du décodage mais d’une optimisation interne du modèle.

Analyse des limites et perspectives d’efficacité

Bien que la perte d’exactitude soit très faible, quatre benchmarks montrent une dégradation supérieure à l’intervalle de confiance : GPQA‑Diamond (‑0,96 pp), MMMLU (‑0,66 pp), AA‑LCR (‑4,00 pp) et τ²‑bench (‑0,20 pp). Ces cas correspondent à des tâches où la réflexion prolongée joue un rôle plus important, ce qui suggère que la méthode ThinkingCap pourrait être moins efficace pour des problèmes nécessitant un raisonnement approfondi.

La version « PRO » annoncée promet jusqu’à 87,6 % de réduction des tokens de réflexion (62 % en moyenne), mais les chiffres détaillés ne sont pas fournis dans le texte source, limitant l’évaluation de son impact réel. Enfin, l’absence de détails sur les modifications exactes apportées au modèle (par ex. pruning, early‑exit, ré‑entraînement) empêche de reproduire ou de généraliser la technique à d’autres architectures sans accès aux implémentations internes de ThinkingCap.