Méfiez-vous des grandes fenêtres de contexte

Introduction

Les fenêtres de contexte sont un élément clé des modèles de langage, mais leur taille ne reflète pas toujours leur efficacité. En effet, les modèles de langage peuvent perdre leur capacité à comprendre et à retenir l'information au-delà d'un certain seuil, généralement situé autour de 100 000 jetons.

Contexte Technique

Les modèles de langage utilisent des mécanismes d'attention pour traiter les informations, mais ces mécanismes ont des limites. Les études ont montré que la performance des modèles de langage dégrade progressivement à mesure que la fenêtre de contexte se remplit. Les études comme RULER et Chroma ont démontré que la fenêtre de contexte effective est une fraction du nombre annoncé, et que les performances se dégradent graduellement à mesure que la fenêtre se remplit.

Les architectures modernes de modèles de langage tentent de pallier ce problème en utilisant des fenêtres de contexte plus grandes, mais cela ne résout pas le problème sous-jacent. Les outils comme Claude Code utilisent des techniques d'auto-compactage pour résumer l'historique et recommencer à zéro, mais cela n'est pas toujours efficace.

Analyse et Implications

Les grandes fenêtres de contexte sont souvent utilisées comme un argument marketing, mais elles ne reflètent pas toujours la réalité. Les modèles de langage peuvent perdre leur capacité à comprendre et à retenir l'information au-delà d'un certain seuil, ce qui peut avoir des implications importantes pour les applications qui utilisent ces modèles.

Les risques liés à l'utilisation de grandes fenêtres de contexte incluent la perte d'information, la dégradation des performances et la sécurité. Il est donc important de prendre des mesures pour minimiser ces risques, telles que l'utilisation de techniques d'auto-compactage ou la création de petits artefacts pour stocker les informations.

Perspective

Il est important de traiter la fenêtre de contexte comme un budget et d'assumer que seule la première partie est vraiment efficace. Il est donc recommandé de déplacer autant d'informations que possible hors de la session en direct et dans des artefacts écrits qui peuvent être lus par la prochaine session. Les projets comme obra/superpowers et mattpocock/skills structurent leurs flux de travail autour de petits artefacts nommés pour minimiser les risques liés aux grandes fenêtres de contexte.