Présentation du modèle

SWE‑2 est le dernier modèle de génération de code de Cognition, issu d’un post‑entraînement à partir de Kimi K33, un réseau de 2,8 téra‑paramètres. Il atteint 50,0 % de réussite sur le benchmark FrontierCode 1.1 Main1, soit un point de moins que le concurrent Fable 5.1, tout en étant 64 % moins cher. La version médium de SWE‑2 consomme 81 % de coût de moins que les modèles de référence tout en réduisant de 58 % le nombre de tours de dialogue nécessaires à la résolution.

Méthodes d’entraînement et optimisation du coût

L’innovation majeure réside dans un algorithme de renforcement (RL) qui entraîne simultanément tous les niveaux d’effort (medium, high, max) lors d’une unique passe, une première à l’échelle du régime multi‑trillion‑paramètres. Les pénalités de coût linéaires sont ajustées à la pente locale de la courbe de Pareto du modèle de base, assurant que chaque niveau conserve la forme de la frontière coût‑performance. La fonction de récompense, illustrée ci‑dessous, intègre un terme de coût proportionnel à l’effort :

reward = success * performance - λ(effort) * cost

où success indique la réussite du roll‑out, cost combine le coût d’inférence (USD) et le temps, et λ(effort) est le coefficient linéaire ajusté. Cette forme linéaire est la seule à garantir l’alignement du gradient RL avec la position du modèle sur le plan coût‑performance, comme démontré dans la documentation interne.

Le baseline de récompense pondéré par la longueur, hérité de SWE‑1.6, stabilise le signal de gradient, tandis que le roll‑out serving utilise des kernels NVFP4/FP8 et un entraînement conscient de la quantisation, réduisant l’usage mémoire et le décalage entraînement‑inférence par rapport à SWE‑1.7, malgré près de trois fois plus de paramètres.

Performances et comportements observés

Sur les jeux de données FrontierCode 1.1 Main et DeepSWE 1.1, SWE‑2 dépasse SWE‑1.7 et Grok 4.6 tant en score qu’en coût. Il se positionne au même niveau que GPT‑5.6 Sol et Fable 5/5.1 à une fraction du prix, et se rapproche de GPT‑6 Astra à un quart du coût. En pratique, le modèle médium initie sa première modification réelle après 18 pas en médiane, contre 48 pas pour SWE‑1.7, témoignant d’une exploration plus ciblée.

Les tests internes révèlent trois axes d’amélioration comportementale : une meilleure couverture de tests unitaires, une plus grande capacité à « contourner » les obstacles (ex. reconstruction de données à partir de l’historique Slack) et une discipline de vérification où le modèle re‑déduit les conclusions au lieu de les accepter tacitement. Ces traits se manifestent différemment selon le niveau d’effort : le mode medium privilégie la rapidité sur les tâches simples, tandis que les modes high et max consacrent davantage de temps à la planification et à la gestion d’incertitudes complexes.

Implications et limites

L’approche de coût‑penalisation linéaire ouvre la voie à une optimisation simultanée de plusieurs profils d’utilisation, mais elle repose sur une estimation précise de la pente de la courbe de Pareto, ce qui peut varier selon les distributions de tâches réelles. De plus, le post‑entraînement à partir de Kimi K33 implique que les biais inhérents à ce modèle se propagent, même si le RL ajoute 5‑6 points de performance sur plusieurs benchmarks. Enfin, le gain économique provient en partie d’une réduction du nombre de tours, ce qui pourrait limiter la profondeur d’exploration dans des scénarios nécessitant une compréhension fine du code legacy.