Présentation de SWE-1.7
SWE-1.7 est le modèle le plus capable que nous avons entraîné jusqu'à présent. Il atteint un niveau d'intelligence de pointe à un coût nettement inférieur, améliorant ainsi la courbe de Pareto coût-performance. Les améliorations de SWE-1.7 sont le résultat d'une amélioration générale de notre pipeline d'apprentissage par renforcement (RL) : meilleure infrastructure, formation plus stable, données de meilleure qualité et nouvelles techniques pour les tâches à long terme.
Architecture et fonctionnement
SWE-1.7 a été formé à partir d'une base Kimi K2.7, qui avait déjà subi un apprentissage par renforcement post-formation étendu. Les gains importants obtenus grâce à notre propre formation remettent en question l'idée d'un « plafond post-formation » et suggèrent que l'apprentissage par renforcement peut pousser les capacités bien au-delà de ce qui était précédemment cru. Notre modèle est particulièrement optimisé pour les tâches asynchrones à long terme, un élément important de l'ingénierie logicielle de haute qualité.
Améliorations techniques
Pour former SWE-1.7, nous avons abordé plusieurs défis techniques clés, notamment la préservation de l'entropie et la stabilisation de la formation, l'entraînement multi-cluster et la tolérance aux erreurs, la curation de données de haute qualité et l'auto-compactage pour les tâches à long terme. Nous avons également mis en œuvre des techniques telles que l'échantillonnage top-p et la répétition de la distribution d'échantillonnage pour prévenir la collapse de l'entropie et améliorer la stabilité de la formation.
top-p sampling :
tokens avec des probabilités inférieures à un certain seuil sont exclus de l'échantillonnage,
réduisant ainsi le bruit de gradient et permettant à l'algorithme d'optimisation de se concentrer sur les jetons à signal d'apprentissage élevé.Implications et limites
Les résultats de SWE-1.7 montrent que l'apprentissage par renforcement peut être poussé bien au-delà de ce qui était précédemment cru, en particulier avec des techniques telles que l'échantillonnage top-p et la répétition de la distribution d'échantillonnage. Cependant, il est important de noter que ces techniques nécessitent une infrastructure et des données de haute qualité pour être efficaces. De plus, la formation de modèles de pointe comme SWE-1.7 nécessite une grande quantité de données et de ressources computationnelles, ce qui peut limiter leur adoption et leur utilisation dans certaines applications.
