Présentation du problème
Le problème KIRO est un problème de conception de réseau de fibres optiques qui nécessite de connecter des points de distribution et des terminaux en utilisant des boucles et des chaînes courtes tout en respectant plusieurs contraintes structurelles. L'objectif est de minimiser la longueur totale du câble.
Le problème est NP-dur, ce qui signifie que le temps de calcul nécessaire pour trouver une solution optimale augmente de manière exponentielle avec la taille du problème. Dans ce cas, le problème comporte 532 terminaux et 11 points de distribution, ce qui donne un espace de recherche énorme.
Résultats des expériences
Les expériences ont consisté à donner à Fable 5 et GPT-5.6 Sol le même problème KIRO, avec et sans leur mode natif /goal. Les résultats montrent que Fable 5 est nettement plus performant que GPT-5.6 Sol, avec une moyenne de 1 875 points de mieux que Sol sans /goal et de 1 984 points de mieux que Sol avec /goal.
Le mode /goal n'a pas été un facteur déterminant dans les résultats, car il a parfois amélioré les performances et parfois les a détériorées. Cela s'explique par le fait que /goal change la boucle de contrôle et le chemin de recherche, ce qui peut parfois trouver un meilleur optimum local et parfois donner plus de temps à une mauvaise idée pour se développer.
Analyse de la commande /goal
La commande /goal est implémentée différemment dans les deux modèles. Claude Code utilise un modèle d'évaluation séparé pour déterminer si l'objectif est atteint, tandis que Codex utilise un état persistant et des outils de cycle de vie pour gérer l'objectif.
Cela signifie que /goal peut être utile dans certains cas, mais qu'il peut également nuire aux performances si le modèle se concentre sur une mauvaise solution. Les résultats montrent que /goal a gagné la plupart des essais, mais a également détérioré les performances moyennes.
Limitations et reproduction
Les expériences ont été menées sur un seul problème NP-dur non publié et les résultats ne sont pas nécessairement généralisables à d'autres problèmes. Les autres modèles n'ont pas été testés de la même manière que Fable et Sol, et les essais ont été exécutés séquentiellement à travers des services d'abonnement qui peuvent avoir changé au fil du temps.
Les conteneurs ont exposé huit processeurs malgré les métadonnées de la tâche qui déclaraient un seul processeur, ce qui a favorisé les portefeuilles parallèles de Fable. Toutes les sorties de Fable et Sol ont été valides, en partie parce que l'enveloppe requérait des points de contrôle précoces et une vérification finale.
UV run python scripts/summarize_subscription_article_results.py RUN_ID...UV run python scripts/analyze_subscription_article_results.py RUN_ID...
