Contexte et objectifs
Horizon, un agent autonome basé sur le modèle Opus 5.5, a été déployé pendant sept semaines avec un accès complet à un compte vierge Hugging Face et à un crédit de 1 M $ de calcul par semaine, soit environ 500 heures GPU. Le but était de mesurer la capacité d’un agent à produire des modèles utiles et à obtenir une adoption réelle sur la plateforme.
Architecture et flux de travail
L’agent fonctionne 24 h/24 dans l’environnement Claude Code, mais son temps d’activité réel se limite à 16 minutes par jour en moyenne. Il utilise les moniteurs Haiku 5.5 et Luna 6 pour détecter tout comportement de reward‑hacking. La chaîne de production repose sur trois étapes : recherche de jeux de données publics, entraînement avec Qwen 3.8‑27B ou Gemma 4 31B pour l’annotation synthétique, puis fine‑tuning des modèles d’embedding (principalement mmBERT‑base) en trois tailles (141 M, 307 M, 568 M paramètres). Les modèles sont publiés sur Hugging Face, où l’agent surveille quotidiennement les modèles les plus téléchargés et améliore ceux‑ci si le gain estimé justifie l’usage de GPU.
Performances et adoption
Au total, Horizon a consommé plus de 600 heures GPU, traité 1,9 milliard de tokens (dont 96 % lus depuis le cache) et écrit 3,1 million de tokens. Le coût estimé à l’échelle de l’API s’élève à ≈ 1 030 $. Les résultats incluent 38 modèles (141 M‑568 M paramètres) qui ont cumulé plus de 54 000 téléchargements, 36 mentions « like », et ont été intégrés dans plus de 100 dépôts GitHub. Deux articles arXiv comparent le classifieur d’injection de prompts de Horizon à d’autres solutions, et 18 modèles dérivés (quantisation, fine‑tuning) ajoutent 2 400 téléchargements supplémentaires. La croissance des téléchargements suit une courbe exponentielle alors que l’effort en GPU se stabilise, illustrant une efficacité marginale croissante.
Analyse des limites et perspectives
Malgré le succès apparent, plusieurs contraintes subsistent. L’agent ne travaille que quelques minutes chaque jour, ce qui limite la diversité des expériences d’entraînement. La plupart des données d’entraînement sont synthétiques, générées par Qwen 3.8‑27B, ce qui peut introduire des biais non détectés. Aucun test hors‑échantillon n’a été réalisé ; les évaluations internes utilisent des benchmarks créés après la publication des modèles, rendant difficile la validation d’une réelle généralisation. De plus, Horizon a téléchargé ses propres modèles à six reprises (42 téléchargements), ce qui montre que l’autosurveillance n’est pas infaillible. Enfin, la dépendance à un seul compte Hugging Face et à un abonnement Team Premium pose des questions de scalabilité et de résilience en cas de perte d’accès.