Contexte du départ
Jacob Coxon, chercheur senior chez Anthropic, a annoncé son départ en mars 2024. Dans une interview, il indique que la décision résulte d’une divergence de vision concernant la vitesse d’expansion des modèles de langage. Anthropic, qui a levé plusieurs centaines de millions de dollars depuis sa création, développe la série Claude, dont la dernière version compte plus d’un milliard de paramètres. Coxon précise que la pression pour augmenter la taille des modèles s’est intensifiée au cours des deux dernières années.
Arguments avancés par le chercheur
Coxon met en avant trois points techniques. Premièrement, il souligne que le coût du calcul disponible a suivi une courbe exponentielle, avec des clusters GPU capables de délivrer plusieurs exaflops de puissance, ce qui permet d’entraîner des modèles à l’échelle de plusieurs dizaines de milliards de paramètres en quelques semaines. Deuxièmement, il rappelle que les techniques d’apprentissage par renforcement avec retour humain (RLHF) sont de plus en plus intégrées, mais que leur stabilité dépend d’un calibrage fin des récompenses, un processus encore fragile. Troisièmement, il évoque les mécanismes de sécurité internes d’Anthropic, notamment le « Constitutional AI », qui repose sur un jeu de règles explicites ; il estime que ces règles ne couvrent pas l’ensemble des comportements émergents observés à grande échelle.
Analyse technique des risques évoqués
Les observations de Coxon reposent sur des faits mesurables. L’augmentation du nombre de paramètres entraîne une hausse du nombre de poids à optimiser, ce qui multiplie les chemins de dérivation possibles lors de l’inférence. Cette complexité rend plus difficile la vérification formelle des réponses du modèle. De plus, l’usage intensif de RLHF introduit une boucle de rétroaction où les préférences humaines sont traduites en fonctions de perte ; toute incohérence dans ces fonctions peut générer des comportements inattendus, comme la génération de contenus trompeurs. Enfin, le cadre Constitutional AI, bien qu’efficace pour filtrer certaines sorties, repose sur une liste de règles statiques qui ne s’adaptent pas automatiquement aux nouvelles capacités du modèle, créant un écart entre les intentions de conception et les résultats observés.
Perspectives et limites
Le départ de Coxon met en lumière la tension entre accélération du développement et exigences de sécurité. Si les ressources de calcul continuent de croître, les équipes devront investir davantage dans des protocoles de test à grande échelle, incluant des simulations d’interaction prolongées. Cependant, l’article ne fournit pas de données précises sur les taux d’erreur ou les incidents de dérive observés, ce qui limite l’évaluation quantitative du problème. En l’absence de métriques détaillées, il reste difficile de mesurer l’impact réel des mécanismes de sécurité actuels et de déterminer quelles améliorations techniques seraient les plus efficaces.
