Contexte et méthodologie

Le test décrit 668 protéines bactériennes et archéennes provenant de 167 familles Pfam d‑fonction inconnue. Aucun membre de ces familles ne possède de structure résolue, plus de trois publications, ni de proche homologue dans UniProt. Chaque séquence est découpée en cinq points ; le modèle doit générer les dix résidus suivants et l’évaluation porte sur le premier résidu. Le paramètre « thinking » est fixé au niveau le plus bas afin d’isoler la capacité de mémorisation séquentielle.

Résultats sur les protéines peu étudiées

Claude Fable 5.2 prédit correctement le résidu suivant dans 54 % des cas sur les séquences réelles, contre seulement 9 % sur les versions aléatoires des mêmes séquences. Claude Opus 5.5 atteint des performances similaires à ProtGPT3‑10B, le plus grand modèle ouvert dédié aux protéines. Aucun des modèles testés – GPT‑6 Astra, Gemini 4 Carbon, DeepSeek V4.1 Flash, Qwen 3.8, Kimi K3.1 Pro, GLM‑5.3, MiniMax M3, gpt‑oss‑120b, Nemotron 3 Ultra – n’obtient pas plus d’un pourcent d’exactitude, même lorsqu’ils continuent simplement le texte FASTA.

Sur les 668 coupes, Fable 5.2 produit une chaîne complète de dix résidus corrects dans 88 cas, Opus 5.5 dans 12, et aucun modèle ne le fait sur les séquences mélangées. La probabilité de poursuivre correctement augmente après chaque résidu correct : Opus 5.5 passe de 47 % après un résidu à 68 % après quatre résidus consécutifs.

Comparaison avec les modèles de référence

Les modèles de langage protéique purement séquentiels, ProtGPT3‑10B (10 M paramètres) et ProGen3‑3B, servent de repère. Fable 5.2 dépasse largement les deux, tandis qu’Opus 5.5 se situe au même niveau que ProtGPT3‑10B et en dessous de ProGen3‑3B. Les modèles ESM, qui utilisent le contexte bidirectionnel, affichent des scores inférieurs car la tâche de continuation unilatérale est plus difficile pour eux.

Lorsque la taille des familles augmente, les performances d’Opus 5.5 et de Fable 5.2 croissent de façon proportionnelle, avec un plafonnement de Fable 5.2 autour de 300 séquences par famille. Cette corrélation confirme que la richesse en séquences d’entraînement est le facteur déterminant.

Implications et limites

Le fait que les modèles Claude réussissent sur des protéines sans aucune mention dans la littérature indique qu’ils ont intégré une part substantielle de séquences protéiques dans leur corpus d’entraînement, contrairement aux modèles généralistes qui ne retiennent que les fragments fréquemment cités. En revanche, la capacité d’Opus 5.5 à prédire des fenêtres codantes humaines (25 réussites sur 500 fenêtres de 20 nucléotides) montre une connaissance limitée du génome complet : le modèle ne généralise pas aux régions non codantes.

Ces observations ouvrent la question de l’utilisation de Claude pour des tâches de pliage ou d’évaluation d’impact des mutations, fonctions actuellement exploitées par les représentations internes d’ESM‑2. Toutefois, l’étude ne fournit pas de mesures directes de performance sur le pliage ou le scoring de variants, ce qui constitue une limite à l’interprétation des résultats.