Inception v3 dépasse GPT‑6 Astra et Claude Fable en diagnostic cutané

Contexte et objectif

Le test porte sur 200 lésions cutanées tirées du jeu de données public MILK10k, publié en 2025 par l’International Skin Imaging Collaboration. Chaque lésion possède une photo clinique et une image dermoscopique, toutes confirmées par histopathologie. L’échantillon comprend 30 mélanomes, 25 carcinomes basocellulaires, 25 carcinomes épidermoïdes, 20 kératoses actiniques, 50 naevus bénins et 50 kératoses séborrhéiques. L’objectif était de comparer la capacité de diagnostic de deux grands modèles de langage (LLM) – GPT‑6 Astra et Claude Fable 5.1 – avec un réseau de neurones convolutionnel (CNN) de dix ans, Inception v3, lorsqu’ils reçoivent les mêmes images.

Méthodologie d’entraînement et d’évaluation du CNN

Inception v3, publié par Google en 2015, a été initialement pré‑entraîné sur des photographies grand public. Il a ensuite été affiné sur 68 011 images cliniques et dermoscopiques provenant de l’ISIC Archive, en utilisant un unique GPU Nvidia H100. Le processus de fine‑tuning a duré environ vingt minutes et a impliqué la mise à jour de toutes les couches du réseau. Aucun des 200 cas de test, ni aucune image du même patient, n’a été présent dans les ensembles d’entraînement, de validation ou de test, garantissant ainsi l’absence de fuite de données. Le modèle a évalué les deux vues de chaque lésion, en appliquant un poids majoritaire à l’image dermoscopique, puis a sélectionné l’une des six diagnostics possibles.

Résultats quantitatifs et analyse des performances

Sur les 200 lésions, le CNN a correctement identifié le diagnostic dans 125 cas, soit 62 % de précision, contre 84 (42 %) pour GPT‑6 Astra et 85 (42 %) pour Claude Fable 5.1. En autorisant un second choix, le CNN a atteint 173 bonnes réponses (86 %) contre 134 (67 %) et 138 (69 %) pour les deux LLM. Pour les mélanomes, le CNN a correctement nommé 13 sur 30 (43 %), alors que les LLM en ont nommé respectivement 8 et 11. Sur les lésions bénignes, le CNN a reconnu 37 des 50 naevus et 26 des 50 kératoses séborrhéiques, contre 16/50 et 33/50 (naevus) ainsi que 13/50 et 6/50 (kératoses) pour les deux LLM. Le CNN a également affiché un AUC de 0,96 sur l’ensemble complet du jeu de données ISIC, contre 0,86 dans le sous‑ensemble de 200 lésions, illustrant une perte de performance liée à la difficulté accrue du test.

Limites et perspectives

Le nombre limité de cas (200) introduit une incertitude statistique, notamment pour les 30 mélanomes où la marge d’erreur est large. Chaque requête LLM a été exécutée une seule fois, alors que leurs réponses varient d’une exécution à l’autre. Le jeu de données MILK10k étant public depuis 2025, les LLM ont potentiellement déjà vu ces images pendant leur pré‑entraînement, ce qui aurait pu les avantager. Inception v3 reste une architecture de référence et non l’état de l’art ; les systèmes modernes utilisent des transformeurs d’images et des ensembles de modèles entraînés sur des volumes de données supérieurs, atteignant des performances cliniques supérieures. Néanmoins, le fait que le réseau puisse s’exécuter intégralement dans un navigateur mobile via WebGPU, sans transfert de données, montre la viabilité d’applications locales à faible empreinte pour le dépistage dermatologique.