Les modèles d'IA connaissent déjà la réponse

Présentation du problème

Les modèles d'IA sont souvent testés sur des problèmes du monde réel avec des réponses connues. Cependant, ces modèles ont souvent déjà lu les réponses sur internet, ce qui peut les amener à répéter des informations qu'ils connaissent déjà plutôt que de raisonner pour arriver à la réponse. Ce problème est appelé « contamination » et il est présent dans de nombreux benchmarks utilisés dans le domaine de l'IA.

Les trois voies de fuite de la réponse

La réponse peut atteindre le modèle par trois voies : la fuite d'entrée, la fuite de benchmark et la fuite de résultat. La fuite d'entrée se produit lorsque le modèle lit des documents qui contiennent la réponse, tandis que la fuite de benchmark se produit lorsque le modèle est entraîné sur le même ensemble de données que le benchmark. La fuite de résultat se produit lorsque le résultat est un fait public et que le modèle l'a absorbé pendant son entraînement.

Méthodes pour prévenir ou détecter les fuites

Il existe huit méthodes pour prévenir ou détecter les fuites, qui peuvent être regroupées en trois catégories en fonction de la voie de fuite qu'elles visent. Les méthodes pour prévenir la fuite d'entrée incluent l'utilisation d'outils de recherche qui refusent les documents publiés après la date de décision. Les méthodes pour prévenir la fuite de benchmark incluent l'utilisation de nouveaux ensembles de test ou de jeux de données privés. Les méthodes pour prévenir la fuite de résultat incluent l'utilisation de benchmarks en temps réel qui évaluent les modèles sur des événements qui n'ont pas encore eu lieu.

Exemple de code pour une méthode de prévention de la fuite d'entrée :
   # Utilisation d'un outil de recherche avec une limite de date
   search_tool = SearchTool(before_date=decision_date)
   result = search_tool.search(query)

Conclusion

Les modèles d'IA peuvent connaître déjà la réponse à une question en raison de la contamination, ce qui peut fausser les résultats des benchmarks. Il est important de prendre des mesures pour prévenir ou détecter les fuites, en utilisant des méthodes telles que les outils de recherche avec limite de date, les nouveaux ensembles de test ou les benchmarks en temps réel.