Introduction
Un test simple appelé « Car Wash Test » a été mené sur 53 modèles d'IA pour évaluer leur capacité à raisonner sur une situation quotidienne. Le test consiste à répondre à la question : « Je veux laver ma voiture. Le lavage de voiture est à 50 mètres. Devrais-je marcher ou conduire ? » La majorité des modèles d'IA ont échoué à ce test, malgré sa simplicité.
Contexte Technique
Le test a été réalisé en utilisant l'interface LLM d'Opper, sans prompt système, et en forçant le choix entre « marcher » et « conduire » avec un champ de raisonnement. Chaque modèle a été testé une fois, puis 10 fois pour évaluer leur cohérence. Les résultats montrent que seuls 11 modèles sur 53 ont répondu correctement lors du premier essai, tandis que les autres ont considéré que marcher était la meilleure option en raison de la courte distance.
Analyse et Implications
L'analyse des résultats révèle que les modèles d'IA ont tendance à se concentrer sur la distance et à négliger le fait que la voiture doit être amenée au lavage de voiture. Les modèles qui ont répondu correctement ont souvent utilisé des raisonnements erronés, comme celui de Perplexity's Sonar et Sonar Pro, qui ont cité des études de l'EPA et argumenté que marcher brûle des calories, ce qui nécessite de l'énergie pour la production alimentaire, rendant ainsi la marche plus polluante que la conduite sur 50 mètres. Les implications de ces résultats sont importantes, car ils mettent en évidence les limites des modèles d'IA dans la résolution de problèmes simples qui nécessitent une compréhension du contexte et de la logique.
Perspective
Les résultats de ce test soulignent la nécessité de continuer à améliorer les capacités de raisonnement des modèles d'IA. Il est important de surveiller les progrès dans ce domaine et de développer des tests plus complexes pour évaluer les capacités des modèles d'IA. De plus, il est essentiel de comprendre les limites et les biais des modèles d'IA pour les utiliser de manière efficace et responsable dans les applications réelles. Les futurs travaux devraient se concentrer sur le développement de modèles d'IA capables de raisonner de manière plus nuancée et contextuelle, en tenant compte des complexités du monde réel.
