Introduction
L'explicabilité de l'IA est un sujet crucial pour les systèmes de production, mais les méthodes actuelles sont souvent inadaptées. Les explications fournies par les modèles d'IA sont souvent trop lentes, inconsistantes et déconnectées du modèle lui-même.
Contexte Technique
Les méthodes d'explicabilité de l'IA, telles que SHAP, présentent des limites importantes. Par exemple, SHAP nécessite des données de fond et un échantillonnage, ce qui peut entraîner des explications différentes à chaque exécution. De plus, la latence est imprévisible et les journaux d'audit ne sont pas déterministes.
Le problème réside dans l'architecture actuelle, qui sépare le modèle de prédiction de l'explicateur. Cela signifie que l'on tente d'expliquer un système déterministe à l'aide d'un processus stochastique, ce qui n'est pas fiable.
Analyse et Implications
Les implications de cette approche sont importantes. Les systèmes qui nécessitent des décisions en temps réel, une traçabilité et une cohérence ne peuvent pas fonctionner avec des explications qui sont boltées, lentes et probabilistes.
Une alternative consiste à intégrer les règles symboliques dans le modèle de neurones, de sorte que les explications soient générées lors du passage avant. Cela permet d'obtenir des explications déterministes et cohérentes, sans post-traitement ni échantillonnage.
Perspective
Il est essentiel de repenser l'architecture des systèmes d'IA pour intégrer l'explicabilité de manière native. Cela signifie passer d'une approche boltée à une approche intégrée, où les explications sont générées par le modèle lui-même. Seule ainsi pouvons-nous développer des systèmes d'IA fiables et explicables qui répondent aux besoins des applications en production.
