Présentation
Une étude empirique menée par ActPlane a analysé 2 116 instructions dans 64 dépôts GitHub populaires pour comprendre les règles des agents IA et leurs besoins en termes de contexte et de mise en œuvre en couches. Les résultats montrent que 64% des instructions sont des règles qui nécessitent, interdisent ou conditionnent une action spécifique de l'agent, tandis que 36% sont des contextes descriptifs.
Contexte technique
Les règles des agents IA nécessitent souvent un contexte pour être mises en œuvre de manière efficace. Par exemple, une règle qui exige de lancer la suite de tests avant de committer des modifications nécessite de savoir quels tests doivent être lancés, quels fichiers sources sont concernés et si les tests ont passé ou non. Les règles qui nécessitent un suivi d'état entre les événements sont également celles qui nécessitent le plus de contexte.
Fonctionnement des règles
Les règles des agents IA peuvent être classées en quatre catégories : semantic-only, content, per-event et cross-event. Les règles semantic-only concernent la raison, la communication ou le style de sortie, tandis que les règles content concernent les prédicats sur le contenu des fichiers. Les règles per-event concernent un seul événement, tel qu'un accès à un fichier ou une connexion réseau, tandis que les règles cross-event concernent des politiques qui dépendent de l'ordre temporel ou de la lignée de données entre les opérations.
Implications et limites
Les résultats de l'étude montrent que 83% des règles sont système-observables, ce qui signifie qu'elles peuvent être mises en œuvre par le système d'exploitation. Cependant, 64,2% des règles système-observables nécessitent un contexte de projet pour être mises en œuvre de manière efficace. Les règles cross-event sont particulièrement difficiles à mettre en œuvre, car elles nécessitent de suivre l'état entre les événements et de résoudre les chemins et les commandes concrètes nécessaires pour écrire la règle.
