Contexte et objectifs du benchmark
DAYJOB : Tax fait partie de la famille de benchmarks DAYJOB développée par Surge AI pour mesurer les capacités des agents IA dans des missions fiscales professionnelles. Le test comporte 50 environnements couvrant huit domaines (impôt individuel, PME, partenariats, immobilier, successions, fiscalité internationale, transactions d’entreprise, contentieux). Chaque scénario fournit des requêtes client, des pièces justificatives variées et exige la production d’un livrable complet (déclaration, notes de travail, avis). L’évaluation repose sur un seuil de 95 % d’exigences satisfaites, appelé pass@1, afin de garantir que les réponses respectent les critères de calcul, de preuve, d’identification des enjeux conséquents et de forme finale.
Architecture des environnements et richesse des données
Les 50 missions sont stockées dans 1 789 fichiers de travail, avec une médiane de 30 fichiers par mission et un maximum de 123. Le corpus comprend 1 487 PDF, 117 classeurs Excel, 38 documents Word, ainsi que des courriels, images, CSV, JSON et textes bruts. Les contenus reproduisent fidèlement les dossiers fiscaux réels : déclarations déposées et brouillons, formulaires K‑1, W‑2, avis de l’IRS, registres de paie, contrats et correspondances. Cette diversité impose aux agents de gérer plusieurs formats, d’extraire des données structurées (ex. : montants dans des feuilles Excel) et de raisonner sur des preuves non standardisées, comme la lecture d’une photo de reçu manuscrit pour ajuster le coût des marchandises vendues.
Performances des modèles et limites observées
Le tableau de bord indique que Claude Sonnet 5.5 obtient le meilleur taux de réussite, 10,8 % de passages, suivi de Claude Fable 5.1 à 9,6 % et Claude Opus 5.5 à 9,2 %. Tous les scores restent modestes, soulignant la difficulté du jugement professionnel. Un exemple illustratif : dans le cas d’Anna, qui envisage de vendre son condo, l’agent Astra a correctement évalué les dates de clôture mais a omis le délai de résidence obligatoire (août 2027). Opus a identifié ce point critique dans chaque tentative, montrant une meilleure prise en compte des conséquences financières. Un autre scénario montre Opus 5.5 recommandant de séparer des comptes de retraite en supposant que le couple n’était pas marié, alors que les pièces jointes laissaient planer un doute sur la validité d’un mariage reconnu dans certains États. Astra a demandé une vérification du statut marital dans quatre essais, tandis qu’Opus a persévéré dans son hypothèse erronée.
You aren't legally married, so neither account can be split without triggering taxes and penalties.Implications pour l’évaluation des IA fiscales
Les résultats révèlent deux axes d’amélioration : la capacité à identifier les enjeux non explicitement demandés et la robustesse face à des documents hétérogènes. Le coût moyen par essai, comparé aux performances, place Sonnet 5.5 et Opus 5.5 sur le front de Pareto haute performance‑coût, suggérant que l’optimisation économique ne sacrifie pas la précision. Toutefois, le faible taux de réussite indique que les modèles actuels ne remplacent pas encore un conseiller fiscal humain, surtout lorsqu’une décision dépend d’une interprétation juridique subtile ou d’une donnée manquante. DAYJOB : Tax fournit ainsi un banc d’essai réaliste pour orienter les futures itérations d’agents IA vers une meilleure prise de décision professionnelle.
