GLM 5.2 presque aussi précis qu'un comptable humain

Présentation de GLM 5.2

GLM 5.2 est un modèle d'IA open weights qui a été évalué sur la tâche de préparation de déclarations de taxe sur la valeur ajoutée (TVA) trimestrielle pour une petite entreprise britannique. La préparation d'une déclaration de TVA est une tâche de conformité typique pour les petites et moyennes entreprises (PME) au Royaume-Uni. Les entreprises enregistrées pour la TVA au Royaume-Uni doivent préparer une déclaration de TVA chaque trimestre.

Fonctionnement de GLM 5.2

GLM 5.2 a pu préparer une déclaration de TVA presque parfaite pour une PME britannique, en traitant 59 transactions en 68 minutes au coût de 2,73 USD. Le modèle a dû saisir chaque transaction dans le logiciel comptable via un outil en ligne de commande (CLI). Nous avons évalué l'état final du logiciel comptable, en évaluant la correction de 6 critères par transaction. Le modèle a produit une déclaration de TVA essentiellement correcte, avec la position nette (case 5) écartée de seulement 7 pence (~10 centimes US) par rapport à la vérité de terrain.

Analyse scientifique des résultats

Les résultats montrent que GLM 5.2 est capable de préparer des déclarations de TVA avec une grande précision, mais pas sans erreurs. Sur 354 vérifications (59 transactions x 6 critères), le modèle a échoué 20, répartis sur 18 transactions. Seule 1 erreur est grave, liée au traitement des actions de fondation. Le modèle a choisi de comptabiliser les actions de fondation comme un compte de capital, ce qui a des implications légales et pourrait avoir un impact sur l'entreprise en cas d'audit ou de dépôt des comptes annuels.

Implications et limites

Les résultats de cette évaluation montrent que GLM 5.2 est un outil puissant pour la préparation de déclarations de TVA, mais qu'il nécessite encore des améliorations pour atteindre la précision d'un comptable humain. Les erreurs commises par le modèle sont principalement dues à des limitations dans la compréhension du contexte et des règles comptables. Il est important de noter que le coût de GLM 5.2 est inférieur à 1% du coût d'un comptable humain, ce qui en fait une solution intéressante pour les petites entreprises.

GLM 5.2 a utilisé un outil en ligne de commande (CLI) pour saisir les transactions dans le logiciel comptable.