présentation
Le coût de l’IA peut être élevé, notamment en raison de la comparaison des modèles par leur prix par 1 million de tokens. Cependant, ce critère est incomparable en raison des différences de tokenisation entre les laboratoires et les modèles.
fonctionnement des tokeniseurs
Chaque laboratoire utilise son propre tokeniseur, qui détermine le nombre de tokens dans un texte. Par exemple, le même texte peut être divisé en 160 tokens pour le modèle GPT-4o et en 200 tokens pour le modèle GPT-4. De plus, les tokeniseurs sont souvent modifiés, ce qui peut entraîner des variations importantes dans le nombre de tokens.
analyse des coûts réels
La variance extrême de l’efficacité des tokens est un autre facteur important à prendre en compte. Même si le prix par token est le même, la quantité de travail effectuée par token peut varier considérablement. Les modèles peuvent consacrer une grande partie de leur temps de calcul à des tâches cachées, ce qui peut augmenter considérablement le coût total.
implications et limites
Les résultats de l’analyse montrent que le prix par million de tokens n’est pas un indicateur de coût significatif. Les modèles les plus chers par token ne sont pas nécessairement les plus efficaces, et les modèles les moins chers ne sont pas nécessairement les plus rentables. Il est donc important de considérer le coût réel par tâche pour prendre des décisions éclairées lors de la sélection de modèles.
