Principe de rentabilité

Le site sunkcost.ai propose un modèle qui compare le coût d’acquisition d’un serveur dédié à l’inférence d’un grand modèle de langage (LLM) avec les dépenses d’un service cloud équivalent. Le point d’équilibre, ou break‑even, correspond au nombre de mois d’utilisation nécessaire pour que les dépenses d’énergie et d’amortissement du matériel égalent les factures mensuelles d’un fournisseur SaaS.

Modèle de calcul de performance

Le calcul repose sur la vitesse locale estimée à partir de la bande passante mémoire du système. La formule présentée dans l’article est :

tokens_per_second = memory_bandwidth / bytes_per_token

où memory_bandwidth s’exprime en gigaoctets par seconde et bytes_per_token représente la quantité de données lues en mémoire pour générer un token. Cette approche suppose que le goulot d’étranglement est la lecture mémoire, ce qui est souvent vrai pour les modèles de grande taille où les poids ne tiennent pas entièrement dans le cache.

Paramètres ajustables

L’outil autorise la modification de plusieurs hypothèses : prix d’achat du serveur (GPU, CPU, RAM), coût énergétique (Watt·heure), taux d’utilisation quotidien, et tarif mensuel du service cloud. En variant ces paramètres, l’utilisateur peut observer l’impact direct sur le nombre de mois requis pour atteindre le seuil de rentabilité. Par exemple, une réduction de 20 % du prix du GPU décale le point d’équilibre de deux à trois mois, tandis qu’une hausse de 10 % du coût énergétique l’allonge d’un mois.

Limites de l’estimation

Le modèle ne mesure pas la latence réelle ni les variations de charge de travail. Il ne tient pas compte des coûts indirects tels que la maintenance, les mises à jour logicielles ou les frais de refroidissement supplémentaires. De plus, la valeur bytes_per_token est souvent approximative ; elle dépend du modèle exact (GPT‑2, LLaMA, etc.) et de la quantification appliquée. Sans mesures empiriques, l’estimation reste théorique et doit être validée par des benchmarks sur le matériel cible.