Présentation de Hetzner Inference

Hetzner expérimente l'inférence LLM avec son produit Hetzner Inference, qui est actuellement en phase de test. Il s'agit d'une API compatible OpenAI, qui utilise le modèle Qwen/Qwen3.6-35B-A3B-FP8, un modèle de 35 milliards de paramètres. Cette API est gratuite et sans garantie de production pour le moment.

Fonctionnement de l'API

L'API de Hetzner Inference est compatible avec les clients OpenAI et peut être utilisée de la même manière que les autres API d'inférence. Le modèle Qwen est actuellement le seul disponible et il est possible de l'utiliser pour des tâches de traitement de texte et d'image. La création d'un jeton d'API et la connexion à l'API peuvent être effectuées via le tableau de bord Experiments.

pip install openai
from openai import OpenAI
client = OpenAI(
    base_url="https://inference.hetzner.com/api/v1",
    api_key="YOUR_TOKEN",
)
response = client.chat.completions.create(
    model="Qwen/Qwen3.6-35B-A3B-FP8",
    messages=[
        {"role": "user", "content": "Explain why the sky is blue in one sentence."}
    ],
    extra_body={
        "chat_template_kwargs": {
            "enable_thinking": False,
        }
    },
)
print(response.choices[0].message.content)

Implications et limites

Les performances de l'API ont été testées et ont montré des temps de réponse rapides, avec un temps médian de 153 ms pour les premiers jetons et 224 jetons de sortie par seconde. Cependant, ces résultats sont basés sur des tests limités et ne constituent pas une garantie de performance pour une utilisation à grande échelle. Hetzner doit encore démontrer sa capacité à gérer des charges importantes et à proposer des modèles plus grands et plus complexes.

Analyse de l'expérimentation

L'expérimentation de Hetzner avec l'inférence LLM peut être vue comme une tentative de diversifier ses offres et de tirer parti de son expertise en matière d'infrastructure et de matériel. Cependant, pour devenir un fournisseur d'inférence important, Hetzner devra proposer des modèles plus grands et plus complexes, ainsi que des capacités de traitement plus importantes. La prochaine annonce de matériel sera cruciale pour déterminer la stratégie future de l'entreprise dans ce domaine.