Contexte et objectifs

Le site Pelican‑bicycle alternatives compile trente consignes de dessin SVG soumises à des modèles de langage en 2025 et 2026. Chaque consigne décrit un animal exécutant une tâche mécanique (ex. « Generate an SVG of an octopus operating a pipe organ »). L’objectif affiché est d’évaluer la capacité des LLM à synthétiser du code vectoriel à partir d’instructions textuelles, tout en illustrant la diversité créative des sorties.

Mécanisme de génération SVG

Les modèles employés sont la version Claude Fable 5.1, entraînée sur des corpus de code et de description d’images. Le processus se déroule en deux étapes : le prompt texte est tokenisé, puis le modèle prédit séquentiellement les balises SVG (éléments <path>, <circle>, etc.). La sortie est directement rendue par le navigateur sans post‑traitement. Le site indique que les 2026 run ont produit des résultats pour les dix premiers prompts, chaque prompt étant traité par six modèles distincts, alors que les 2025 run en ont généré dix. Cette différence de nombre de modèles reflète une expérimentation de densité de génération.

Generate an SVG of an octopus operating a pipe organ

Le code SVG retourné typiquement commence par <svg width="200" height="200"> suivi de chemins décrivant les tentacules et le clavier de l’orgue, démontrant que le modèle possède une représentation interne des formes géométriques associées aux concepts « octopus » et « pipe organ ».

Analyse des performances et limites

Sur les dix premiers prompts, les six modèles de 2026 produisent des rendus plus cohérents en termes de proportion et de lisibilité que les dix modèles de 2025, suggérant une amélioration du calibrage du décodage de balises SVG. Cependant, aucune métrique quantitative (taux de succès, score de fidélité visuelle) n’est fournie, ce qui empêche une comparaison rigoureuse. De plus, les prompts au-delà du numéro 10 restent non générés en 2026, indiquant soit une limitation de capacité de calcul, soit un choix de sélection de sous‑ensemble. L’absence de validation automatisée du SVG (ex. vérification de la conformité W3C) expose le processus à des erreurs syntaxiques qui peuvent rendre le fichier illisible.

Un autre point critique réside dans la sémantique des objets complexes : le modèle doit associer un animal à un instrument ou à un engin, ce qui implique une compréhension multimodale non explicitement entraînée. Les résultats montrent parfois des incohérences, comme des tentacules qui ne touchent pas les touches de l’orgue, révélant les limites de la représentation spatiale interne du modèle.

Perspectives d’évolution

Pour renforcer la fiabilité, il serait pertinent d’intégrer un module de validation SVG post‑génération, capable de corriger les balises manquantes ou mal imbriquées. L’ajout de métriques d’évaluation basées sur la comparaison pixel‑wise entre le rendu attendu et le rendu produit permettrait de quantifier la qualité. Enfin, l’extension du benchmark à d’autres formats vectoriels (PDF, EPS) offrirait une vue plus large des capacités de génération de code graphique des LLM.