Contexte et objectifs

L’auteur a exploité une instance AWS F2, équipée d’un FPGA avec 16 GB de mémoire HBM, pour exécuter un modèle d’inférence à poids ternaires développé par DeepGrove. Le but était de vérifier si des agents de génération de code (Claude, OpenAI, Astra, Opus) pouvaient produire le C++ et le Verilog nécessaires, puis optimiser la vitesse d’inférence jusqu’à un débit exploitable en temps réel.

Architecture matérielle et optimisation mémoire

Le design repose sur un moteur de multiplication ternaire qui élimine les multiplicateurs classiques : chaque poids de 2 bits contrôle un multiplexeur 3 : 1 sélectionnant x, ~x ou 0. Cette approche réduit de moitié le nombre de DSP comparé à un design INT8/INT16, au prix d’une utilisation accrue des LUT. Les négations sont réalisées par ~x + 1, et les drapeaux de négatif permettent d’ajouter le +1 une fois par ligne plutôt que par voie latérale.

Les activations sont stockées en INT12 ou INT16 selon la plage requise, agrégées en FP32 après multiplication, puis normalisées via RMSNorm différée : la quantisation précède la normalisation, ce qui diminue la charge de calcul tout en conservant la précision numérique.

La mémoire HBM, organisée en 32 canaux, est exploitée par un routage en chaîne unique par canal, maintenant chaque canal occupé. Les poids, compressés à 2 bits, sont injectés directement dans les voies de calcul sans passer par les tampons internes, ce qui minimise la latence et la consommation d’énergie, surtout en mode batch = 1 où le coût de récupération des poids domine.

Un cache KV de type MXINT8, avec un exposant partagé par bloc de 32 canaux, permet un streaming efficace tout en conservant la précision requise pour les modèles de type MoE.

Processus d’automatisation et performances obtenues

Le flux de travail a généré environ 3 M de lignes de code C++/Verilog et a analysé 30 M de lignes de sortie, le tout pour un coût de 10 000 $ en tokens Claude/OpenAI. Les agents ont d’abord produit un modèle fonctionnel à 6 tokens/s, puis, après plusieurs itérations d’optimisation guidées par des prompts humains, ont atteint 213 tokens/s, soit un facteur 33 d’amélioration.

Les itérations ont inclus la répartition des 8 cœurs en deux clusters, l’exécution simultanée des projections indépendantes, et la mise en place de tampons typés avec cycle de vie explicite (open → write → commit → read → release). Ces tampons intègrent des vérifications de format et de plage, ce qui a permis de détecter des bugs de planification matériel sans recourir à des simulations cycle‑accurates longues.

Limites et perspectives

Le projet repose sur un modèle de poids ternaires, ce qui implique une perte de précision potentielle non quantifiée dans l’article. L’absence de simulation détaillée empêche d’évaluer la robustesse du design face à des variations de timing ou de température. De plus, la dépendance à des agents de génération de code rend difficile la reproductibilité exacte sans les mêmes prompts et le même budget de tokens. Enfin, le débit de 213 tokens/s reste marginal pour des charges de travail IA à grande échelle, mais démontre que, avec une architecture mémoire optimisée et des poids ultra‑compressés, un FPGA cloud peut approcher des performances temps réel pour des modèles spécialisés.