Présentation

Google a annoncé l’ajout de deux puces spécialisées à la famille Tensor Processing Unit (TPU) de huitième génération : le TPU 8i Max, dédié aux fenêtres de contexte très larges, et le TPU 8tx, conçu pour l’inférence confidentielle. Ces deux accélérateurs visent à répondre aux exigences de densité de calcul et de protection des données qui émergent avec les modèles d’IA de nouvelle génération.

Architecture et performances

Le TPU 8i Max double les capacités de son prédécesseur, le TPU 8i, sur trois axes majeurs : compute, SRAM et mémoire à bande passante élevée (HBM). Concrètement, il offre deux fois plus d’unités de calcul, deux fois plus de SRAM intégrée et deux fois plus de HBM, ce qui minimise les échanges de données entre puces et réduit la latence. Cette augmentation de mémoire sur puce permet de garder les données en local, évitant les swaps coûteux lorsqu’une fenêtre de contexte s’étend. Google indique que le 8i Max peut ainsi supporter les modèles « Gemini frontier » qui traitent jusqu’à un million de tokens, soit environ 750 000 mots ou 1 500 pages de texte. Le facteur de densité physique est également amélioré : le même nombre de puces est intégré dans un rack de même empreinte, ce qui diminue la surface au sol et le wattage par pied carré.

Sécurité et confidentialité

Le TPU 8tx cible les charges de travail où la confidentialité est critique. Il intègre un enclave matériel qui isole les données sensibles et les poids du modèle pendant l’inférence, même lorsque le modèle doit être décodé pour le traitement. Cette enclave repose sur la même architecture que le TPU 8t, mais ajoute des hôtes CPU AMD personnalisés pour gérer les opérations de chiffrement et de déchiffrement. Le résultat est une plateforme capable d’exécuter des modèles de pointe ou propriétaires dans des environnements réglementés (gouvernements, secteurs de la santé, finance) sans transférer les données vers des clusters séparés, limitant ainsi les vecteurs de fuite.

Implications et limites

Ces deux puces renforcent la proposition de valeur de Google Cloud pour les clients qui souhaitent développer, affiner et déployer des modèles d’IA à grande échelle tout en maîtrisant les coûts d’infrastructure et les exigences de conformité. Le doublement de la mémoire et du calcul du 8i Max ouvre la porte à des applications nécessitant des contextes de plusieurs centaines de milliers de tokens, comme l’analyse de documents juridiques longs ou la génération de code sur de vastes bases. En revanche, l’efficacité du 8tx dépend de la capacité des développeurs à exploiter les enclaves matérielles, ce qui peut imposer des contraintes de portabilité et de complexité logicielle. Enfin, l’article ne fournit pas de métriques de performance chiffrées (TOPS, latence) ni de comparaison directe avec les concurrents, limitant l’évaluation objective de l’avantage compétitif.