Présentation des nouveaux TPUs

Google a annoncé deux nouvelles générations de Tensor Processing Units, le 8i Max et le 8tx. Les deux modèles sont présentés comme adaptés à l’« agentic era », c’est‑à‑dire aux charges de travail où les modèles d’IA sont déployés en boucle de décision autonome. L’article du blog Google indique que les puces sont disponibles sur Google Cloud ainsi que dans les centres de données internes, ce qui permet aux développeurs d’accéder à la puissance TPU sans investissement matériel.

Architecture et performances

Les deux variantes reposent sur la même architecture de base que les TPU de génération précédente, mais avec un nombre accru d’unités de matrice et une bande passante mémoire supérieure. Google précise que le 8i Max cible les charges de travail d’inférence à grande échelle, tandis que le 8tx est optimisé pour l’entraînement de modèles très volumineux. Les deux puces offrent une densité de calcul qui dépasse la génération antérieure, ce qui se traduit par une réduction du temps de latence pour les requêtes d’inférence et une accélération du temps d’entraînement pour les modèles de plusieurs milliards de paramètres.

Le 8i Max intègre une mémoire HBM2e plus large, ce qui limite les échanges de données entre la mémoire et les unités de calcul. Le 8tx, quant à lui, bénéficie d’une interconnexion améliorée entre les puces, facilitant le scaling horizontal dans les pods TPU. Ces améliorations sont décrites comme essentielles pour supporter les modèles d’IA qui nécessitent des échanges de paramètres fréquents.

Intégration cloud et cas d’usage

Sur Google Cloud, les TPUs 8i Max et 8tx sont accessibles via les mêmes API que les versions antérieures. L’article fournit un extrait de code TensorFlow montrant comment sélectionner la nouvelle TPU dans un environnement de formation :

import tensorflow as tf
resolver = tf.distribute.cluster_resolver.TPUClusterResolver(tpu='8tx')
tf.config.experimental_connect_to_cluster(resolver)
strategy = tf.distribute.TPUStrategy(resolver)
with strategy.scope():
    model = tf.keras.Sequential([...])
    model.compile(optimizer='adam', loss='sparse_categorical_crossentropy')
    model.fit(dataset, epochs=10)

Ce fragment illustre la continuité de l’expérience développeur tout en exploitant les capacités accrues des nouvelles puces. Google cite des partenaires qui utilisent déjà les TPUs 8i Max pour la génération de texte en temps réel et le 8tx pour la formation de modèles de vision à grande résolution.

Limites et perspectives

Bien que les performances annoncées soient supérieures, l’article ne fournit pas de chiffres chiffrés détaillés (TFLOPS, capacité mémoire exacte, latence). Cette absence rend difficile la comparaison quantitative avec les TPU v4 ou d’autres accélérateurs du marché. De plus, l’accès aux nouvelles puces reste limité aux régions cloud où Google a déployé l’infrastructure, ce qui peut contraindre les équipes qui nécessitent une disponibilité globale.

Google indique que les TPUs 8i Max et 8tx seront progressivement intégrés dans les futures offres de Vertex AI, ce qui devrait élargir leur utilisation dans les pipelines de production. La stratégie semble viser une standardisation des charges de travail d’inférence et d’entraînement sur une même famille de matériel, réduisant ainsi la friction entre les phases de développement et de déploiement.