À l'aube de l'ère des agents, nouvelle frontière technologique en intelligence artificielle, Google a fondamentalement repensé sa stratégie matérielle. Abandonnant l'approche antérieure consistant à utiliser un seul processeur universel pour gérer à la fois les tâches d'apprentissage et d'inférence, l'entreprise a désormais développé et présenté deux semi-conducteurs sur mesure : le TPU 8t dédié à l'apprentissage à grande échelle et le TPU 8i dédié à l'inférence haute fréquence. Ces deux innovations ont été officiellement annoncées le 23 mars lors de la conférence Cloud Next 2026 à Las Vegas. Le côté Google a souligné que le marché de l'IA est en train de se diviser rapidement entre la phase de développement des modèles et la phase opérationnelle de déploiement dans les services réels, et que cette nouvelle gamme de puces a été conçue spécifiquement pour répondre à cette évolution de la demande.

Si la génération précédente, le TPU Ironwood, constituait une plateforme flagship unique préparée pour l'ère de l'inférence, la caractéristique la plus marquante de cette nouvelle génération réside dans sa structure dualisée. Cette évolution répond à l'expansion rapide des technologies d'agents d'IA, qui ont provoqué une augmentation simultanée et explosive de la demande d'infrastructures permettant d'entraîner des modèles encore plus massifs et d'infrastructures d'inférence capables d'exécuter ces modèles rapidement et efficacement dans des environnements cloud. Pour refléter cette réalité, Google a adopté une stratégie clairement distinguant les composants dédiés à l'apprentissage et ceux dédiés à l'inférence, manifestant ainsi sa volonté d'optimiser les performances et l'efficacité pour les caractéristiques spécifiques de chaque étape.

Le TPU 8t est une puce axée sur les charges de travail d'apprentissage pré-entraînement et centrées sur l'embedding. En appliquant une topologie de réseau torique 3D, il maximise la scalabilité des grands clusters, permettant de connecter jusqu'à 9 600 puces par pod, surpassant ainsi le précédent record de 9 216. Son cœur repose sur la technologie SparseCore et le support des opérations en virgule flottante à 4 bits. SparseCore agit comme un accélérateur dédié pour traiter les accès mémoire irréguliers fréquents lors des processus de recherche de grands modèles de langage, tandis que la combinaison avec des opérations à faible bit réduit la charge sur la bande passante mémoire. Grâce à cela, le débit est doublé tout en maintenant la précision avec une utilisation de mémoire réduite, s'alignant parfaitement avec les tendances de quantification qui réduisent le nombre de bits par paramètre, permettant ainsi de réduire simultanément la consommation d'énergie et l'empreinte spatiale.

Le TPU 8i est conçu spécifiquement pour l'étape d'inférence lors du déploiement des modèles entraînés dans des services réels, excelle dans le post-traitement des grands modèles et l'inférence haute fréquence demandée par de nombreux utilisateurs simultanément. Selon Google, cette puce intègre trois fois plus de RAM statique que les modèles précédents, permettant de stocker les grands caches de valeurs de clé nécessaires à l'inférence des LLM, ce qui augmente considérablement la vitesse de génération de texte. De plus, l'application du système d'inférence Collectives Acceleration Engine accélère les opérations de synchronisation et de réduction nécessaires aux processus de décodage auto-régressif et d'inférence en chaîne. L'introduction d'une topologie de réseau personnalisée appelée Boardfly ICI permet d'interconnecter jusqu'à 1 152 puces, réduisant la distance de déplacement des paquets de données et le nombre de sauts, ce qui diminue le nombre total de sauts de communication d'un maximum de 50 %.

L'enjeu de ce coup de Google réside dans sa capacité à secouer le marché dominé par NVIDIA. Le TPU 8t et le 8i affichent tous deux une performance par watt deux fois supérieure à celle de la génération précédente, garantissant ainsi une efficacité énergétique ; ce facteur est déterminant pour la rentabilité des grands centres de données IA. Au-delà de la simple annonce de nouveaux produits semi-conducteurs, cette annonce signale le début de la séparation stratégique de l'infrastructure IA de Google entre entraînement et inférence. Dans un contexte où la concurrence sur les services d'IA passe désormais de la performance des modèles aux coûts opérationnels, à la vitesse de réponse et au débit simultané, cette stratégie vise à renforcer le poids du portefeuille cloud. Bien que le marché s'attende à ce que la vitesse d'adoption par les clients réels et la compatibilité logicielle avec l'écosystème NVIDIA soient les variables clés du succès ou de l'échec, l'expansion des agents IA qui fait croître simultanément la demande pour l'apprentissage et l'inférence rend très probable que cette stratégie de dualisation de Google devienne un point de bifurcation majeur de la future concurrence sur les infrastructures IA.