Google ajoute deux nouvelles variantes de TPU pour les charges de travail IA confidentielles et gourmandes en mémoire

Google a annoncé deux nouvelles configurations de TPU — le TPU 8tx pour le calcul confidentiel et le TPU 8i Max pour les charges de travail gourmandes en mémoire — portant le nombre total de systèmes TPU livrés en une seule année à quatre, selon The Decoder.

Ce qui s'est passé

The Decoder rapporte que la famille d'accélérateurs IA de huitième génération de Google inclut désormais le TPU 8tx et le TPU 8i Max. Les deux variantes utilisent la même puce que les modèles antérieurs, mais diffèrent par leur emballage, leur réseau et leur organisation de la mémoire. Le TPU 8tx s'adresse aux entreprises et aux organismes gouvernementaux qui doivent garder les données et les poids des modèles chiffrés même lorsque le processeur est actif, une capacité que Google affirme correspondre à l'offre de calcul confidentiel de Nvidia. Il s'appuie sur le réseau Boardfly à faible latence de Google et revendique jusqu'à deux fois moins de latence par rapport au TPU 8t précédent. Le TPU 8i Max s'attaque au « goulot d'étranglement de la mémoire » en plaçant deux puces TPU 8i dans un seul boîtier, offrant ainsi le double de la puissance de calcul, de la mémoire et de la bande passante dans le même encombrement de rack. Au-delà du matériel, Google a publié TorchTPU en open source afin que le code PyTorch puisse s'exécuter sur les TPU avec un minimum de modifications, et a ajouté la prise en charge de frameworks d'inférence tels que vLLM et SGLang. Cette démarche reflète un changement stratégique, passant d'une utilisation exclusivement interne à une plateforme externe plus large ; l'entreprise compte désormais près de 100 clients TPU externes.

Pourquoi c'est important pour les petites équipes IA

Pour les petites entreprises qui exploitent des produits pilotés par l'IA, les nouvelles variantes de TPU ouvrent deux voies pratiques. D'une part, la conception du TPU 8tx pour le calcul confidentiel permet d'ajuster ou de distiller des modèles sur des données sensibles sans jamais les déchiffrer en mémoire, réduisant ainsi le risque de conformité pour les industries réglementées. D'autre part, la bande passante mémoire doublée du TPU 8i Max peut accélérer l'inférence sur de grandes bases de code, des flux vidéo ou des agents multimodaux qui seraient autrement bloqués sur du matériel standard. Comme Google positionne les TPU comme un service disponible dans le cloud plutôt que comme un outil interne propriétaire, même une équipe de taille modeste peut accéder à ces accélérateurs sur une base de paiement à l'usage. Le pont TorchTPU open source signifie que les pipelines PyTorch existants n'exigent que de légères ajustements, réduisant l'effort d'ingénierie par rapport à la réécriture du code pour un nouveau framework. En résumé, les mises à jour matérielles et logicielles offrent aux petites équipes une option réaliste pour améliorer les performances et la sécurité sans un renouvellement matériel multi-annuel.

Ce qu'il faut faire cette semaine

1. Identifier les données confidentielles ou les modèles propriétaires dans vos pipelines actuels et effectuer une rapide analyse coût-bénéfice pour voir si le traitement chiffré en mémoire du TPU 8tx pourrait remplacer une étape CPU/GPU.
2. Cloner le dépôt TorchTPU, exécuter le notebook d'exemple fourni sur un petit modèle PyTorch et noter les modifications de code nécessaires pour la compatibilité TPU.
3. Contacter les équipes de vente de Google Cloud pour une instance TPU d'essai (y compris la configuration 8i Max) et effectuer un benchmark d'une tâche d'inférence gourmande en mémoire par rapport à votre configuration existante.

Sources

• Google ships four TPU variants in one year as it ramps up competition with Nvidia — The Decoder