Google voegt twee nieuwe TPU-varianten toe voor vertrouwelijke en geheugenintensieve AI-taken

Google heeft twee nieuwe TPU-configuraties aangekondigd: de TPU 8tx voor vertrouwelijke computing en de TPU 8i Max voor geheugenintensieve taken. Hiermee komt het totale aantal in één jaar uitgebrachte TPU-systemen op vier, aldus The Decoder.

Wat is er gebeurd

The Decoder meldt dat Google's achtste generatie AI-acceleratorfamilie nu de TPU 8tx en TPU 8i Max omvat. Beide varianten gebruiken dezelfde siliciumchips als eerdere modellen, maar verschillen in verpakking, netwerk en geheugenindeling. De TPU 8tx is gericht op ondernemingen en overheidsinstanties die gegevens en modelgewichten versleuteld willen houden, zelfs wanneer de processor actief is. Volgens Google is dit vergelijkbaar met het vertrouwelijke computing-aanbod van Nvidia. Het systeem maakt gebruik van Google's Boardfly-netwerk met lage latentie en claimt tot tweemaal minder latentie dan de eerdere TPU 8t. De TPU 8i Max pakt het "geheugenknelpunt" aan door twee TPU 8i-chips in één behuizing te plaatsen, wat dubbele rekenkracht, geheugen en bandbreedte oplevert in dezelfde rackruimte.

Naast hardware heeft Google TorchTPU als open source uitgebracht, zodat PyTorch-code met minimale wijzigingen op TPU's kan draaien. Ook is er ondersteuning toegevoegd voor inferentieframeworks zoals vLLM en SGLang. Deze stap weerspiegelt een strategische verschuiving van intern gebruik naar een breder extern platform; het bedrijf telt inmiddels bijna 100 externe TPU-klanten.

Waarom dit belangrijk is voor kleine AI-teams

Voor kleine bedrijven die AI-gedreven producten draaien, openen de nieuwe TPU-varianten twee praktische wegen. Ten eerste zorgt het vertrouwelijke computing-ontwerp van de TPU 8tx ervoor dat je modellen kunt fijnregelen of distilleren op gevoelige gegevens zonder deze ooit in het geheugen te ontsleutelen, wat het nalevingsrisico voor gereguleerde industrieën verkleint. Ten tweede kan de verdubbelde geheugenbandbreedte van de TPU 8i Max de inferentie versnellen van grote codebases, videostreams of multimodale agents die anders op standaordhardware zouden stagneren.

Omdat Google TPU's positioneert als een in de cloud beschikbaar link in plaats van een propriëtaire interne tool, kan zelfs een bescheiden team op pay-as-you-go-basis toegang krijgen tot deze accelerators. De open-source TorchTPU-brug betekent dat bestaande PyTorch-pijplijnen slechts kleine aanpassingen vereisen, wat de inspanning verlaagt in vergelijking met het herschrijven van code voor een nieuw framework. Kortom, de hardware- en software-updates geven kleine teams een realistische optie om de prestaties en beveiliging te verbeteren zonder een meerjarige hardwarevernieuwing.

Wat je deze week kunt doen

1. Identificeer vertrouwelijke gegevens of propriëtaire modellen in je huidige pijplijnen en voer een snelle kosten-batenanalyse uit om te zien of de in-memory versleutelde verwerking van de TPU 8tx een CPU/GPU-stap kan vervangen.
2. Kloon de TorchTPU-repository, voer het meegeleverde voorbeeldnotitieblok uit op een klein PyTorch-model en noteer eventuele codewijzigingen die nodig zijn voor TPU-compatibiliteit.
3. Neem contact op met de verkoop van Google Cloud voor een proefversie van een TPU-instantie (inclusief de 8i Max-configuratie) en benchmark een geheugenintensieve inferentietaak ten opzichte van je bestaande opzet.

Bronnen

• Google ships four TPU variants in one year as it ramps up competition with Nvidia — The Decoder