Google fügt zwei neue TPU-Varianten für vertrauliche und speicherintensive KI-Workloads hinzu

Google hat zwei neue TPU-Konfigurationen angekündigt – den TPU 8tx für vertrauliche Berechnungen und den TPU 8i Max für speicherintensive Workloads – womit die Gesamtzahl der in einem Jahr ausgelieferten TPU-Systeme auf vier steigt, berichtet The Decoder.

Was ist passiert

Laut The Decoder umfasst die achte Generation der KI-Beschleuniger-Familie von Google nun den TPU 8tx und den TPU 8i Max. Beide Varianten nutzen denselben Siliziumchip wie frühere Modelle, unterscheiden sich jedoch in der Verpackung, der Vernetzung und dem Speicherlayout. Der TPU 8tx richtet sich an Unternehmen und Regierungsbehörden, die Daten und Modellgewichte verschlüsselt halten müssen, selbst wenn der Prozessor aktiv ist – eine Fähigkeit, die laut Google dem Angebot für vertrauliche Berechnungen von Nvidia entspricht. Er nutzt das Boardfly-Netzwerk von Google mit niedriger Latenz und verspricht bis zu eine Verdopplung der Latenzreduzierung im Vergleich zum vorherigen TPU 8t. Der TPU 8i Max löst das „Speicherengpass“-Problem, indem er zwei TPU 8i-Chips in einem einzigen Gehäuse unterbringt und damit die doppelte Rechenleistung, den doppelten Speicher und die doppelte Bandbreite im gleichen Rack-Fußabdruck liefert. Neben der Hardware hat Google TorchTPU als Open Source veröffentlicht, damit PyTorch-Code mit minimalen Änderungen auf TPUs ausgeführt werden kann, und Unterstützung für Inferenz-Frameworks wie vLLM und SGLang hinzugefügt. Dieser Schritt spiegelt einen strategischen Wandel von der rein internen Nutzung hin zu einer breiteren externen Plattform wider; das Unternehmen zählt nun fast 100 externe TPU-Kunden.

Warum es für kleine KI-Teams wichtig ist

Für kleine Unternehmen, die KI-gestützte Produkte betreiben, eröffnen die neuen TPU-Varianten zwei praktische Wege. Erstens ermöglicht das Design für vertrauliche Berechnungen des TPU 8tx das Feintuning oder die Destillation von Modellen auf sensiblen Daten, ohne diese im Speicher jemals zu entschlüsseln, was das Compliance-Risiko für regulierte Branchen verringert. Zweitens kann die verdoppelte Speicherbandbreite des TPU 8i Max die Inferenz auf großen Codebasen, Videostreams oder multimodalen Agenten beschleunigen, die auf Standardhardware sonst ins Stocken geraten würden. Da Google TPUs als in der Cloud verfügbaren Service und nicht als proprietäres internes Werkzeug positioniert, können auch Teams mittlerer Größe auf diese Beschleuniger nach dem Pay-as-you-go-Modell zugreifen. Die Open-Source-Brücke TorchTPU bedeutet, dass bestehende PyTorch-Pipelines nur geringfügige Anpassungen benötigen, was den Engineering-Aufwand im Vergleich zum Neuschreiben von Code für ein neues Framework senkt. Kurz gesagt bieten die Hardware- und Software-Updates kleinen Teams eine realistische Option, Leistung und Sicherheit zu steigern, ohne einen mehrjährigen Hardware-Refresh durchführen zu müssen.

Was diese Woche zu tun ist

1. Identifizieren Sie vertrauliche Daten oder proprietäre Modelle in Ihren aktuellen Pipelines und führen Sie eine kurze Kosten-Nutzen-Analyse durch, um zu prüfen, ob die verschlüsselte In-Memory-Verarbeitung des TPU 8tx einen CPU/GPU-Schritt ersetzen könnte.
2. Klonen Sie das TorchTPU-Repository, führen Sie das mitgelieferte Beispiel-Notebook auf einem kleinen PyTorch-Modell aus und notieren Sie die für die TPU-Kompatibilität erforderlichen Codeänderungen.
3. Wenden Sie sich an den Vertrieb von Google Cloud, um eine Test-TPU-Instanz (einschließlich der 8i Max-Konfiguration) zu erhalten, und benchmarken Sie eine speicherintensive Inferenz-Aufgabe im Vergleich zu Ihrer bestehenden Einrichtung.

Quellen

• Google ships four TPU variants in one year as it ramps up competition with Nvidia — The Decoder