Google aggiunge due nuove varianti di TPU per carichi di lavoro di intelligenza artificiale riservati e ad alta intensità di memoria

Google ha annunciato due nuove configurazioni di TPU: la TPU 8tx per il calcolo riservato e la TPU 8i Max per i carichi di lavoro ad alta intensità di memoria, portando a quattro il numero totale di sistemi TPU rilasciati in un solo anno, secondo quanto riportato da The Decoder.

Cosa è successo

The Decoder riferisce che la famiglia di acceleratori AI di ottava generazione di Google include ora la TPU 8tx e la TPU 8i Max. Entrambe le varianti utilizzano lo stesso silicio dei modelli precedenti, ma differiscono per packaging, networking e layout di memoria. La TPU 8tx si rivolge ad aziende e agenzie governative che devono mantenere i dati e i pesi dei modelli crittografati anche mentre il processore è attivo, una capacità che secondo Google eguaglia l'offerta di calcolo riservato di Nvidia. Si affida alla rete a bassa latenza Boardfly di Google e dichiara una riduzione della latenza fino al doppio rispetto alla precedente TPU 8t. La TPU 8i Max affronta il "collo di bottiglia della memoria" inserendo due chip TPU 8i in un unico pacchetto, offrendo il doppio di calcolo, memoria e larghezza di banda nello stesso spazio rack. Oltre all'hardware, Google ha rilasciato TorchTPU come open source in modo che il codice PyTorch possa essere eseguito su TPU con modifiche minime, e ha aggiunto il supporto per framework di inferenza come vLLM e SGLang. Questa mossa riflette un cambiamento strategico dall'uso esclusivamente interno a una piattaforma esterna più ampia; l'azienda conta ora quasi 100 clienti TPU esterni.

Perché è importante per i piccoli team di AI

Per le piccole aziende che gestiscono prodotti basati sull'AI, le nuove varianti di TPU aprono due strade pratiche. Innanzitutto, il design di calcolo riservato della TPU 8tx consente di effettuare il fine-tuning o la distillazione di modelli su dati sensibili senza mai decrittarli in memoria, riducendo il rischio di conformità per i settori regolamentati. In secondo codebase, flussi video o agenti multimodali che altrimenti rallenterebbero sull'hardware standard. Poiché Google sta posizionando le TPU come servizio disponibile sul cloud anziché come strumento interno proprietario, anche un team di dimensioni modeste può accedere a questi acceleratori con una formula pay-as-you-go. Il bridge open-source TorchTPU significa che le pipeline PyTorch esistenti richiedono solo modifiche minori, riducendo lo sforzo ingegneristico rispetto alla ristesura del codice per un nuovo framework. In breve, gli aggiornamenti hardware e software offrono ai piccoli team un'opzione realistica per incrementare prestazioni e sicurezza senza un rinnovo hardware pluriennale.

Cosa fare questa settimana

1. Identifica eventuali dati riservati o modelli proprietari nelle tue pipeline attuali ed esegui una rapida verifica costi-benefici per vedere se l'elaborazione crittografata in memoria della TPU 8tx potrebbe sostituire un passaggio CPU/GPU.
2. Clona il repository TorchTPU, esegui il notebook di esempio fornito su un piccolo modello PyTorch e annota eventuali modifiche al codice necessarie per la compatibilità con le TPU.
3. Contatta le vendite di Google Cloud per un'istanza TPU di prova (inclusa la configurazione 8i Max) ed esegui un benchmark di un'attività di inferenza pesante sulla memoria rispetto alla tua configurazione attuale.

Fonti

• Google ships four TPU variants in one year as it ramps up competition with Nvidia — The Decoder