Google dodaje dwa nowe warianty TPU do poufnych i pamięciochłonnych zadań AI

Google zapowiedziało dwie nowe konfiguracje TPU – TPU 8tx do poufnych obliczeń oraz TPU 8i Max do zadań wymagających dużej ilości pamięci – co zwiększa łączną liczbę systemów TPU dostarczonych w ciągu roku do czterech, jak podaje The Decoder.

Co się stało

The Decoder informuje, że ósmogeneracyjna rodzina akceleratorów AI od Google obejmuje teraz modele TPU 8tx i TPU 8i Max. Oba warianty wykorzystują ten sam krzem co wcześniejsze modele, ale różnią się obudową, siecią oraz układem pamięci. TPU 8tx jest skierowany do przedsiębiorstw i agencji rządowych, które muszą utrzymywać dane i wagi modeli zaszyfrowane nawet podczas pracy procesora – funkcję tę Google określa jako odpowiednik oferty obliczeń poufnych firmy Nvidia. Bazuje on na niskoopóźnieniowej sieci Boardfly od Google i zapewnia nawet dwukrotne skrócenie opóźnień w porównaniu do wcześniejszego TPU 8t. TPU 8i Max radzi sobie z „wąskim gardłem pamięci”, umieszczając dwa układy TPU 8i w jednej obudowie, co zapewnia podwójną moc obliczeniową, pamięć i przepustowość w tej samej szafie rackowej. Poza sprzętem, Google udostępniło jako open-source bibliotekę TorchTPU, dzięki której kod PyTorch może działać na TPU przy minimalnych zmianach, a także dodało obsługę frameworków inferencyjnych, takich jak vLLM i SGLang. Posunięcie to odzwierciedla strategiczną zmianę z użytku wyłącznie wewnętrznego na szerszą platformę zewnętrzną; obecnie firma liczy blisko 100 zewnętrznych klientów korzystających z TPU.

Dlaczego to ma znaczenie dla małych zespołów AI

Dla małych firm, które uruchamiają produkty oparte na sztucznej inteligencji, nowe warianty TPU otwierają dwie praktyczne ścieżki. Po pierwsze, projekt oparty na poufnych obliczeniach w TPU 8tx pozwala na dostrajanie lub dystylację modeli na wrażliwych danych bez ich odszyfrowywania w pamięci, co zmniejsza ryzyko zgodności z przepisami w regulowanych branżach. Po drugie, podwojona przepustowość pamięci w TPU 8i Max może przyspieszyć inferencję na dużych bazach kodu, strumieniach wideo lub agentach multimodalnych, które w przeciwnym razie zatrzymywałyby się na standardowym sprzęcie. Ponieważ Google pozycjonuje TPU jako usługę dostępną w chmurze, a nie autorskie narzędzie wewnętrzne, nawet zespół o umiarkowanej wielkości może uzyskać dostęp do tych akceleratorów w modelu płatności za faktyczne użycie. Mostek TorchTPU o otwartym kodzie źródłowym oznacza, że istniejące potoki PyTorch wymagają jedynie drobnych modyfikacji, co obniża nakład pracy inżynieryjnej w porównaniu do przepisywania kodu dla nowego frameworka. Krótko mówiąc, aktualizacje sprzętowe i programowe dają małym zespołom realistyczną opcję zwiększenia wydajności i bezpieczeństwa bez wieloletniej wymiany sprzętu.

Co zrobić w tym tygodniu

1. Zidentyfikuj wszelkie poufne dane lub zastrzeżone modele w obecnych procesach i przeprowadź szybką analizę kosztów i korzyści, aby sprawdzić, czy przetwarzanie z szyfrowaniem w pamięci w TPU 8tx mogłoby zastąpić krok procesora/karty graficznej.
2. Sklonuj repozytorium TorchTPU, uruchom dostarczony przykładowy notes na małym modelu PyTorch i zanotuj wszelkie zmiany w kodzie wymagane do kompatybilności z TPU.
3. Skontaktuj się z działem sprzedaży Google Cloud w celu uzyskania próbnej instancji TPU (w tym konfiguracji 8i Max) i przetestuj pamięciochłonny zadanie inferencji w porównaniu do obecnej konfiguracji.

Źródła

• Google ships four TPU variants in one year as it ramps up competition with Nvidia — The Decoder