Google añade dos nuevas variantes de TPU para cargas de trabajo de IA confidenciales y con uso intensivo de memoria

Google anunció dos nuevas configuraciones de TPU —la TPU 8tx para computación confidencial y la TPU 8i Max para cargas de trabajo con uso intensivo de memoria—, lo que eleva a cuatro el número total de sistemas TPU enviados en un solo año, según The Decoder.

Qué pasó

The Decoder informa que la familia de aceleradores de IA de octava generación de Google ahora incluye la TPU 8tx y la TPU 8i Max. Ambas variantes utilizan el mismo silicio que los modelos anteriores, pero difieren en el empaquetado, las redes y la disposición de la memoria. La TPU 8tx está dirigida a empresas y agencias gubernamentales que necesitan mantener los datos y los pesos de los modelos cifrados incluso mientras el procesador está activo, una capacidad que, según Google, iguala la oferta de computación confidencial de Nvidia. Se basa en la red Boardfly de baja latencia de Google y afirma lograr hasta el doble de reducción de latencia en comparación con la anterior TPU 8t. La TPU 8i Max aborda el "cuello de botella de la memoria" al colocar dos chips TPU 8i en un solo paquete, ofreciendo el doble de computación, memoria y ancho de banda en el mismo espacio de rack. Más allá del hardware, Google lanzó TorchTPU como código abierto para que el código de PyTorch pueda ejecutarse en TPU con cambios mínimos, y añadió compatibilidad con marcos de inferencia como vLLM y SGLang. Este movimiento refleja un cambio estratégico desde el uso exclusivamente interno hacia una plataforma externa más amplia; la empresa cuenta ahora con casi 100 clientes externos de TPU.

Por qué es importante para los equipos pequeños de IA

Para las pequeñas empresas que ejecutan productos impulsados por IA, las nuevas variantes de TPU abren dos vías prácticas. Primero, el diseño de computación confidencial de la TPU 8tx le permite ajustar o destilar modelos en datos confidenciales sin descifrarlos nunca en la memoria, lo que reduce el riesgo de cumplimiento para las industrias reguladas. Segundo, el doble de ancho de banda de memoria de la TPU 8i Max puede acelerar la inferencia en bases de código grandes, transmisiones de video o agentes multimodales que de otro modo se bloquearían en el hardware estándar. Debido a que Google está posicionando las TPU como un servicio disponible en la nube en lugar de una herramienta interna propietaria, incluso un equipo de tamaño modesto puede acceder a estos aceleradores bajo demanda. El puente de código abierto TorchTPU significa que las canalizaciones de PyTorch existentes solo requieren ajustes menores, lo que reduce el esfuerzo de ingeniería en comparación con reescribir código para un nuevo marco. En resumen, las actualizaciones de hardware y software ofrecen a los equipos pequeños una opción realista para mejorar el rendimiento y la seguridad sin una renovación de hardware de varios años.

Qué hacer esta semana

1. Identifique cualquier dato confidencial o modelo propietario en sus canalizaciones actuales y realice una rápida comprobación de coste-beneficio para ver si el procesamiento cifrado en memoria de la TPU 8tx podría reemplazar un paso de CPU/GPU.
2. Clone el repositorio de TorchTPU, ejecute el cuaderno de ejemplo proporcionado en un modelo pequeño de PyTorch y anote cualquier cambio de código necesario para la compatibilidad con TPU.
3. Póngase en contacto con el departamento de ventas de Google Cloud para solicitar una instancia de TPU de prueba (incluida la configuración 8i Max) y evalúe una tarea de inferencia con uso intensivo de memoria frente a su configuración actual.

Fuentes

• Google ships four TPU variants in one year as it ramps up competition with Nvidia — The Decoder