谷歌推出两种针对机密和内存密集型AI工作负载的新TPU变体

据 The Decoder 报道，谷歌宣布推出两种新的 TPU 配置——用于机密计算的 TPU 8tx 和用于内存密集型工作负载的 TPU 8i Max，这使得在一年内推出的 TPU 系统总数达到四个。

发生了什么

The Decoder 报道称，谷歌的第八代AI加速器系列现在包括 TPU 8tx 和 TPU 8i Max。这两种变体使用与早期型号相同的芯片，但在封装、网络和内存布局上有所不同。TPU 8tx 旨在满足企业和政府机构的需求，这些机构需要确保数据和模型权重在处理器活动时也保持加密状态，谷歌表示这与英伟达的机密计算产品相媲美。它依赖于谷歌低延迟的 Boardfly 网络，并声称与先前的 TPU 8t 相比，延迟减少了多达两倍。TPU 8i Max 通过在单个封装中放置两个 TPU 8i 芯片来解决“内存瓶颈”问题，在相同的机架占地面积内提供双倍的计算能力、内存和带宽。除了硬件之外，谷歌还开源了 TorchTPU，以便 PyTorch 代码只需做极小改动即可在 TPU 上运行，同时它还增加了对 vLLM 和 SGLang 等推理框架的支持。此举反映了谷歌从仅供内部使用向更广泛的外部平台战略转变；该公司目前拥有近 100 个外部 TPU 客户。

为什么这对小型AI团队很重要

对于运行AI驱动产品的小型公司来说，新的 TPU 变体开辟了两条实用的途径。首先，TPU 8tx 的机密计算设计允许您在敏感数据上微调或蒸馏模型，而无需在内存中将其解密，从而降低了受监管行业的合规风险。其次，TPU 8i Max 倍增的内存带宽可以加速大型代码库、视频流或多模态智能体的推理，否则这些任务在标准硬件上会停滞不前。由于谷歌将 TPU 定位为云端可用服务而非专有内部工具，即使是规模较小的团队也可以按需使用这些加速器。开源的 TorchTPU 桥接意味着现有的 PyTorch 管道只需进行微小调整，与为新框架重写代码相比，降低了工程工作量。简而言之，硬件和软件更新为小团队提供了一个切实的选项，无需进行多年的硬件升级即可提升性能和安全性。

本周该做些什么

1. 识别当前管道中的任何机密数据或专有模型，并运行快速的成本效益检查，看看 TPU 8tx 的内存加密处理是否可以取代 CPU/GPU 步骤。
2. 克隆 TorchTPU 仓库，在小型 PyTorch 模型上运行提供的示例笔记本，并记录 TPU 兼容性所需的任何代码更改。
3. 联系谷歌云销售部门获取试用 TPU 实例（包括 8i Max 配置），并针对您现有的设置对内存密集型推理任务进行基准测试。

来源

• Google ships four TPU variants in one year as it ramps up competition with Nvidia — The Decoder