谷歌开源TorchTPU，TPU成PyTorch原生设备，CUDA最深的护城河开始松动

在圣何塞举办的 PyTorch Conference 2026 上，谷歌宣布开源 TorchTPU，这是一套能让 PyTorch 原生运行在 TPU 上的完整软件栈。从此，在 Hugging Face Transformers v5 中把模型部署到 TPU，只需传入一个参数即可。

这一参数变化背后，是谷歌在软件路线上的重大调整，也是英伟达 CUDA 生态近十年来遭遇的最直接挑战。

AI 芯片的竞争从来不只是硬件层面的比拼。PyTorch 作为全球使用最广泛的 AI 框架，自 2016 年诞生起就与 CUDA 深度绑定：英伟达工程师长期投入，确保 PyTorch 在 N 卡上表现最佳，甚至有分析师将 CUDA 视为英伟达最坚固的防线。相比之下，谷歌 TPU 十年来主要服务于 TensorFlow 和 JAX。PyTorch 用户若想使用 TPU，需通过 PyTorch/XLA 这类“转接层”，付出大量额外工程成本。

TorchTPU 改变了这一前提。按照谷歌官方说法，TPU 从此与 GPU、CPU 并列，成为 PyTorch 的原生选项。

项目由谷歌与 PyTorch 的“娘家”Meta 联合开发，vLLM、SGLang、Hugging Face、Ray、TorchTitan 等主流开源项目同步完成接入，一份 23 页的技术报告也同时发布在 arXiv 上。

时间点值得关注。过去一年，Anthropic 签下最多 100 万颗 TPU 的使用协议，Meta 也被曝与谷歌达成数十亿美元的 TPU 租用合约。硬件已具备市场，软件成为最后短板，现在谷歌要亲手补齐它。

不是又一个“转接头”

PyTorch 跑 TPU 并非新鲜事。技术报告回顾，谷歌早在 2020 年就推出了基于惰性张量的 PyTorch/XLA，并直言其问题：需要侵入式修改源码来划定可编译区域，编译延迟严重，不支持 PyTorch 原生的即时执行模式，对分布式新原语的跟进也很滞后。后来的 TorchAX 则将 PyTorch 算子逐个翻译成 JAX 执行。在报告看来，这些方案本质上都是让 PyTorch 去迁就 JAX 的运行方式。

TorchTPU 在 2025 年年中立项时就定下几条原则：运行时不依赖 JAX，即时执行必须扎实，把代码从 GPU 迁到 TPU 应当像把 .to("cuda") 改成 .to("tpu") 一样简单。

实现上，它基于 PyTorch 预留给第三方硬件的 PrivateUse1 接口，在 PyTorch 分发器中注册为一个新的 C++ 后端，开发者拿到的就是普通的 PyTorch 张量，没有子类或包装器。

即时执行被设计成三档：

• 默认的 Strict 模式逐个分发算子、与 CPU 异步执行，对应 GPU 上的常规体验；
• Debug 模式同步执行，用于排查形状错误和 NaN；
• 第三档 DeferAndFuse 是 TorchTPU 新引入的 即时与编译混合模式，先将一串算子累积起来，到需要取值时再自动融合成大块计算交给 TPU，速度比 Strict 模式快 50% 以上，还能降低峰值显存占用。

三种模式共享一套分层编译缓存，同样的算子序列编译一次即可反复复用。

追求极致性能时，开发者可切换到 torch.compile。谷歌在此做了刻意取舍：用 TorchDynamo 捕获计算图后，不走 PyTorch 默认的 Inductor 编译器，而是把算子映射到 StableHLO，交给 XLA 生成 TPU 程序。报告给出的理由：一是能复用为即时模式搭好的基础设施，二是 XLA 经过多年检验足够稳定，三是 Inductor 的成功很大程度上建立在 Triton 之上，而 Triton 很难移植到 TPU 架构。这从侧面说明，PyTorch 与 GPU 的绑定深入到了编译器这一层。

分布式方面，TorchTPU 在 Process Group 层实现了 TPU 集合通信，DDP、FSDP2 和 DTensor 开箱即用，还支持 rank 0 进程多做日志等额外工作的“不对称”写法，这是只支持 SPMD 的 PyTorch/XLA 做不到的。按照 PyTorch/XLA 官方文档的说法，TorchTPU 公开后将取代 PyTorch/XLA。

技术报告里的成绩单

覆盖面是第一张答卷。谷歌持续在 TPU 上测试 Hugging Face 下载量最高的约 5000 个模型，截至报告撰写时共 4917 个、横跨 500 多个架构族。其中 98% 能够跑通不崩溃，在 657 个代表性架构里，97% 的输出与 GPU 结果数值一致。

第二张答卷是 不做专门优化时的性能。谷歌只用 PyTorch 标准模块写了一个 30B 参数的 MuseGlimmer 模型，不调用任何模型专属的定制内核：单颗 TPU v7 上，5120 序列长度的预填充达到每秒 2.57 万 token，MFU 为 59%；在 4 颗 TPU v7 上训练，MFU 为 38%。把 TorchTitan 中原本为 GPU 编写的同款实现稍加修改搬过来，训练 MFU 也有 36%。

第三张答卷是 规模。在 Qwen3 235B MoE 模型上，64 颗 TPU v7 时 PyTorch 方案的吞吐达到谷歌自家 JAX 方案 MaxText 的约 94%。从 1024 颗芯片扩展到 8192 颗、即一整个 TPU v7 Pod，每个 TensorCore 的吞吐只下降约 6%，MFU 稳定在 27% 到 29% 之间，损失曲线在各个规模下几乎重合。官方博客另称，Qwen 3 8B 的训练 MFU 最高可达 52%。

换句话说，PyTorch 在 TPU 上和“亲儿子”JAX 之间的差距，已被压到个位数百分比。

推理侧的数据同样亮眼。据报告援引的 SemiAnalysis InferenceX 结果，TPU v7 搭配 vLLM-TorchTPU 在 8K 输入、1K 输出的场景下，每百万 token 成本降到 2.01 美分，比 9 月首次亮相时的 3.6 美分低了约四成。

报告还给出了几组案例：FLUX 训练从开箱即时模式到完整编译优化，单步时间从 11.49 秒降至 2.78 秒；Meta 的 DLRM v2 推荐模型在 32 颗 TPU v7x 上与谷歌高度优化的 JAX 基线完全持平。按报告的说法，TorchTPU 已在部分谷歌云大客户的生产环境中承担推理和训练任务。

一次“全家桶”式的开源

比技术本身更有分量的，是生态的完整度。

推理侧，与 Inferact 合作的 vLLM 后端、与 RadixArk 合作的 SGLang 后端都保留了上游原有的调度器和 API 服务器，现有推理栈无需改动；谷歌还联合 Red Hat、IBM 发布 llm-d 1.0，在 GKE 上让 GPU 与 TPU 共用同一个推理入口。

训练侧，TorchTitan 提供稠密模型、MoE 和扩散模型的预训练配方，强化学习框架 VeRL 合入了 TPU 后端，Ray 支持把同一工作流的不同阶段分别调度到 CPU、GPU 或 TPU。

端侧，前身为 TensorFlow Lite 的 LiteRT 正式加入 PyTorch 生态。TorchTPU、vLLM-TorchTPU、SGLang-TorchTPU 和 TorchTitan 四个核心仓库同步开源。

站台方的表态同样值得玩味。Meta PyTorch 工程总监 Jana van Greunen 直言，Meta 不能被单一硬件架构束缚，TorchTPU 已支撑起其 LLM、广告和推荐系统的关键生产场景。要知道，Meta 可是英伟达的超级大客户。

从内部代号到 GitHub

回看 TorchTPU 的路径，节奏相当紧凑。2025 年年中，项目在谷歌内部启动；同年 12 月，路透社首次披露这一代号，称谷歌正与 Meta 密切合作，并在考虑开源部分代码。2026 年 4 月，谷歌开发者博客公开技术架构，项目负责人在巴黎 PyTorch Conference Europe 上登台。9 月，TorchTPU 进入私有 Beta，并在 SemiAnalysis 的推理基准中首次亮相。到今天，整套栈正式开源。

从“考虑开源部分代码”到四个核心仓库全部公开、各大项目上游合入，谷歌给出的答案比外界预期的更彻底。

CUDA 护城河会被填平吗

一个更进一步的问题是：框架层的壁垒被拆除后，英伟达还剩下什么？

首先要看到，TorchTPU 抹平的是框架层，而不是硬件差异本身。报告自己也承认，只改一行 .to("tpu") 拿不到峰值性能，因为模型的形状、分片和算子选择可能本就偏向 GPU；TPU 的 TensorCore 本质上是单线程处理器，形状要足够宽才能喂饱矩阵单元，这与 GPU 靠并行跑大量小内核的思路截然不同。

一些细节差异同样需要迁移者留意：TorchTPU 默认采用 BF16 乘法加 FP32 累加，而 PyTorch 在 CUDA 上默认是完整 FP32；默认的集合通信编译方式会带来 30% 到 40% 的端到端损失，需要额外标注来优化；每颗 TPU 只能被一个进程访问，强化学习中训练与推理共置的做法暂时无法开箱支持。“能跑”和“跑得好”之间，仍然隔着 调优 的工作量。

其次，这并非谷歌一家的动作。PyTorch Conference 2026 上，AWS 也在讲 Trainium 走向原生 PyTorch 的历程，其 Neuron SDK 已于今年停止支持用 PyTorch/XLA 做训练，转向原生的 TorchNeuron。

PyTorch 正在变成一层事实上的硬件抽象层，PrivateUse1 则成了各家芯片接入的标准插槽。当所有硬件都能以原生方式跑同一份 PyTorch 代码，竞争焦点就会从“生态能不能用”转向“每美元能换来多少吞吐”，这恰恰是谷歌在发布稿里反复强调的指标。

当然，变量依然存在。报告中的大部分性能数据由谷歌自己测得，还需要社区在更多模型和场景中独立验证；TPU 能否以足够的产能和价格触达普通开发者，同样决定着这次开源的最终影响。谷歌也表示，未来 6 到 12 个月的重点是生产环境加固、动态形状支持以及面向下一代 TPU 的 FP8、FP4 量化。

但方向已经清晰。过去十年，选择 PyTorch 几乎就等于选择了 CUDA。从今天起，这道等式不再成立。

爱游戏平台（中国）官方网站入口 - AYX SPORTS 也关注到，这一开源举措将进一步推动 AI 硬件生态的多元化发展。