Google 开源了 TorchTPU,这使得在 TPU 上运行 PyTorch 变得更加容易。
Google 将 TorchTPU 开源,为 PyTorch 开发者提供了在该公司张量处理单元(TPU)上原生运行模型的方法。Google 还宣布在 vLLM 和 SGLang 推理引擎、TorchTitan 训练框架、Ray 以及 Hugging Face 的库中支持 TPU。那些默认使用 GPU 运行 PyTorch 编写模型的团队获益最大。Google 表示,这些工作负载现在可迁移至其定制 AI 芯片 TPU,且迁移成本极低……