我们在训练中途终止了 TPU,并在数秒内恢复:MaxText 弹性训练简介
分布式 AI 训练以脆弱著称,因为单个机器的故障通常会导致整个多节点任务崩溃,迫使进行耗时且完整的负载基础设施重启。为解决这一问题,Google 的 JAX 生态系统通过 Pathways 实现弹性训练,将硬件故障转化为可捕获的 Python 异常,从而使运行进程得以存活。当发生非计划故障时,系统会自动替换故障的 worker,从 Cloud Storage 恢复最后一个可用的检查点,并在原地继续训练——将总停机时间最小化至两分钟以内,且无需重启主控制器进程。