抢占式算力如何避免训练中断?

抢占式算力的价值在于降低训练成本，风险则在于资源可能被回收。要避免一次回收让长时间训练付诸东流，关键不在于“尽量不被中断”，而在于把训练设计成可暂停、可迁移、可恢复的任务。抢占式实例应被视为随时可能退出的执行载体，而不是可靠的任务状态载体。

训练连续性的第一道防线是 Checkpoint。模型参数、优化器状态以及恢复训练所需的关键信息，应定期持久化到独立于计算实例的存储中。实例被回收后，新资源只需读取最近一次保存点即可继续运行。保存间隔需要权衡：过密会增加写入与存储开销，过疏则会让中断后的重复计算扩大。合理标准不是追求某个固定频率，而是让单次恢复损失处于任务可接受范围内。

把恢复能力交给调度链路

仅有 Checkpoint 还不够。平台需要能够识别资源中断，为任务补充替代实例，并将任务重新调度到可用资源上。若替代资源只绑定单一规格或单一资源来源，库存不足时恢复链路仍会停滞。因此，训练任务应预先配置可接受的多个资源组合，让调度器在原有资源不可用时具备绕行空间。

对有明确交付时间的训练，不宜把全部负载押在抢占式资源上。更稳妥的结构是以稳定资源承载不可中断或进度敏感的部分，将容错性较高的微调、实验和批处理放入抢占式资源池；当低价资源被回收且任务时限不能继续放宽时，再由按量资源兜底。成本优化的对象应是任务总成本，而非单个 GPU 的最低价格。

先定义哪些任务可以被抢占

在线推理通常更强调连续性，离线训练则更适合接受暂停与恢复。两类负载共用资源时，应明确优先级：高优先级任务需要资源时，低优先级训练可以让出计算资源，但前提是其状态已经安全保存。没有恢复机制的抢占，本质上只是把中断风险转移给研发团队。

上线前，一次小规模中断恢复演练比资源规模宣传更有意义：确认训练是否能写入 Checkpoint，资源释放后是否会触发替代实例，替代实例能否读取最新状态并继续训练。只有这条链路完整闭环，抢占式算力才会从“不稳定的低价资源”变成可控的弹性训练能力。