检测 Amazon SageMaker HyperPod 上的静默数据损坏并从中恢复

原文：Detecting and recovering from silent data corruption on Amazon SageMaker HyperPod

无声数据损坏是一种 GPU 故障，它会返回错误但看似合理的数字，而且没有任何错误，从而悄悄地毒害分布式训练。本文向 PyTorch DDP 循环添加了三项检查来检测它，定位 Amazon SageMaker HyperPod 上的故障节点，并将节点移交给自动恢复以进行更换。

正文由本站服务器抓取保存（已自动过滤广告、推荐位与追踪图片），排版与原站可能不同；版权归原站所有。