LM-SimBench：大型语言模型训练仿真的统一框架、数据集和基准

原文：LM-SimBench: A Unified Framework, Dataset, and Benchmark for Large Language Model Training Simulation

通过分布式训练运行评估候选并行化策略使得策略选择在规模上变得极其昂贵。性能模拟提供了一种成本更低的替代方案，但现有模拟器之间的受控比较仍然很困难，因为它们在建模的训练阶段和评估的工作负载方面存在差异。我们推出 LM-SimBench，一个统一的

正文由本站服务器抓取保存（已自动过滤广告、推荐位与追踪图片），排版与原站可能不同；版权归原站所有。