二阶线性响应预测量化失配的程度有多大？五种语言模型的预注册测量

原文：How Far Does Second-Order Linear Response Predict Quantization Mismatch? Pre-Registered Measurements on Five Language Models

服务系统为每个模型和部署选择权重格式。低成本屏幕使用 $\tfrac12Δ^\top FΔ$（Hessian 感知和二阶训练后量化器的基础扩展）来预测未量化模型的 Fisher 信息的 KL 散度。我们使用通道级 int8、每张量 fp8 和分组级 int4 来评估该屏幕在 GPU 批次中的可靠性

正文由本站服务器抓取保存（已自动过滤广告、推荐位与追踪图片），排版与原站可能不同；版权归原站所有。