知识蒸馏的两种数学模型

原文：Two mathematical models of knowledge distillation

许多假设竞相解释知识蒸馏的成功。为了帮助解决这个问题，我们提出并分析了蒸馏的数学模型，这表明蒸馏的性能不是来自获得更好的模型，而是来自更容易优化的景观。对于用随机梯度下降训练的广义线性模型，我们证明蒸馏适合性能

正文由本站服务器抓取保存（已自动过滤广告、推荐位与追踪图片），排版与原站可能不同；版权归原站所有。