LazyWeights：按需解码边缘法学硕士

原文：LazyWeights: Decode-on-Demand Edge LLMs

内存决定边缘设备运行哪些 LLM 以及运行速度：4 美元 GB 的 Jetson Nano 的容量，8 美元 GB 的 Jetson Orin Nano Super 的带宽。部署的格式（GPTQ、AWQ、$\texttt{llama.cpp}$ 的 K 量子和 I 量子）在矩阵的每个整数代码上花费相同的位，尽管这些代码远非统一。 $\texttt{LazyWeights}$ 保留这些格式，但调整 GPTQ，以便代码压缩，霍夫曼编码 t

正文由本站服务器抓取保存（已自动过滤广告、推荐位与追踪图片），排版与原站可能不同；版权归原站所有。