EngineAgent：利用推理堆栈层次结构感知和硬件功能代理设备上 LLM 推理引擎

原文：EngineAgent: Agentizing On-Device LLM Inference Engines with Inference Stack Hierarchy Awareness and Hardware Abilities

快速发展的法学硕士架构和异构移动硬件使得支持设备推理引擎中的新模型成为一项反复出现且成本高昂的系统挑战。每个模型可能需要跨转换、图形构建、运算符和硬件后端进行协调更改。现有的编码代理经常会错过这些跨层依赖关系，并且很难诊断跨主机的故障--devi

正文由本站服务器抓取保存（已自动过滤广告、推荐位与追踪图片），排版与原站可能不同；版权归原站所有。