‹ IT之家

淘宝 MNN 团队开源 0.3B 手机模型,苹果 iPhone 18 Pro 离线跑出 350 token/s

IT之家 未缓存正文

IT之家 11 月 6 日消息,淘宝旗下 MNN 团队今日发布了 MNN-Pocket-0.3B 模型 ,面向手机应用的任务需求与资源预算,在有限算力、内存和能耗下,兼顾任务能力、响应速度与持续运行体验。 围绕淘宝等综合型手机应用,团队将“手机应用原生大模型”落实为四个维度的设计目标: 速度上,在指定设备与上下文配置下, 解码吞吐超过 200token/s 。这一目标参考高速云端模型服务的生成吞吐,力求在本地提供流畅的生成体验。 内存上,在指定测试条件下, 峰值内存低于 300MB 。即使手机拥有 8~16GB 内存,也需要由系统与多个应用共享。以约 500MB 的模型模块预算为例,将推理峰值控制在 300MB 以下,可以为上下文增长和集成开销保留余量。 功耗上,在典型推理负载(输入 512~1024token、输出 128token)下,单次推理增量能耗目标不超过参考手机电池能量的万分之

正在把原文抓到本机服务器…首次约 3~8 秒,抓好后本站永久缓存,下次秒开。

抓不到时可直接看原文(部分站点需要登录/反爬,服务器也无法抓取)。

打开原文 ↗

正文由本站服务器抓取保存(已自动过滤广告、推荐位与追踪图片),排版与原站可能不同;版权归原站所有。

相关报道同一事件 / 同分类