人工智能端侧部署领域迎来重磅进展。淘宝旗下 MNN 团队正式宣布开源面向手机应用的轻量化大语言模型 —— MNN-Pocket-0.3B。该模型拥有约3亿参数，专为手机等移动设备的资源预算与任务需求量身打造，在极低的内存占用和能耗下，实现了媲美云端的高速响应与出色的综合任务能力。
极致轻量化设计:体积缩减近半，峰值内存稳控在300MB 以内
为了让大模型在移动设备上真正做到“无感运行”，淘宝 MNN 团队将“手机应用原生大模型”细化为四大核心设计指标:解码吞吐超200token/s、峰值内存低于300MB、单次推理能耗极低以及具备强悍的指令遵循与多任务扩展能力。
在实际性能表现上，该模型交出了亮眼的成绩单:
惊人的离线速度: 在苹果 iPhone18Pro 真机测试中，通过 MNN 推理引擎完全离线运行，平均解码速度达到了约350token/s。而在 iPad Pro M5的 metal 后端测试中，Prefill 吞吐更是高达8，721token/s，Decode 吞吐达到466token/s，约为同条件下 Qwen3-0.6B 的1.63倍。
极小的体积与内存占用: 模型的 INT4MNN 部署文件体积仅为173MB。在 iPad Pro M5测试配置下，其峰值内存增量仅为228MB。相比之下，同测试中的 Qwen3-0.6B 部署体积达340MB、峰值内存增量427MB，MNN-Pocket-0.3B 的部署体积缩减了约49%，内存增量减少约47%，为手机系统的图片、视频及其他业务模块保留了充足空间。
超低功耗表现: 团队在一加13（骁龙8至尊版）上对4-bit 模型进行了功耗测试。在基准负载下，执行100次同等负载任务累计增量能耗仅占手机电池总电量的0.3% 左右，彻底打消了用户对端侧 AI 耗电发热的顾虑。
精简高效的词表架构: 为了更好适配中文互联网环境，团队将词表从约151K 精简至64K，缩减幅度达57%，有效降低了词嵌入与输出层的参数开销。
综合能力越级挑战:多项评测登顶同规模模型之首
在实际任务表现与学术基准评测中，MNN-Pocket-0.3B 展现出了远超其参数体量的爆发力。
评测数据显示，该模型的英文 IFeval 得分达到73.20，自建的中文指令遵循 IFeval-zh 得分高达74.59，在同类对比模型中均名列前茅。在涵盖中英文知识、推理、数学、代码及指令遵循的11项综合评测中，其平均得分达到50.00，全面超越了 MiniCPM4-0.5B、Qwen3-0.6B 等更大规模的同类模型。其中，中文数学 MGSM-zh 得分51.20，代码生成 Humaneval 得分达到53.66。
全版本全开源矩阵:赋能研究者与开发者生态
为了让技术成果能够快速转化为真实的业务生产力，MNN 团队从预训练、后训练到端侧部署全流程开源了多个版本，满足不同场景的深度适配需求:
MNN-Pocket-0.3B-Base: 专为继续预训练、领域适配与基础能力研究打造。
MNN-Pocket-0.3B-SFT: 面向后训练研究、强化学习、蒸馏与消融实验。
MNN-Pocket-0.3B: 适用于通用指令调用与各类业务任务的深度适配。
MNN-Pocket-0.3B-MNN: 采用 W4A16QAT 的端侧专属部署版本，配合 MNN 推理引擎的低比特算子与硬件后端优化，在特定设备上解码吞吐可拉满至466token/s。
MNN-Pocket-0.3B-DFlash2: 针对 DFlash2投机解码草稿模型设计，配合块级生成与验证实现，特定任务下的解码吞吐可达常规自回归解码的2.06倍。
MNN-Pocket-0.3B-Dec: 通过决策头精准完成候选选择类任务。
