面壁开源 MiniCPM-V 4.7:35B MoE 模型仅需 3G 内存即可在 iPhone 断网运行
面壁智能与 OpenBMB 正式开源 MiniCPM-V 4.7,包含 35B-A3B 与 1B 两个版本。35B-A3B 为系列首个 MoE 模型,每次推理仅激活 3B,约 3G 内存即可在 iPhone 17 Pro Max 上断网流畅运行,解码速度超每秒 13 token。模型通过前瞻专家调度提前预取专家、混合精度量化压缩权重,并以自回放微调减少业务定制后的通用能力遗忘。
推荐理由:原文实测了35B MoE模型在手机端的运行效果,并详解了前瞻专家调度等让大模型在低内存设备上跑快的关键技术。