瑞芯微(603893)与面壁智能持续深化软硬生态协同,针对面壁智能与OpenBMB联合推出的新一代端侧多模态大模型MiniCPM-V4.7,完成35B-A3B版本的Day-0原生适配与端侧部署,为终端设备搭载多模态AI能力提供全新选择。
首次支持35B MoE多模态模型
拓展端侧AI能力
本次适配标志着瑞芯微(603893)平台首次支持35B MoE多模态模型。MiniCPM-V4.735B-A3B是MiniCPM系列首个采用混合专家(MoE)架构的模型,总参数量为35B,每步推理激活约3B参数,在保有较大模型容量的同时,降低单步推理的计算开销,为更大规模模型在端侧部署提供新路径。
MoE 的核心在于“按需激活”。与稠密模型每步调用全部核心参数不同,MoE通过路由机制选择部分专家模块参与计算,无需每次调动全部专家。相较于总参数规模相近的稠密模型,这一架构能够减少参与计算的参数量及相应的权重读取需求,让终端以更低的计算开销利用更大容量的模型。
软硬协同
推动多模态模型端侧部署
在能力方面,MiniCPM-V4.735B-A3B支持256K上下文,覆盖图像理解、文档与文字识别、图表推理、数学推理及视频理解等任务。模型引入前瞻专家调度(LES),提前预测并加载下一层所需专家,并根据预测命中情况调整层内专家计算顺序,提高专家加载与计算的并行度,减少访存等待;同时结合DSpark投机采样、ViT内提前压缩及4倍/16倍混合视觉token压缩等技术,进一步提升端侧运行效率。本次同步开源模型权重、推理代码和微调代码。
通过模型量化与部署优化,瑞芯微(603893)平台已实现该模型的文本、图像多模态能力支持。在本次端侧实测中,448×448图像输入的视觉编码耗时为154.3M(MMM)s,解码速度达到27.86tokens/s,为端侧图文理解与交互应用提供性能支撑。
此前,双方已完成MiniCPM5-1B、MiniCPM5-2B语言模型、MiniCPM-V4.0视觉语言模型及MiniCPM-o4.5全模态模型的适配,覆盖RK1820、单卡RK1828和双卡RK1828等部署方案,满足不同端侧AI应用需求。本次完成MiniCPM-V4.735B-A3B的适配,进一步拓展了双方端侧模型合作的覆盖范围,为更大参数规模的MoE多模态模型在终端落地提供新选择。
瑞芯微×面壁智能
端侧模型合作持续深化
本次Day-0适配,是双方长期生态共建的又一次落地。借助完整的软硬件开发栈,开发者可以快速完成模型调优、二次开发与产品移植,助力终端厂商把端侧多模态AI能力快速转化为量产产品。
面向未来,瑞芯微(603893)将持续联合大模型伙伴,打磨端侧软硬协同方案,推动端侧AI从Demo走向规模化商用。
