【导读】AI推理时代到来,华为推出OceanStor M900AI记忆存储——与昇腾超节点匹配,为大规模数据中心推理提供最优选择
在9月17日举行的华为全联接大会2026上,华为副董事长、轮值董事长汪涛宣布,华为公司推出基于灵衢的AI记忆存储——OceanStor M900。
华为在当下推出该产品有何战略考量?如何助力用户降本增效?带着这些问题,记者采访了华为公司相关负责人。
OceanStor M900与昇腾超节点匹配
应对AI推理时代多方面挑战
关于华为公司在当下推出OceanStor M900AI记忆存储的战略考量,华为方面表示,当前,AI产业已先后跨越算力、模型、智能体平台三个时期,进入以数据决胜的关键阶段。数据规模和质量直接决定AI发展速度与能力上限,存储如何在AI推理中发挥最大价值,已成为产业共同思考的核心命题。
面对AI推理所遇到的瓶颈,汪涛在主题演讲时介绍,Agent应用的深入,不只是有并发的挑战,长序列和长程任务也会出现巨大的变化。眼下AI序列的长度已经从4K提升至1M,增长250倍。在长程任务中,Agent与模型的交互频次也远高于会话中的人与模型的交互。Agent的长序列和高频次的交互使得每张生成卡所对应的KV缓存会达到TB级,并且还在持续增长。
在采访中,华为分布式存储领域总裁杨文道表示,随着头部大模型逐步走向成熟,AI应用加速规模化落地。人们开始思考:“我购买AI大模型和Agent,可以帮我做些什么工作?”模型推理已超越模型训练,成为用户侧的核心诉求。
杨文道指出,超节点已成为产学研各界在AI基础设施领域的共识方向。OceanStor M900AI记忆存储通过与昇腾超节点适配,可以更好地支持大规模数据中心做好推理。
据介绍,上一代产品上市后,华为联合多家客户实测验证,效果非常好;此次OceanStor M900的推出,既是市场所需,也是技术迭代演进的必然。华为会加快该产品的上市节奏,并尽快用到真实业务中去。
OceanStor M900多层KV缓存架构
保障高命中率和长稳可靠
那么,OceanStor M900AI记忆存储又是如何提升推理效率与使用寿命的呢?
当前业界AI推理场景出现了多层KV缓存架构:
L1层是NPU芯片中的显存池,特征是带宽超大(TB级)、时延极低(纳秒级)、存储空间为百GB级。
L2层是内存池,它的时延与显存相近,但带宽低了一个数量级。
L3层是主机里的SSD盘,它通过PCIe和主机CPU互联,访问时延为30—120微秒,访问带宽为10GB/秒。
L3.5层是全局型的记忆系统,访问时间为15—50微秒,访问带宽可以达到40GB/秒。
据汪涛介绍,AI服务器中的显存和内存的存储空间存在物理上限,这就需要在超节点内或集群中来构建系统层面PB级的KV缓存。华为推出的OceanStor M900AI记忆存储正是聚焦3.5层,基于灵衢总线(UnifiedBus,是华为提出的系统级统一互联总线技术,核心目标是用一套协议取代传统多层协议栈,让数万张算力卡像一台计算机一样协同工作),支持超节点的NPU一跳直通到SSD,访问时延由ms级降至60μs,缩短90%;单集群可提供40TB/s聚合访问带宽,相比业界方案提升1.5倍。
这个技术的优势在于,业界通常GPU或NPU访问SSD池需要5次数据搬运,华为的OceanStor M900AI记忆存储只需要1次数据搬运,因此可避免协议转换和CPU转发。
同时,华为的OceanStor M900AI记忆存储采用了混合介质和优化的Retention算法,可将SSD的读写寿命提升16倍,从底层来保障KV缓存的高命中率和长稳可靠。
昇腾超节点+灵衢网络+AI记忆存储
提供完整堆栈基础设施
谈及OceanStor M900AI记忆存储的目标客户和主要应用场景,杨文道告诉记者:“宽泛来说,所有使用AI的客户都能用到该产品,其中推理场景的价值最为突出。”
杨文道表示,搭载OceanStor M900AI记忆存储,Token的命中率可提升一倍,显著提升客户的投入产出比;而首Token时延降低,则可显著提升用户体验。
除此之外,OceanStor M900主要是配套使用了灵衢网络的超节点,华为希望这种提供完整堆栈的基础设施,昇腾超节点+灵衢网络+AI记忆存储,从算力、存力、运力的角度整套交付,给世界一个更优的可选项。
