大模型迈入万亿参数时代,推理集群网络新考验

2026-08-17 09:18:49
来源:迪普科技
分享
AIME

问财摘要

1、随着AI大模型建设重点转向推理服务的稳定性,企业越来越倾向于本地私有化部署。迪普科技推出全系列智算交换机产品,致力于为大规模推理集群构建无损高性能、兼容多元生态、弹性组网的国产化网络底座,降低跨节点通信延迟,提升Token吞吐效率。 2、产品具有业内领先的高性能无损方案,能够提供稳定的带宽与时延,适配不同算力平台,并为计算节点和业务规模的持续扩展预留空间。
免责声明 内容由AI生成
文章提及标的
数据安全--
迪普科技--
天数智芯--
摩尔线程-U--
查看股票机会下载客户端

目前,各行业的AI大模型建设重点正从“模型能否运行”转向“推理服务能否稳定落地”。知识库问答、智能客服、代码辅助、数据分析等推理应用,通常需要使用企业内部数据。出于数据安全(885942)、隐私保护和业务可控等考虑,越来越多企业选择本地私有化部署。

近期发布的DeepSeek-V4-Pro总参数规模达到1.6T。虽然MoE架构下单次推理仅激活49B参数,但全量模型私有化部署仍需要将模型权重分布在多张计算卡和多台服务器上。随着参数规模、上下文长度和业务并发持续增长,推理集群中的计算节点不断增加,模型并行、专家数据交换和KV Cache传输带来的跨节点通信也更加频繁。

与主要关注任务完成时间的训练场景不同,推理服务直接面向用户,更看重响应速度、并发能力和运行稳定性。网络拥塞、链路负载不均、报文乱序或丢包重传,都可能使计算卡陷入通信等待,降低利用率,进而造成首Token响应变慢、Token生成速率波动和并发吞吐下降,最终影响业务体验,增加单位Token的推理成本。

因此,大规模推理网络不仅要连接服务器,还要在高并发下提供稳定的带宽与时延,适配不同算力平台,并为计算节点和业务规模的持续扩展预留空间。

面向这一需求,迪普科技(300768)推出全系列智算交换机产品,致力于为大规模推理集群构建无损高性能、兼容多元生态、弹性组网的国产化网络底座,降低跨节点通信延迟,提升Token吞吐效率。

97%带宽利用率、微秒级时延、零丢包,业内领先的高性能无损方案

业务响应快:通过PFC对关键优先级流量进行流控保护,利用ECN感知网络拥塞,并与网卡侧DCQCN协同调整发送速率,减少拥塞扩散和丢包重传。配合微秒级设备转发时延,有助于缩短跨节点通信等待,为首Token响应和Token稳定生成提供网络支撑。

服务运行稳定:针对传统流哈希可能造成链路负载不均的问题,采用LBN负载分担技术,将RoCE流量分散至多条网络路径,同时保持报文有序,减少链路热点、报文乱序和时延波动对推理服务的影响,使高并发场景下的通信吞吐更加稳定。

推理成本可控:在客户实际运行的推理集群中,经业务验证,迪普科技(300768)智算交换机链路带宽利用率达到97%以上,运行期间RoCE业务零丢包。帮助推理集群在高并发场景下保持稳定吞吐,为提升计算卡利用率、控制单位Token推理成本提供网络支撑。

“按需扩容,业务无感”,网络“零影响”匹配算力集群成长

迪普科技(300768)智算交换机支持单层组网、盒-盒双层组网,通过不同端口规格与网络层级的灵活组合,可覆盖从数十卡到千卡级别的推理集群扩容需求。依托设备秒级路由收敛与智能重传机制,可实现同架构平滑扩容场景下,网络调整对运行中的推理业务无感知,帮助用户实现“按需扩容、业务无感”的推理集群平滑演进。

拥抱多元算力生态,提升端到端协同能力

迪普科技(300768)围绕NVIDIA、昇腾、沐曦、摩尔线程(688795)、平头哥、天数智芯(HK9903)等算力平台,已完成GPU、RDMA网卡及光模块的端到端兼容性验证,支持400G、200G、100G接口速率,可满足不同推理服务器配置与组网规模的接入需求,帮助用户灵活构建异构算力集群。

全栈自主,为长期供应稳定提供保障

迪普科技(300768)智算交换机在硬件层面整机国产化率超过95%,从交换芯片、主控CPU到基础元器件均来自国产供应链;软件层面搭载自研Conplat操作系统,实现了从核心芯片到网络操作系统的软硬件全栈自主可控,为基础设施的持续建设与长期演进提供更加自主、稳定的网络底座。

持续迭代:构建面向未来的智算网络演进路线

迪普科技(300768)智算交换机始终秉持开放兼容、稳定可靠、持续演进的技术理念,持续打磨面向推理场景的智算网络产品与解决方案,在智能负载均衡算法、弹性组网架构与算力生态适配三个方向上不断迭代,助力智算中心推理业务在规模化部署中实现效率与质量的双重提升,为大规模推理集群构建高速无损、兼容异构、弹性扩容的国产网络底座。

免责声明:风险提示:本文内容仅供参考,不代表同花顺观点。同花顺各类信息服务基于人工智能算法,如有出入请以证监会指定上市公司信息披露平台为准。如有投资者据此操作,风险自担,同花顺对此不承担任何责任。
homeBack返回首页
不良信息举报与个人信息保护咨询专线:10100571违法和不良信息涉企侵权举报涉算法推荐举报专区涉青少年不良信息举报专区

浙江同花顺互联信息技术有限公司版权所有

网站备案号:浙ICP备18032105号
证券投资咨询服务提供:浙江同花顺云软件有限公司 (中国证监会核发证书编号:ZX0050)
AIME