经过几年的酝酿和迭代，如今AI大模型终于开始以工作助手的形式延伸到每一个人的身边，为人们的学习、工作和生活贡献价值。对于大多数普通用户而言，AI大模型的参数规模是千亿还是万亿其实并不重要，他们更关注服务的稳定性、反应速度和性价比等，也就是说，接下来决定大模型服务成败的将是服务性能表现。
近日，中国信息通信研究院发布了《大模型Token服务性能监测报告》(截至2026年8月)，报告中引用的数据来自该院自建的大模型Token服务性能监测平台，基于对国内外30多家平台、百余款大模型开展的7×24小时观测编写而成，可以为大模型行业的后续规范化发展提供借鉴。
技术性能大幅度提升
从2025年8月至2026年8月的监测数据来看，大模型整体能力一直在持续提升，当前大模型吞吐能力已经比2025年8月实现了翻倍增长，不过不同模型之间仍存在显著的性能差异。
首先，大模型Token服务调用成功率持续提升。2026年1-4月调用成功率100%的模型占比大幅上涨，2026年5月中国信通院升级了监测机制，因此满成功率模型占比出现小幅回落，8月原厂大模型Token服务调用成功率均值为99.18%，整体态势趋于稳定。
其次，Token每秒吞吐(TPS)增速显著，万亿级参数模型单款模型最高TPS突破了300。海外三款主流模型TPS水平整体偏高，最高可达199，GPT5.6模型TPS为69.31，国内外头部模型吞吐性能相近。2026年6月至今，国内模型TPS持续上行，行业整体性能加速迭代，不过总的来看海外模型初始吞吐性能基数更高，国内外仍存在阶段性差距。
第三，受模型参数量扩容、长文本推理场景增多等影响，行业整体服务时延较往年明显上升。万亿级参数模型时延普遍超过1秒，多款模型时延突破2秒。当前行业模型最低时延为0.69秒，最高时延达62.36秒，差距极大，这对于实时性要求较高的场景是远远不够的。在时延方面，国内外模型时延水平、上涨趋势基本一致。
使用成本与服务能力变化
监测报告显示，2026年之前国内大模型服务价格持续下行，2026年则迎来回升，均价达到13.46元每百万Token，比2025年下半年的6.8元每百万Token有所上涨。当然Token单价并不能真实反映用户实际使用成本，价格低也不代表性价比高、使用成本低。为此信通院监测了各模型的Token消耗总量与实际消费（883434）成本，发现海外头部模型输入输出Token消耗总量更低，模型问答效率、内容质量更高，但单价极高，整体消费（883434）成本远超国内模型。相比之下，国内模型Token消耗总量偏大，但单价低廉，整体使用成本更低。此外，不同模型对同一提示词的Token识别、统计口径存在差异，同样同输入场景下Token消耗量会出现显著不同。
在上下文能力方面，2026年8月接近50%的大模型支持200K以上上下文，比6月的35%提高很多，这表明行业模型正向超大上下文、万亿级参数持续迭代。开源模型方面，当前国内外共有20多个主流开源模型服务平台，其中国内四款核心开源模型部署率达100%，生态落地成熟度、稳定性优于海外开源生态。
中国信通院还测试了多个平台提供的国内四款主流开源模型服务，从TDFT、TPS、调用成功率三大核心指标来看，千问综合性能位居行业前列，Deepseek进步非常快。8月监测数据显示，千问TPS单月突破100每秒，实现跨越式增长；Deepseek模型响应速度、吞吐能力提升显著，终端使用体验优化明显。
目前，中国信通院已建立了包含7款核心开源模型的专项监测清单，未来会做持续跟踪。
大模型竞争焦点转移
据了解，中国信息通信研究院针对大模型Token服务性能监测成果每个季度发布一次，2026年6月曾经发布了截至5月的研究结果。从持续监测获得的信息可以看到，当前国内大模型、公有云调用量都呈现快速增长趋势，为此大模型产业也在持续增加投资、积极扩容。
不过中国信通院在监测报告中强调，在商用落地阶段，大模型产业需要高度重视用户体验，大模型竞争需要从拼规模、拼调用量，转变为拼服务质量、拼落地稳定性。监测数据显示，有的模型服务上线稳定性不足，服务质量未能得到充分保障；2026年Token服务价格有抬升趋势，但用户支付的成本与业务需求并不匹配；一些平台开通了大模型中转聚合服务，被发现将高规格模型调用需求分流至低水平模型、低质Token服务，影响了用户对Token服务的信任度。
为更好地支持大模型产业发展，中国信通院后续将持续完善监测体系、输出高质量数据和研究成果。具体举措包括拓展多模态大模型Token服务监测能力，缩短报告发布周期（883436），升级监测平台自动化监测、异常预警功能；开放合规监测数据，为企业开展模型选型、Token服务测试、成本性能分析提供权威数据支撑；搭建区域性监测平台，提升不同地域场景下的监测精准度；建立日常化服务质量监测、异常预警机制，及时捕捉行业服务波动、质量风险，规范行业发展秩序。
当前大模型产业已经走出单纯比拼参数量的早期阶段，真正决定产业未来的是稳定、高效、可衡量的Token服务能力。中国信通院监测报告通过持续采集数据、全视角分析，为大模型产业提供了一个客观、具有建设性的测评标尺，引导企业关注真正的业务价值，使得大模型真正转化为新质生产力。这是一项非常有意义的工作，信通院呼吁广大模型厂商、平台企业共同参与监测体系共建，联手完善标准规范，帮助大模型更好地推进技术升级、规模化落地。
