7月19日，华东地区（杭州）首个国产TPU（张量处理器）千卡智算集群正式落地。该项目由中昊芯英（杭州）科技有限公司（以下简称“中昊芯英”）、中国电信（HK0728）杭州分公司（以下简称“杭州电信”）与中兴通讯（HK0763）股份有限公司（以下简称“中兴通讯（HK0763）”）联合建设，是中国电信（HK0728）体系内首个大规模国产TPU集群部署项目。
据介绍，项目一期基于中昊芯英“泰则”智算平台构建，采用1024片“刹那”TPU，算力规模达400P，实现从AI算力、服务器硬件、集群组网到算力调度平台的全链路国产化，将面向大模型训练、AI推理和科学计算等场景提供算力服务。
降低单位算力成本
随着智能体应用加快发展，算力需求正在从模型训练进一步向大规模推理延伸。TPU可针对深度学习中的张量、矩阵运算进行优化，聚焦大模型训练和推理，相较于GPU（图形处理器）而言有一定优势。中昊芯英创始人、首席执行官杨龚轶凡在接受《证券日报》记者采访时表示，TPU可以将更多算力资源集中在计算、通信和存储搬运等环节，在大语言模型等特定场景下提高算力利用率，降低单位算力成本。
不过，专用架构能否形成优势，不仅取决于算力性能，也与集群稳定性、模型适配能力和单位词元成本等多重因素有关。杭州电信智算及IDC（互联网数据中心）总经理王良向《证券日报》记者表示，杭州电信联合中昊芯英、中兴通讯（HK0763）对TPU集群进行了数月调优，通过Prefill-Decode分离（即将大模型读取、处理历史上下文与逐字生成答案两个计算环节分开运行），进一步发挥不同计算任务的硬件效率。据王良介绍，今年以来，该集群词元输出效率提升超过10倍，每百万词元的成本由此前约100元降至10元以内。
不过，杭州电信并未将TPU视为对GPU的简单替代。王良向记者表示：“杭州目前既有GPU算力池，也在对其他架构进行探索。不同算力在不同场景下有各自的长处，TPU擅长张量运算，我们评估后认为，推理是其比较突出的应用方向。”
软硬件能力短板亟须补齐
千卡集群落地，意味着国产TPU开始进入运营商级规模部署阶段，但从“能运行”走向大规模商业应用，仍需继续解决软件生态、硬件互联和模型适配等问题。
杨龚轶凡表示，国产AI算力从“可用”到“好用”，需要同时在软件和硬件两个维度补齐能力短板。
在软件层面，算力不仅要支持主流国产模型，还要围绕不同模型和算子持续优化。中昊芯英目前可以在智谱（HK2513）、DeepSeek等新模型发布首日后，即实现快速适配，但完成适配并不等于达到最优性能，后续仍需结合真实运行数据持续调优。“软件栈既要把算力性能发挥出来，也要让开发者能够快速上手。”杨龚轶凡表示，国内算力和大模型种类较多，模型版本迭代速度快，适配工作量较大，国产算力软件生态走向成熟仍需要时间。
为降低用户使用门槛，中昊芯英提出“Token Factory”（词元工厂）模式。应用企业通过应用程序接口调用模型服务，不必直接处理底层硬件、运行框架和软件迁移问题，可以更关注百万词元成本、生成速度和服务质量；千卡集群则可作为“试验田”，在真实运营过程中持续优化软件栈和系统能力。
硬件层面，大规模集群还需要解决算力可靠性、高速互联、存储及统一调度等问题。此次合作中，中兴通讯（HK0763）提供从硬件适配、系统调优到部署实施的集成服务，杭州电信负责算力运营和服务输出，中昊芯英则提供算力与软件栈，形成算力企业、设备厂商和运营商协同建设的模式。
按照规划，项目二期将搭载中昊芯英第二代TPU“须臾”，总算力规模规划突破10000PFlops（每秒千万亿次浮点运算）。与第一代产品相比，“须臾”性能提升至原来的3倍，并针对大模型计算、通信、存储等需求进行了优化。王良透露，二期测试设备已进入机房验证，计划于9月份上线投产。杨龚轶凡表示，该公司希望以千卡集群为基础，逐步向万卡规模扩展，在真实商业运营中推动国产TPU从“可用”进一步走向“好用”。
