IT之家 10月29日现场消息,XHEART新芯航途今日正式发布大模型芯片X7Ultra,以“大模型定义芯片”为核心理念,从真实量产模型需求出发设计芯片架构,大模型算力达700TOPS。
XHEART新芯航途CEO李宗霖认为,随着智能驾驶从多个小模型走向端到端大模型,芯片的设计方式也需要随之改变。因此,XHEART在2023年创业之初就决定,从真实应用中的模型需求出发,倒推芯片架构,重新组织计算、存储和数据流转,并为未来模型演进预留空间。
据介绍,新芯航途X7Ultra大模型芯片拥有700TOPS大模型算力,量产模型实测99.99%对齐。
这枚芯片专为大模型设计,拥有超大核NPU架构,核内数据交互对比核间数据交互,互联速率TB/s数量级提升。另外,芯片的多级缓存架构支持大容量、高并发特性,可降低推理时延与功耗。
新芯航途X7Ultra内置高精度大模型专用算子加速引擎,针对Layernorm、Softmax、Transpose等一系列Transformer大模型关键算子进行极致硬件优化,原生支持FP16/FP32高精度向量计算,保障模型精度。
该芯片NPU硬件并行度解锁可充分释放大模型推理潜能,计算利用率达98.7%。相比行业旗舰产品,其内存带宽消耗下降80%,能效提升100%。
新芯航途X7Ultra还中国首发量产Armv9车规级CPU,性能提升20%、能效提升10%。另外,大集群架构还提升了多核协同与L3访存性能,集成全新SVE2向量处理引擎,相比上一代NEON具有更强的DSP性能。
IT之家附新芯航途智驾大模型芯片X7Ultra核心亮点一图知如下:
