跨域PB级数据如何“共舞”?中科院高能所携手华为共建科研数据湖

2026-06-27 17:35:35
来源:华为官微
分享

导语

先进科学实验产生海量数据,这对IT基础设施提出了严峻挑战。华为“100+行业智能化转型故事”第147期,我们走进中国科学院高能物理研究所,了解其如何通过华为OceanStor Pacific全闪分布式存储,为大科学装置构筑绿色高效、弹性扩展的科研数据湖底座。

在我们这儿,仅“拉索”这一台装置,每天就产生30TB、每年产生13PB的数据。这个数字,预计在2026年后会达到当前的8倍甚至更多。

程耀东

中国科学院高能物理研究所

计算中心副主任

两千多年前,屈原挥笔写下《天问》,问遍了天地离分、阴阳变化。而在数字时代的今天,有这样一群人,选择用高能物理作为笔砚,去续写这首浩荡的诗歌。

“九天之际,安放安属?”

高能物理的天问长诗

高能物理研究旨在探索万物的基本粒子及其相互作用,通过大型对撞机与天文探测装置捕捉宇宙演化的微观讯息。

为了实现与这些讯息的邂逅,科学家们可谓不遗余力。

中国科学院高能物理研究所(下简称“中国科学院高能所”),就建设了一系列大科学装置,来帮助中国科学界乃至全人类,续写这首面朝万物起源的《天问》。

拉索(LHAASO)

在四川稻城海拔4410米的海子山上,中国科学院高能所建造了一所名叫“拉索(LHAASO)”的高海拔宇宙线观测站。这是世界上最大、最灵敏的超高能伽马射线探测装置。2022年,“拉索”完整地记录了一颗比太阳还重20倍的“超级太阳”——大质量恒星坍缩爆炸的全过程。

在北京怀柔,中国科学院高能所同样也建造了大科学装置——高能同步辐射光源(HEPS,High Energy Photon Source)。HEPS作为第四代同步辐射光源,具有世界最高光谱亮度,是中国拥有的第一台高能量同步辐射光源。

然而,高能物理领域的大科学装置会不约而同的遇到来自数字世界的挑战。

“洪泉极深,何以窴之?”

大科学装置的数据洪潮

“拉索(LHAASO)”项目中数千个探测器阵列

“拉索”项目中,1188座缪子探测器、5216个电磁粒子探测器、18台广角切伦科夫望远镜与78000平米的水切伦科夫探测器阵列互相配合,捕捉如雨点般纷至沓来的每一个粒子。这些观测数据集,将在小型数据中心进行快速处理与短期存储,然后将结果传输至位于北京的大型数据中心,进行大规模作业与联合分析。中科院高能所面临着来自数字世界的三方面挑战:

数据规模爆炸:仅“拉索”装置每天产生30TB数据,预计2026年全年将达到104PB,且面临年增20PB以上的巨量数据。

复杂负载模式:实验产生的数据呈现“前台小文件随机读写”与“后台大文件一写多读”的混合负载特征,对存储系统的IO性能提出了极高要求。

跨域管理难题:数据分布于北京、东莞、成都、稻城及国外联合单位,跨地域的海量数据同步与联合分析也是一大难题。

“隅隈多有,谁知其数?”

拔地而起的科研数据湖

事实上,一切先进科学实验的背后,都离不开海量数据。中国科学院高能所选择与华为合作,为大科学装置采用底层数据基础设施——华为OceanStor Pacific分布式存储。

高能物理实验产生的数据量巨大,需要高度自动化的数据处理和分析技术。而为了实现观测数据更好应用于科研场景,还需要搭配极强的数据编织能力。

而这些恰好是华为OceanStor Pacific全闪分布式存储的优势。基于此,中国科学院高能所与华为共同建设了一座科研数据湖,并开展联合的测试与调优。

OceanStor Pacific采用先进的闪存介质+AI算法:通过大容量SSD结合高密硬件设计,实现30%的性能加速与空间节省;针对ROOT/HDF5科学文件格式,实现了AI检测的无损数据压缩算法,进一步省50%的存储成本。

至此,数据洪潮就如过往所有未知一样,最终化作人类前行路途上趟过的小溪。

“冥昭瞢闇,谁能极之?”

数字时代的科学诗人

来自华为的OceanStor Pacific分布式存储,也恰如其名字一般,以汪洋之势海纳数据、镌刻文明的每一瞬痕迹。最终在中国科学院高能所的科研蓝图之上,化作问天的底气。

从横亘千古的《天问》,到今天对行星与夸克的观测,人类的好奇心从未改变。唯一变的,是科研工具与数字化技术的更迭。

于是,我们有幸能比古人更近一步,去追问洪荒,去窥探无极。

冥昭瞢闇,就由我们来厘清一二。

100+行业智能化转型故事

全面智能化时代加速到来,智能化浪潮在各行业广泛掀起。华为联合伙伴,与行业头部客户共同创新,围绕价值场景,打造场景化解决方案,点亮行业灯塔。华为“100+行业智能化转型故事”,记录全新的智能化时代的行业灯塔故事。

免责声明:风险提示:本文内容仅供参考,不代表同花顺观点。同花顺各类信息服务基于人工智能算法,如有出入请以证监会指定上市公司信息披露平台为准。如有投资者据此操作,风险自担,同花顺对此不承担任何责任。
homeBack返回首页
不良信息举报与个人信息保护咨询专线:10100571违法和不良信息涉企侵权举报涉算法推荐举报专区涉青少年不良信息举报专区

浙江同花顺互联信息技术有限公司版权所有

网站备案号:浙ICP备18032105号
证券投资咨询服务提供:浙江同花顺云软件有限公司 (中国证监会核发证书编号:ZX0050)
AIME