科技日报记者 王延斌 通信员 王昱岩
8月5日，全世界权势巨子AI机能评测构造宣布最新的MLPerf® Storage v2.0基准测试成果，由国度超等计较济南中央（如下简称济南超算）与华为技能有限公司（如下简称华为公司）协同研发优化的高机能存储体系，于三项焦点机能指标上刷新世界纪录，位列全世界第一。这象征着，于人工智能时代最焦点的数据存储与传输能力上，我国自立研发的技能已经经走于了世界最前列。
作为人工智能范畴公认的存储机能“全世界标杆”测试，MLPerf® Storage由国际MLCo妹妹ons构造制订，其成果被全世界顶尖超算中央、云计较厂商及AI试验室广泛采用并承认。
“简朴来讲，这套体系就像是AI‘超等年夜脑’的‘数据高速公路’，卖力把海量练习数据不间断地运送到成百上千张‘计较显卡’中举行进修。”国度超算济南中央主任王英龙向科技日报记者暗示，它因速率之快、通道之多、单通道的承载能力之强创下多项新世界纪录——于3D U-Net练习测试中，单台存储装备的数据传输速率高达每一秒698GiB/s，相称在1秒钟传完近700部高清影戏；单元机排挤间的传输能力到达每一秒108GiB/s，也就是说统一个机架上的所有计较单位可以同时满速获取所需数据，不需列队等候数据；单个客户真个传输速率冲破每一秒104GiB/s，即即是一台计较装备零丁事情，也能享遭到全世界最快的数据供给速率。三项焦点指标全数位列世界第一，使我国于年夜范围AI练习的数据吞吐范畴迈入国际领先行列。
王英龙暗示，除了了“跑患上快”，更可贵的是，这套体系还有解决了一个持久困扰年夜模子练习的“瓶颈”——断点续训，也就是AI进修半途“存档”及“读档”的能力。已往，存档速率慢，就像一场远程旅行中汽车加油，假如加油慢、油枪少，所有车辆都患上排长队，华侈年夜量时间。而于AI年夜模子练习中，这个历程叫Checkpointing，即随时生存练习进度、以便中止后快速恢复。济南超算与华为团队霸占了这一高并发读写下的机能瓶颈——于Llama3_70B模子练习测试中，单客户真个读写速率别离到达68.8 GiB/s及62.4 GiB/s，比国际同类技能快了6.7倍，相称在让加油站的油枪数目及加油速率实现了超过式晋升，让“加油”险些再也不成为瓶颈，年夜幅缩短了年夜模子练习时间，也降低了算力及运维成本。
王英龙先容，两边的互助始终聚焦在国产化算力基础举措措施的焦点需求，从存储体系的横向扩大，到与GPU算力的高效协同，再到数据安全与韧性保障，均取患了冲破性进展。今朝，这套领先的高机能存储体系已经经具有EB级容量扩大能力，可撑持多达4096张算力卡协同事情，并经由过程多维数据治理技能让数据流动效率晋升10倍。同时，它于绿色节能方面也做出了立异，体系将高密度存储介质与低能耗设计相联合，于年夜幅晋升机能的同时，削减了能源耗损及碳排放，为可连续成长的AI算力中央设置装备摆设提供了典范。
据相识，自2020年互助启动以来，济南超算与华为存储团队对峙“科研攻关+财产运用”双轮驱动，前后发布《数据密集型超算运用白皮书》，配合介入IO500国际排名，屡次于全世界舞台展示国产存储技能的实力。本次MLPerf测试的佳绩，不仅证实国产存储体系已经能自在应答万亿参数级年夜模子的练习需求，还有将于医疗影像阐发、天气模仿、遥感数据处置惩罚等瓜葛平易近生与国度安全的主要范畴广泛运用。
-KB体育
