国货之光!全球AI存储基准测试MLPerf Storage 3.0结果发布,斩获九项第一|甲子光年

三节点EC硬件配置覆盖多类训练与Checkpoint负载,兼顾性能与硬件成本效率。

9月1日,MLCommons正式发布MLPerf® Storage Benchmark 3.0(简称MLPerf Storage)基准测试结果。XSKY星辰天合旗下MeshFS首次参赛,在并行文件存储赛道获得九项第一

MLPerf Storage是由MLCommons组织的全球AI存储基准测试,用于验证存储系统对训练数据读取和模型状态读写的支撑能力。3.0版本覆盖Unet3D大文件训练、RetinaNet海量小文件训练,以及Llama3 8B至405B Checkpoint读写。三项负载具有不同的I/O形态,可从多个维度衡量存储系统性能。

本届测试共有来自全球的19家厂商、23款产品参评,其中并行文件系统赛道有14家厂商参与,包括Pure Storage、WEKA、浪潮存储、Alluxio等国内外厂商,相关结果可为AI存储选型提供参考。

MeshFS是XSKY设计的高性能并行文件系统,面向AI大模型训练、推理及高性能大规模数据处理场景。据XSKY公开资料,MeshFS采用其自研的Shared-Everything全闪存架构,利用NVMe与RDMA硬件能力,产品指标包括微秒级I/O延迟和TB/s级聚合带宽。

1.九项第一:多项性能与硬件成本效率指标居首

XSKY MeshFS获得的九项第一分布在小文件训练吞吐、Unet3D、RetinaNet与405B Checkpoint等测试项,涉及每客户端读带宽、训练场景单位性能成本和容量效率等指标。结果显示,MeshFS可支撑多训练客户端并发访问,并在三节点硬件配置下提供较高训练带宽;Checkpoint读写性能也有助于缩短模型状态保存与故障恢复时间。

图:XSKY MeshFS九项第一总览

2.三节点EC配置,覆盖全部参测场景

从Training到Checkpoint,存储端在全部测试中使用同一套三节点硬件配置。

每个存储节点配置双路英特尔®至强®6530P处理器、512GB内存和4个200*2 Gb/s ConnectX-7网卡。6530P属于搭载P-core(性能核)的英特尔® 至强®6处理器家族。三节点共使用48块7.68 TB忆联UH812a TLC SSD;集群采用EC 4+2:1数据保护,可提供223.5 TiB受保护可用容量。

客户端共配置9台节点,通过POSIX客户端和RDMA网络访问存储。

图:XSKY MeshFS测试环境

3.三类负载实测:大文件、小文件与Checkpoint

此次XSKY MeshFS参与的三类负载对应不同的I/O压力。Unet3D侧重大文件连续读取,RetinaNet考察海量小文件并发和元数据处理能力,Llama3 405B Checkpoint则要求存储同时承受大模型状态的高强度读写。同一套系统支撑三类负载,可同时检验单一负载性能以及不同I/O路径的处理能力。

  Unet3D·大文件训练读取 双项第一

Unet3D在MLPerf Storage中主要考察存储持续满足训练端大文件读取需求的能力。测试结果显示,XSKY MeshFS每客户端带宽为67.73 GiB/s,位列第一;每GiB/s硬件成本为1,053美元,同样位列第一,两项指标均居首位。

  RetinaNet·海量小文件训练 三项第一

海量小文件场景对存储系统的元数据处理与小I/O能力要求较高。RetinaNet包含7540万个、平均约315 KiB的小文件,高并发访问会同时对元数据处理与小I/O通路形成压力。测试模拟675个B200训练I/O负载,XSKY MeshFS训练吞吐为96.13 GiB/s,每客户端带宽为10.68 GiB/s,每GiB/s硬件成本为4,163美元,三项指标均位列第一。

图:RetinaNet训练吞吐与效率

  Llama3 405B·Checkpoint读写 双项第一

大模型训练中,Checkpoint直接影响训练连续性与容错能力,既需要定期写入保存状态,也需要在故障恢复时快速读回。Llama3 405B单次检查点文件大小为5292 GB,对存储双向读写能力提出较高要求。结果显示,XSKY MeshFS读取每客户端带宽为47.49 GiB/s,位列第一;每GiB/s硬件成本为1,053美元,同样位列第一;Checkpoint写入时每客户端带宽为13.34 GiB/s,可为大模型检查点保存与恢复提供支持。

4.不同参测方案的硬件成本评估

在高性能存储测试中,不同厂商采用的硬件方案差异较大,仅比较单一性能数值存在一定局限。除性能外,硬件投入与成本效率也是实际选型中的重要考量。

根据2026年Q3硬件渠道价格参考进行测算,对参与测试的并行文件系统方案进行了硬件成本量化。其中排除1个双品牌重复提交方案,以及2个存储侧配置无法核实的方案。测算结果如下:

图:各参测方案的硬件投入情况

从图中可以看到,不同参测方案的硬件成本存在较大差异,部分方案的DRAM成本占比较高,可能与将内存用于写缓存的配置有关。基于此测算范围,XSKY MeshFS使用同一套三节点硬件配置完成全部场景测试,并在硬件成本效率指标上处于领先位置。

5.MeshFS,国产AI存储的新名片

在全球AI存储基准测试MLPerf Storage 3.0中拿下九项第一,意味着XSKY MeshFS的价值不只体现在单项性能数字上。以一套三节点配置完成大文件读取、海量小文件并发和大模型Checkpoint读写等多类负载,并兼顾性能与硬件成本效率,展现了国产AI存储在复杂训练场景中的竞争力。随着国内AI基础设施建设加速,XSKY MeshFS正在成为国产高性能并行文件系统中一张值得关注的新名片。

参考资料:

•MLPerf Storage Benchmark Suite Results:https://mlcommons.org/2026/09/mlperf-storage-v3-0-results/

(封面图来源:AI生成)

END.

免责声明:上述内容仅代表发帖人个人观点,不构成本平台的任何投资建议。

举报

评论

  • 推荐
  • 最新
empty
暂无评论