就像过去通盘公司齐在你追我赶的「上云」，当今通盘公司齐在问，奈何才能用上大模子？

不少公司抑止推出不同的大模子，来匡助企业过问到这个 AI 的新期间。

若是说大模子代表的「算法」、GPU 代表的算力齐在因为大模子而抑止进化时，在数据方面，尤其是数据存储方朝上，业界咫尺还莫得更好的决策，来处理大模子期间数据的存储、覆按和传输。

7 月 14 日，在华为盘古 Chat3.0 发布一周后，华为数据存储发布了新址品 OceanStor A310 和 FusionCube A3000，两款居品区别在深度学习数据存储，以及训（练）/推（理）交融才略上进行了教训，有望进一步镌汰 AI 大模子的使用门槛。

「若是用东说念主类进化历史作念比方，大脑一样于算力、算法一样于体式论，而笔墨一样于数据，有了笔墨，才能传承端淑。」

华为公司副总裁，数据存储居品线总裁周跃峰如斯描画算力、算法和数据，三个在 AI 期间最蹙迫的元素的关系。

在大模子为代表的新的 AI 期间，算力和算法在快速鼓动，这就对数据也冷落了更高的要求——一方面大模子需要的数据量更大，一方面数据存储需要更好的配划算力，幸免让 GPU「平稳」铺张算力资源和老本。

华为团队以为，大模子期间存储的本领挑战有两个：

1）数据准备阶段的问题，包括数据归集慢以及数据预处理周期长。

小阵容依旧很强，但是最近几个赛季，特别是上赛季，NBA允许的防守强度急速下降，上赛季可能是吹罚尺度被讨论最多的一个赛季，甚至出现一场比赛，双方都不满意的情况，这是由于裁判的吹罚尺度变严格了（但是又不能做到始终如一）。

也许有人会说，除了大西洋的海水补充之外，以尼罗河为代表的诸多河流同样向地中海注入淡水，但这些水源与地中海的蒸发量相比几乎可以忽略不计。

数据归集需要从跨地域的多个数据源拷贝原始数据，这些原始数据不成平直用于 AI 模子覆按，需要将万般化、多体式的数据进行清洗、去重、过滤、加工，广泛的数据预处理责任需要耗用广泛的 GPU，咱们知说念 100 个 GPU 每小时的覆按老本是几十万，不错用「近存计议本领」系统性地处理这个问题，从而让通盘系统更高效。

2）覆按集加载成果问题和覆按中断处理。

相较于传统深度学习模子，大模子带来覆按参数、覆按数据集呈指数级增多，奈何齐备海量的小文献数据集快速加载，镌汰 GPU 恭候时刻齐是需要稳健研究的问题。同期，主流覆按模子仍是有千亿级参数，以至将发展至万亿级。

AI 大模子覆按不雄厚，频繁的参数调优、做事器故障或者鸠合的故障世俗形成中断，需要 Checkpoint（检查点）机制确保覆按玩忽快速复返。

针对上述痛点，华为团队推出了 OceanStor A310 和 FusionCube A3000 两款居品：

1）OceanStor A310 深度学习数据湖存储

皇冠体育

皇冠客服飞机：@seo3687

为智能数据而生，齐备从数据归集、预处理到模子覆按、推理当用的 AI 全历程海量数据照看。

期骗全局文献系统 GFS 构建智能的数据编织才略，接入漫步在各地域的原始数据，齐备跨系统、跨地域、跨云的全局妥洽数据视图和转机，简化数据归集历程；

通过存储内嵌的算力齐备近数据的预处理，减少无效数据传输，同期镌汰预处理做事器恭候时刻，预处理成果教训 30%。

2）FusionCube A3000 训/推超交融一体机

面向十亿级模子应用，集成存储节点、训/推节点、交换开采、AI 平台与照看运维软件，可齐备一站式快速部署，通过预置 AI 大模子，2 小时即可完成开局，开箱即用。

高性能容器齐备 GPU 分享，教训资源期骗率。客户不错在旯旮部署全历程的推理业务，况兼每周或每月进行一次模子调优，这就需要多应用交融转机，大模子小模子交融转机。

通过容器应用分享 GPU 资源池，资源期骗率不错达到 70% 以上。

不久前 Snowflakes 的年度大会上，这家闻明数据平台公司晓示了和英伟达达成合营条约，将在大模子覆按等畛域进行深度合营。

英伟达的 GPU 号称是大数据期间的「新核弹」，从某种意思意思上说，谁能拿到弥散多英伟达的 GPU，就在算力上赢得了上风。

但这件事还有另一个角度。

刻下计议机体紧缚构依然所以 CPU 计议芯片为代表传统的冯·诺依曼架构，而 GPU 是针对 AI 场景定制的芯片，CPU 和 GPU 速率差可达 4-20 倍以上。

这带来的最大的问题是大多数情况下 CPU 跟不上 GPU 的处理速率，这么就会永劫刻使得 GPU 处于饥饿状态，导致昂然的 GPU 资源铺张。

华为苏黎世商议所存储首席科学家张霁表露，团队正在商议奈何期骗近存计议/存内逻辑的才略，在海量 AI 数据存放的泉源进行适当的计议逻辑的卸载，开释 CPU 的部分才略，镌汰 CPU 和GPU的成果差，进而提高 GPU 的处理成果。

这意味，若是在数据存储端，就能把一些预处理的责任完成，就能收缩 CPU 的压力，进而让 CPU 和 GPU 能更高效的合营，教训 GPU 的处理成果。

尤其在咫尺 GPU 算力相对紧缺确当下，数据存储端若是能和 GPU 产生「互补」，无疑是一件善事。

周跃峰以为，咫尺大模子算力老本约占通盘老本的 25%，而数据清洗、预处理等责任，在不算数据存储硬件的情况下，占到老本 22%，从这个角度看，数据机器存储过程，在大模子期间越来越蹙迫。

「这不单是是简便的数据量变大，而且数据的处理过程，以及过程中关于硬件性能的要求越来越高。」

周跃峰以为，跟着大模子出现，数据存储和处理相干畛域改日会越来越有远景。

本文作家：靖宇，开头：极客公园 (ID:geekpark)赌球软件，原文标题：《盘古大模子以外，华为首秀大模子期间「硬实力」》