AI-Ready的数据基础设施参考架构白皮书：存以智用，加速数据觉醒

存以智用，加速数据觉醒 商标声明 WEI，是华为技术有限公司商标或者注册商标，在本手册中以及本手册描述 免责声明 本文档可能含有预测信息，包括但不限于有关未来的财务、运营、产品系列、新技术等信息。素，可能导致实际结果与预测信息有很大的差别。因此，本文档信息仅供参考，不构成任何要约或承诺，华为不对您在本文 编写委员会 目录 顾问陈国良、周跃峰 指导委员会庞鑫、常、胜、杨柏梁、樊杰张祎严浩 01序言一03序言二 03A/-Ready的数据基础设施的特征与参考架构 主编龚涛韩茂、孙睿 28A/-Ready的数据基础设施三大应用场景及参考架构28智算中心场景33云和互联网场景36边缘训推场景 AI大模型加速行业智能化01转型forpreviey 编委夏庆文、王振、周毅、刘乙成梁佳妮、乐遥、孙逊、秦烜、索海东、段芳成、曹长斌、陈晓丽梁莹、张、勇、夏志辉、王耀辉、李泽宇、曾帆、任祥贵、徐晶、李国杰、温立、张震（以上排名不分先后） 07AI大模型最新发展概况08AI大模型应用在行业逐步普及11Al大模型需要A/-Ready的基础设施 Al-Ready的数据基础设施实践案例 41科大讯飞x华为OceanStor存储，加速A/全流程业务42D银行x华为OceanStor存储，用AI赋能智慧金融业务T云x华为OceanDisk存储，构筑领先智算中心云底座45紫东太初x华为FusionCube训推一体机，加速智能客服场景创新与实践 02AI大模型数据基础设施实践中的挑战与建议Only forprevie 15数据资产管理挑战16集群可用度挑战18数据一致性挑战20数据安全挑战 主编单位华为技术有限公司 给CIO的行动建议 52参考文献 四、可持续与绿色。随着数据量的爆发式增长，数据基础设施的能源消耗与环境影响不容忽视。我们应倡导并践行绿色数据中心建设，通过技术创新与管理优化，提高能源使用效率，减少碳排放，实现数据基础设施的可持续发展。 打造“Al-Ready”的数据基础设施，既是推体创新能力、实现数字化转型的战略选择。 Al-Ready的数据基础设施应具备以下特征： 一、开放与互联。在数据资源日益丰富多元的今天，数据基础设施需打破信息孤岛，实现跨部门、跨领域、跨地域的数据互联互通，形成开放共享的数据生态。这需要我们构建高效的数据交换平台，制定统一的数据标准与接口规范，推动数据资源的有序流动与价值共创。 A/-Ready的数据基础设施是产业界研究的热点，也是各国投入的重点方向，这本白皮书是一次非常有意义的探索，对于相关决策部门、企业界、学术界具有很好的启示和参考意义，在新的趋势和发展机遇下，期待产业各方深化合作和持续创新，推动数据基础设施快速发展，在促进数字经济发展上发挥更大的作用，扬帆远航！ CHAIN 二、智能与敏捷。AI时代的数据基础设施应具备智能化处理能力，通过自动化工具和算法模型对海量数据进行高效清洗、整合、挖掘，为AI应用提供精准、实时的数据支持。同时，基础设施应具有高度的灵活性与可扩展性，能够快速响应业务需求变化，实现数据服务的按需供给与动态调整。 陈国良中国科学院院士 序言一 存力，运力共同支撑高质量的数据挖掘和存储能力。数据基础设施正在成为大模型发展的基石，首先，数据基础设施是大模型的“粮仓”，为大模型提供数据养料，没有充足、优质的数据，大模型的学习能力将大打折扣；其次，数据基础设施的完善程度直接影响大模型的训练速度和可用度，进而影响大模型在各个领域的发展速度；最后，数据基础设施是抵御数据风险的最重要防线，是数据要素的保险库。因此， 大模型赋予数据以新的生命力，AI时代大数据蕴含的价值将进一步涌现。数据因AI而变得越来越重要，数据要素是新型生产力的代表，数据基础设施的能力成为AI时代的国家重要竞争力。 三、安全与合规。在保障数据价值释放的同时，必须高度重视数据安全与隐私保护。数据基础设施应内置严格的数据访问控制机制，采用先进的加密、脱敏等技术手段，防止数据泄露、篡改或滥用。此外，应遵循国内外相关法律法规，建立健全数据生命周期管理机制，确保数据处理活动合法合规。 AI的发展与数据基础设施密不可分，AI大模型基础设施的竞争正在进入新的阶段，从单一的比拼算力，到比拼算存运的协同，由算力， I序言二 数据中心、多分支的数据高效归集到AI智算中心；再结合算存网协同配合，让归集后的数据可以被高效访问和处理，让数据做到真正可用。其次，它应该是针对AI场景具有高性能和强一致的，以在数据加载阶段提供海量小文件的超高性能随机访问，以及训练过程中提供对Checkpoint的超大带宽和强一致访问，减群可用度。再次，数据基础设施应该具备较高的性能密度和充分的线性横向扩展能力，以应对训练数据量的激增以及数据类型的多样化，做到可随时按需匹配算力集群扩展。最后，数据作为企业的核心资产，需要被充分保护，防止自然灾害或者人因导致的数据丢失、泄露等。我们将满足上述基本要求的基础设施称为Al-Ready的数据基础设施。 数据的载体，如果无法提供高性能、强一致、安全可靠的数据访问服务，那再高质量的数据也无法有效服务于AI计算。借用一句名言“茶壶里煮饺子，倒不出来就不算饺子”。所以，面向AI构建具有先进存力的数据基础设施，已经成为AI大模型时代的关键。 今天，人工智能（AI）发展如火如茶。随着基于Transformer的深度学习算法日趋完善并逐渐收敛，业界普遍通过堆叠算力以获得更好的大模型训练结果。与此同时，人们日益关注到数据基础设施作为承载数据的平台，对训练效率与结果的影响亦不容小靓。甚至可以说，其在某种程度上对训练结果的影响已超越算法与算力本身，成为影响AI发展的重要因素之一 华为公司在数据基础设施产业深耕超过二十年，深刻理解数据是行业发展的基石。通过与业界专家、客户和伙伴进行深入沟通和相互学习，我们编写了本白皮书，旨在为AI大模型时代提供AI-Ready的数据基础设施提供一些参考意见，希望可以对在建或规划中智算中心先进存力的设计与建设有所神益。 在认识到数据和数据基础设施对于AI的重要性的同时，我们还需要回答一个问题：究竟什么样的数据基础设施才是AI大模型计算的最佳数据基础设施？我想应该至少满足以下四个条件。首先，数据作为企业的核心资产，已经成为最重要的生产要素之一，需要做到可视可管可用，即数据在平时就被妥善保存并通过一张数据资产地图进行可视化管理；并在大模型训练数据归集阶段，可以通过基于策略的方式来管理关键数据的流动，支持将散布在多 工欲善其事，必先利其器。华为愿与产业各方协作，携手共同努力完善A/-Ready数据基础设施的定义和参考架构，共创AI新时代。 尽管业内对于人工智能领域的诸多问题仍在探索之中，但行业对大模型发展方向正在逐渐清晰，其中一点就是数据量及其质量将在人工智能发展的新阶段深度影响智能的涌现。在世界人工智能大会（WAIC）上，有分析报告指出“未来一个模型的好坏，20%由算法决定，80%由数据质量决定”。数据基础设施是 周跃峰博士华为公司副总裁数据存储产品线总裁 01AI大模型加速行业智能化转型 2024年2月16日，OpenAl再度引领风潮，发布了首款文生视频大模型Sora，其频，具有多角度视频一致性及视觉风格、对物理世界理解等特性。根据OpenAl官网披露的信息，Sora不仅能够准确解读用户Prompt的需求，更会尝试理解Prompt中事物在物理世界中的存在方式和运行规律，使得生成的视频逼真度非常高。随着人工智能在理解物理世界规律方面的显著进步，AI大模型正由单模态的NLP领域向文生视频等多模态方向迅速演进，也标志着AI技术正迈向一个 图灵奖得主YannLeCun提出的“世界模型”概念，如今正通过诸如Sora这样的实践得以逐步实现。相较于传统的NLP语言大模型，视频大模型呈现出两大显著特点。首先，视频大模型所需的训练数据量极为庞大，原始数据体量相较于NLP达到几百甚至上干PB级以上，这对数据基础设施的存储和处理能力提出了极高的挑战。其次，视频大模型采用基于模型的再标注（re-captioning）技术来训练标注模型，这一技术使得计算量呈指数级增长。据估算，生成一个仅60顿的视频（约6-8秒）所需的计算量相当于生成120万个Tokens，这要求Al基础设施具备强大且稳定的算力资源。 AI大模型加速行业智能化转型 自人工智能科学诞生至今60多年的发展历史过程中，人工智能经历了三次发展高潮，分别是1956到1970年代，1980到1990年代和2000年代至今。1959年ArthurSamuel提出了机器学习，推动人工智能进入第一个发展高潮期。此后70年代未期出现了专家系统，标志着人工智能从理论研究走向实际应用。80年代到90年代随着美国和日本立项支持人工智能研究，人工智能进入第二个发展高潮期，一个里程碑事件是IBM深蓝在1997年战胜了国际象棋世界冠军GarryKasparoV。当前人工智能处于第三个发展阶段，2006年加拿大Hinton教授提出了深度学习的概念，近年来Transformer大模型的问世推动深度学习模型参数量从几万跃升至数干亿甚至更大，模型层数从开始的个位数逐步发展到成百上干。大模型实现了更好的泛化能力和更高的性能，正在成为AI发展的新范式。 IIAI大模型应用在行业逐步普及 的开发方式，客户无需针对单个场景再开发单独的AI模型，而是由AI大模型厂商开发基础的LO层模型，由行业IT供应商开发L1层的行业模型，应用场景IT供应商提供L2层的细分场景模型，如图1-1所示。 AI大模型的应用场景日渐丰富，正在加速向各个行业渗透。一方面，大模型实现了多场景覆盖、精度限制突破、泛化能力增强和研发能力自动化，成为了AI走向产业化应用的重 ⅡAI大模型最新发展概况 不仅将深刻影响互联网、工业制造、政企、媒资等诸多领域，更是将AI从原先局限于“感知世界、理解世界”的专用领域应用，推向了更为广阔的通用领域，开启了以“生成创造世界”为核心的AGI时代。 随着NLP、GPT、强化学习等AI关键技术的重大突破，一场全新的AI大模型科技革命已经拉开序幕。2022年11月30日，OpenAl推出了革命性的ChatGPT，其在对话流畅度、知识反馈精准度等方面均展现出了超越普通人类的卓越性能。ChatGPT的出现 随着大模型技术的不断发展，各个行业都正在积极探索其具体的应用场景，如图1-2所示。 基于客观数据信用体系的风险管理模式。从而使得基于动产可信的质押模式成为银行的新业态。银行大模型应用场景，如图1-3所示。 在使能新业态方面，AI结合loT、区块链等新技术，将直接服务对象由“人”延伸到“智 智慧金融 AI在银行业的应用场景非常广泛，在提升金融产品营销能力、提升风险处置能力、提升运营与开发效率、使能新业态四个方面已经显现出不同的价值。 面向中小微实体经济的资金要素供给，逐步成为区域经济发展的新动力，切实提高金融服务实体经济效率和支持经济转型发展的能力。 智慧医疗 在提升运营与开发效率方面，通过人机交互打通智能客服，智能网点等服务界面的业务阻隔与流程断点，实现“端到端”业务流程触发、路径选择、任务派发与质量监测，提高业务处理标准化、智能化水平，大幅提升银行客户体验。如中国工商银行在中国有四万多个网点，20万多个网点员工，通过与华为盘古大模型合作，让每个银行柜员拥有自己的智慧助手。根据客户问题生成操作指引，将以前5次操作缩短为1次，单次办结时间缩短5分钟。 在提升金融产品营销能力方面，AI技术可以帮助银行实现客户画像的精准构建和个性化推荐和定制化服务。基于对客户画像的深入理解，AI系统可以自动推荐符合客户需求的金融产品和服务，营销时客户圈选就能够更加有针对性，提高营销精确性。 检测等医疗健康管理环节，也可以应用于医疗环境监测、患者预约就诊、智能分诊等场景改善患者院前就医体验。诊中，AI可以实现影像辅助诊疗、辅助病理诊断、精