您的浏览器禁用了JavaScript(一种计算机语言,用以实现您与网页的交互),请解除该禁用,或者联系我们。[2024中国算力大会]:中国存力发展报告(2024年) - 发现报告

中国存力发展报告(2024年)

AI智能总结
查看更多
中国存力发展报告(2024年)

版权声明 本报告版权属于2024中国算力大会,并受法律保护。转载、摘编或利用其它方式使用本报告文字或者观点的,应注明“来源:《中国存力发展报告(2024年)》”。违反上述声明者,将追究其相关法律责任。 前言 在全球数字经济加速发展的背景下,数据存力作为支撑数据全生命周期管理、推动经济社会数字化转型的关键要素,其重要性愈发显著。数据存力不仅是数字经济高质量发展的重要基石,更是支撑“人工智能+”等前沿技术快速进步与广泛应用的关键保障。近年来,我国数据存储产业在国家政策的引导下,迎来了前所未有的发展机遇。构建现代化数据基础设施体系、加速数据要素价值释放已成为国家战略的重要组成部分。数据存储技术作为这体系中的关键环节,其发展与创新直接关系到我国数字经济核心竞争力的提升 数据存储作为数字基础设施的核心支柱之一,在数据要素和人工智能的双重推动下,先进存力技术优化了数据存储与管理,提升了数据安全性和算力集群可用度,有效支撑了新质生产力的发展。《中国存力发展报告(2024年)》全面梳理了我国数据存储产业的最新发展动态,深入分析了政策环境、存储产业、数据存力建设、先进存力特征、行业应用等多个维度的现状与趋势。通过对新的发展趋势下先进存力的深入分析,为业界提供一份全面的数据存力发展指南作为参考。时间仓促,报告仍有诸多不足,愿请各界批评指正。后续我们将不断更新完善,如有意见建议请联系中国信通院研究团队:dceco@caict.ac.cn 目录 、中国数据存储产业迈向高质量发展..(一)数据存力政策体系加快完善,深入推进数字经济创新(二)数据要素和人工智能双驱动,激发存储产业蓬勃发展.5(三)上下游存储产业链日趋完善,数据存储生态逐步成熟(四)先进数据存储技术不断突破,全闪存储成为主流趋势...10二、中国数据存力建设整体稳步增长11(一)我国数据生产总量较大,未来数据存储需求持续增长11(二)超前布局先进数据存储,带动区域数字经济发展加速...13(三)东中西部省份全面发展,东南各省数据存储质量领先..16(四)关键业务场景提质增效,促进行业闪存占比全面增长.19(五)数据融合引发规模效应,存力集约建设优势逐渐体现...20三、先进存力的新需求与新特征.22(一)数据要素化要求先进存力具备更大容量和数据编织能力(二)人工智能要求先进存力具备极致性能和支持新数据范式,....23(三)先进存力的新特征24四、先进存力对典型行业的支撑作用,25(一)支撑交易稳定运行,保障金融数据安全25(二)保障业务连续可靠,优化运营商资源利用.28(三)缩小数字社会鸿沟,提升政务履职能力30(四)产线数据高效管理,助力工业数字转型...32(五)推动医疗资源共享,提高全民健康水平,.33(六)科研数据高效分析,加快研究创新进程36(七)视频数据实时处理,提升智能安防能力.38(八)采用存算分离架构,优化云和互联网资源配置39 五、发展建议41 图目录 图12022至2024年各省市发布数据存力相关政策数量.图22021-2023年我国数据存力总规模(EB).12图32017-2023我国存储容量年增量(EB).13图42023年我国不同区域数据存储容量存量占比情况.14图52023年我国不同区域平均存储情况..15图62023年我国各省份存储情况17图72023年我国各省份数据存储质量情况18图82023年各行业闪存占比情况 表目录 表1我国各地区算力基础设施部分相关政策 一、中国数据存储产业迈向高质量发展 随着全球数字化不断深入以及新代人工智能技术突破,世界主要国家高度重视数字经济发展,纷纷出台相关战略规划政策,采取各种举措打造竞争优势,重塑数字时代的国际格局,以数据存储为代表的数字基础设施建设在推动全球数字经济发展过程中的重要性已成为共识。作为数字基础设施的核心支柱之,数据存储不仅为数据要素汇聚、流通和处理提供高质量保障,还具有提高数据处理效率、支持大规模数据分析、加速人工智能技术发展、保障数据安全与隐私等优势,有效支撑了新质生产力的快速发展。 (一)数据存力政策体系加快完善,深入推进数字经济创新 数字经济是数字时代国家综合实力的重要体现,也是我国构建现代化经济体系的重要引擎。尽管以美国为代表的发达国家数字经济发展起步较早,已经在全球范围内形成了显著的规模和影响力,但我国凭借超大规模市场、海量数据资源和丰富的应用场景的优势,在国家政策的推动下,正迅速崛起成为数字经济的新高地。 国家以全要素数字化转型推动数字经济发展,高度重视数字基础设施建设。党的十八大以来,我国高度重视数字基础设施的建设与发展,不断加快完善人工智能、数据中心等领域的建设布局。2024年7月18日,二十届三中全会通过了《中共中央关于进步全面深化改革、推进中国式现代化的决定》,强调要培育全国--体化技术和数据市场,加快构建促进数字经济发展体制机制,打造具有国际竞争力的 数字产业集群,建设和运营国家数据基础设施,推进传统基础设施数字化改造。作为数字经济的重要推动力之一,发展数字基础设施成为全要素数字化转型的重要前提。 国家部委强化产业数字化转型顶层设计,提出数据存力设施建设目标。2023年10月,工业和信息化部、中央网络安全和信息化委员会办公室、教育部、国家卫生健康委、中国人民银行、国务院国资委等六部门联合印发《算力基础设施高质量发展行动计划》,提出到2025年我国存储总量超过1800EB,先进存储容量占比达到30%以上,重点行业核心数据、重要数据灾备覆盖率达到100%;加速存力技术研发应用,鼓励先进存储技术的部署应用,实现存储闪存化升级,进步提升我国全闪存技术竞争力;持续提升存储产业能力,打造存储介质、存储芯片、存储系统和存储应用相互促进、协同发展的产业生态:推动存算网协同发展,引导合理配置存算比例,鼓励在关键信息基础设施中使用自主存储设备,通过全闪存储整机带动关键存储部件的国产化应用,实现数据在算力中心内部和算力中心之间的高效流动。同时,国家发改委、国家数据局联合印发《数字经济2024年工作要点》,强调要适度超前布局数字基础设施、加快构建数据基础制度、推动落实“数据二十条”、释放数据要素价值、深入推进产业数字化转型。 地方政府积极响应国家数字经济发展政策,加速落实先进存力高质量发展实施方案。在“十四五”发展规划、“数据二十条”、“数据要素×”等国家政策提出后,各省份地区积极响应,认真贯彻落实数字中国发展建设目标,规划当地数字基础设施的高质量建设行动方 案。目前已有包括广东、上海、江苏、天津、重庆、深圳、山东、河南、浙江、湖北、湖南等十余个省份地区发布相关政策,在数据存储总量、先进存储、灾备建设等方面提出了明确指标。其中上海、成都率先发布了人工智能领域AI存储相关政策,在《上海市算力基础设施高质量发展》中提出要在智算中心内加快部署下代先进存储技术推动全闪存储、硬件高密、数据缩减、多协议数据互通等核心技术底层适配,提升存储介质、容灾备份、加密存储、数据防护等关键技术水平。2022年至2024年,全国20个省市共发布30个数据存力相关政策,具体参见图1和表1 (二)数据要素和人工智能双驱动,激发存储产业蓬勃发展 国前全球数字化发展持续进程推进,新一代人工智能技术爆发,全球数据规模大幅增长作为发展数字经济与人工智能的核心要素,数据已成为国家战略资源的重要组成部分。在数据要素与人工智能的双重驱动下,数据存储市场正迎来前所未有的发展机遇。中国银河证券数据显示,2023年全球存储市场规模已超过于亿美元,市场规模从2020年开始,年复合增长率显著提升。伴随着我国数字经济的高速发展,数据大规模生产为企业级存储市场奠定了良好的发展基础。根据IDC2023年第三季度《中国企业级存储市场跟踪报告》数据显示,在存储产业市场发展方面,我国企业级存储销量在全球份额提升至19.2%,位列全球第二。 跨域数据要素价值释放,促进数据存储整合共享。当前,我国数据要素快速发展,大量数据没有及时保存,且分散存储在不同地域的 业务系统和应用之中,彼此难以共享和利用,容易形成数据孤岛,导致数据资源不能充分利用,造成数据资源浪费。通过先进存储技术构建地域无关、多协议互通、按需访问、统数据视图与调度的存储数据湖,能够实现高质量数据全域共享。同时,建设统一的数据管理平台,实现数据的全局可视、可管、可用,将多域的数据整合共享,形成安全可信的数据空间,释放数据要素资源价值,为加速推进产业智能化构建坚实的数据基础 依托自主存储和安全技术,推动数据要素资产化。数据作为数字经济发展的重要资产,其存储安全性是确保数据资产价值和企业竞争力的关键,而专业存储技术自主是保障数据资产安全的根本。自主可控的数据存储技术确保了对数据的加密、访问权限的严格管理,以及对存储介质和环境的完全掌控。自主研发的数据存储解决方案可以避免外部依赖,减少潜在的安全漏洞,从而在根本上提升数据的保密性和完整性。这不仅有助于防止未授权访问和数据泄露,而且能够在数据遭受攻击时迅速响应和恢复,确保数据资产的长期安全和稳定,维护和保障数据安全 人工智能快速发展,激活冷温数据向热数据转变,引发存储介质与系统变革。人工智能的崛起标志着数据从被动存储到主动利用的转变,随着生成式大模型与产业融合进度加深,业界逐渐意识到数据的巨大潜力,生成式大模型训练需要海量且多种形式的数据,需要将数据从不同的数据中心接入统一汇聚与处理,这对存储容量以及管理都提出了很高要求,进而使得冷数据向温数据转变、温数据向热数据转 变,导致“数据升温”。未来需要处理的实时访问与极热数据将从当前的GB级增长至TB级,保存热数据的内存型介质向更大容量、更低功耗、更高并发方向发展。当前存储温数据的主流介质是HDD,但随着未来数据的加速积累以及SSD的成本下降,SSD有望替代HDD成为存储温数据的主流介质。冷数据占总数据量比例较低,需要长期储存,未来依然将以具备高可靠性、长寿命、对存储环境要求低等特点的磁带和光盘为主 大模型训练推理对数据规模与传输效率提出更高需求。大模型训练推理需要以高质量行业数据作为支撑,以保证推理结果的有效性与专业性。此外,大模型应用通常会与行业知识库紧密结合,通过将行业新增的数据存储到知识库中,实现大模型与私域知识的快速接入和实时更新。数据传输速度需求方面,生成式人工智能的核心在于通过学习和模拟大量数据生成有价值的内容。在这过程中,高效、稳定的数据传输成为了支撑其高效运行的关键因素。生成式大模型的训练数据集规模庞大,为了提高训练效率,系统需要确保能够持续从存储设备进行高速的数据读写操作,并要求与算力资源维持效能平衡。在推理以及内容生成阶段,必须保证存储系统内部的数据能够快速传输,以确保各个环节之间数据的无终衔接,满足推理结果的实时性要求。因此,在大模型训练推理的全过程均需要先进存力作为支撑, 算存运协同发展提高人工智能算力集群高可用度。当下,生成式大模型的发展需要更高效的海量原始数据收集和预处理,更高性能的训练数据加载和模型保存,以及更加及时精准的行业推理知识库。传 统的机械硬盘存储已经无法满足快速访问和处理大规模数据的需求而闪存技术具备高速读写能力和低延迟特性,并随着其堆叠层数与颗赖粒类型方面突破,闪存成本将持续降低,闪存技术已成为存储AI大模型训练数据的理想选择。当前AI大模型参数量已趋近万亿规模,需要TB级别训练数据激发模型性能,训练时间以月为单位,相应的计算集群也正在向着数万节点发展。然而在模型训练推理过程中常常面临各种软硬件故障,导致任务延迟甚至中断,造成基础设施的实际可用度较低,难以充分发挥模型价值。目前高扩展性的AI存储结合高通量高可用的数据传输网络,加速算力集群的数据供给,提升Checkpoint效率,依托先进存力优化集群可用度,走出盲目堆砌GPU、NPU计算力的误区,提升集群综合算力性能,有效降低使用成本,充分释放数据生产力 (三)上下游存储产业链日趋完善,数据存储生态逐步成熟 我国数据存储市场表现活跃,存储产业链全面发展