迈向智能世界白皮书2024-计算

计算 加速原生创新，共赢数智未来 构建万物互联的智能世界 、目录 01 04 趋势四： 丨趋势三: 趋势二： 1趋势- 操作系统面向AI演进，使能异构算力融合，赋能AI高效运行 ScalingLaw延续，智算集群突破算力瓶颈，支撑大模型发展 AI成为对行业影响最大的技术，算力是AI发展关键驱动力 ARM逐步成为数字基础设施算力主流选择 01 1趋势一： AI成为对行业影响最大的技术，算力是AI发展关键驱动力 趋势一：AI成为对行业影响最大的技术，算力是A发展关键区动力+ 人工智能走深向实，技术进步正推动各行各业智能化的不断深化 Al进入大模型时代，模型规模、序列长度、多模态等快速发展，同时，AIAgent、RAG、SFT、COT等技术大幅改善AI幻觉、逻辑错误等问题，LLM的准确度已达91%以上，基本达到企业使用标准。：大模型推理应用滤发增长，从2023年6月到2024年6月，全球AIAPP用户数从1.35亿增长到2.33亿。A的使用费用也在大幅下降，一年时间内推理市场价格平均降低10倍以上，逐步满足企业落地的经济性。，各行业的Al应用目前主要集中在产品开发、营销、业务运营等三个环节，企业最少一个业务功能采用Al的比例从2023年的55%大幅增大到2024年的72%。Gartner的2024CEOSurVey》调查报告显示，59%的CEO认为，AI是对其行业影响最大的技术。 技术和经济性的提升，推动了A加速走向行业 LLM准确度大幅据升。基本满足企业需求A使用费用快速降低，满足企业落地经济性 趋势一：AI成为对行业影响最大的技术，算力是AI发展关键驱动力 AI技术提升及应用普及，驱动训练&推理算力的增长与演进 ·AI大模型从LLM到MoE、多模态，并与退化学习结合，进一步提升逻辑任务能力。同时，伴随若合成数据、超长序列及模态混合等技术的演进，模型能力将由传统的数据驱动转变为算力驱动，对算力提出更高要求，需要突破大带宽高效互联、计算融合与并行、高负荷稳定运行等能力，来提升有效算力，持续满足未来训练算力需求。 推理应用也从记忆生成走向了思考，理解。OpenAlo1基于思维链CoT、Token级别奖励强化学习等新技术，让Al展现了"理科生”的逻辑推理能力，而新技术中更多降低每token的推理或本，促进准理应用的更广泛普及。 人工智能技术及能力跃迁式发展，对训练及推理提出更高挑战 ，趋势一：AI成为对行业影响最大的技术，算力是AI发展关键区动力 昇腾打造开放领先的A/基础软硬件平台，成为中国智能化升级的可靠算力底座，走向原生驱动 瘦盖“云，边，端”全场显：2）异构计算架构CANN，上接各类AI框架，加速库和应用，向下完成算力资源调度和计算加速。使能上层软件和应用更高效的调用下层算力资源；3）全场示AI框架MindSparé：原生支持大模型和科学智能。为开发者提供标准化的接口和工，以分布式并行能力为核心，加速大模型的开发和训练。 创新更简单。到目前为止，异腾已经累计培养了3万多原生贡献者，20+伙伴及客户原生打造了100+核心大兑子、浮化了40多个原生大模型，以及50多个大模型应用。 异腾原生开发 Ascend 一套开发体系，三种开发场景多路径使能大模型创新 02 1趋势二： ScalingLaw延续，智算集群突破算力瓶颈，支撑大模型发展 ，趋势二：Scaling Law延续，智算集群突破算力瓶颈，支撑大模型发展 大模型走向十万亿参数，智算集群跨域协同，支撑模型高效长稳训练 当前领先的主流大模型参数已经突破万亿，正向10万亿参数迈进，大模型能力上限尚未触及，ScalingLaw依然有效。模型参数的指数级提升，对算力、网络和存储的求也成指数级提升。相比2018年发布的GPT1使用的算力，超万亿参数大模型的算力规模从PFLOPS级提升千倍至EFLOP5级：节点内卡间互联的网络转变为超节点间的超高速网终互联：存储也从服务器硬盘中的工B级存储根升于倍，使用多级高并发的PB级存储， 通过算网协司，算存协同等跨域协司技术，满定算力规模增长需求；同时通过高可靠的器件和系统工程设计，以及统一的运管平台，实现集群复杂系统的长稳工作，以及故障的及时恢复， 趋势二：ScalingLaw延续，智算集群突破算力瓶颈，支撑大模型发展 从节点创新到系统创新，超节点重塑AI集群标准 由服务器、存储、网络等设备堆暨而成的传统未群，在大规模训练时，资源利用率低，故障频发，严重阻碍若AI发展和创新。 基于超节点设计，通过系统工程能力，可突破ScaleUp物理节点计算瓶颈，让成百上干个NPU以TB级带宽超高速互联、内存统一编址，就像一个节点一样高效工作。防护），进一步提升ScaleOut的集群计算效率和可靠性， 通过高可靠性系统工程设计，如负载感知的精准液冷、网络设备亚毫秒级故障感知、集群级可靠性仿真预测等，平均无故障运行时长从几小时提升到几天，大帽提升训练效率，让大模型训练变的更快、更简单。 ，趋势二：ScalingLaw延续，智算集群突破算力瓶颈，支撑大模型发展 集群级统一运管平台，定义集群管理平台标准，实现集群复杂系统的长稳运行 集群能否长稳运行，不仅依赖高质量硬件和先进的架构，也与设备运维管理关系密切。集群级的统一运管平台可改变当前运维管理多域分治、互不相通的不足，互新定义大规模集群运维管理的标准，完成跨域故障快速定位恢复，实现群复杂系统的长稳运行， 第一，集群系统从传统的单域分管，走向计算、网络、存储的全域统管，实现跨域故障快速定位。可实现超大规模集群级别的“0”隐患启动，故障“1”分钟感知和“3"分钟定位， 第二，可管理的集群器件数从百万级提升至亿级。实现亿级器件的全量纳管，并提供数字化地图，支持满细的故障排忧和资源优化。同时开放管理能力的接口，支持用户可快速对接自有运维系统。 第三，故障主动预防，同时朱成多种故障机理模型和预测算法，及时感知亚链康模块，提前预防核心器件失效，让朱群告别慢节点慢网络，可长时间稳定运行， 1趋势三： 操作系统面向AI演进，使能异构算力融合，赋能AI高效运行 趋势三：操作系统面向AI演进，使能异构算力融合，赋能AI高效运行 操作系统面向Al演进，openEuler打造数智基础设施的开源操作系统 AIforOS：AI赋能操作系统更智能。操作系统通过基础AI大模型，基于大量操作系统自身代码和数据，训练出探作系统自身的助手模型，实现代码辅助生成、问题智能分析、系统辅助运维等功能，让操作系统更智能。 ，OSforAI：操作系统使能A/更高效，操作系统通过异构资源统一管理和调度，实现CPU和XPU的深度融合，以更全同、更均衡和更精细化的视角统等内存和笋力，充分挖据空闲瓷源，提升有效利用率，进而提升AI训练和推理性能。 面向智能加速、数智融合的趋势，enEuler面向Al演进，致力于打造成为数智基础设施最佳开源操作系统。南向使能异构算力融合，提升算力使用效率；北向助力更稳定的模型训练和更高的推理性能。 openEuler：面向数智基础设施的开源操作系统 趋势三：操作系统面向AI演进，使能异构算力融合，赋能AI高效运行 openEuler持续创新，使能通算智算异构算力融合，赋能AI高效运行 使能异构算力融合：伴随超节点和集群架构的兴起，操作系统在资源管理和调度上的能力变得尤为重要。openEuler协同互联总线，实现内核统一抽象、统一编址和语义直接访问，通过低时延调度器实现跨节点资源的微秒级访问，结合异构资源池化能力，实现业务负载与资源的动态配比，使能计算系统从局部最优到全局实时最优。 赋能A高效运行：面向Al训练，openEuler通过镜像数据块级别的按需加载，大幅缩短任务冷启动时间：通过升级的设备健康监测算法，提前发现亚键康节点。面向AI推理，利用openEuler异构融合内存能力，按需分配KVCache，提高片上内存利用率，缓解容量瓶领，提升推理性能. ，趋势三：操作系统面向AI演进，使能异构算力融合，赋能AI高效运行 openEuler已成为中国第一服务器操作系统，并全面融入全球生态 openEuler开源5年，实现了跨越式发展。根据IDC报告，2023年中国新增市场份额占比36.8%，排名第一。并在技术创新、行业应用、产业生态建立了完善的发展体系，形成了正循环社区汇聚了从处理器、操作系统、数据库、行业应用等全产业链超过1800家企业成员，社区开源贡献者超过20,000位，为社区发展不断努力， openEuler一直致力于打造国际化的开源协作平台，汇聚全球开源力量，为世界开源贡款献中国智。在技术生态方面，openEuler始终坚持UpstreamFirst原则，与国际主流基金会深度合作，已支持了全球98%的主流开源软件：更进一步，欧拉已经作为持续案成的操作系统，进入云原生、大数据、存储、数据库、HPC等开源社区，实现了上游欧拉原生支持，开箱即用。 04 ARM逐步成为数字基础设施算力主流选择 趋势四：ARM逐步成为数字基础设施算力主流选择 ARM算力从端侧延伸至服务器市场，中国市场ARM系服务器占比超过15% ，随若自动驾驶，云游戏等应用兴起，数据中心侧，传统单一架构难以满足要求，端-边-云协同成为趋势，ARM算力是从最初的端侧起步，目前在端侧拥有95%以上绝对优势。随有多样性算力发展，ARM进入算力更高的服务器领城，基于协同趋势表现出显著的优势，当前在云/数据中心场景已逐步成为主流。 ：ARM在服务器市场的总算力占比稳步提升，ARM服务器市场份额不断提升。截止2024年Q2，中国市场ARM系服务器(以能鸭为主）占比已经超过15%。ARM架构服务器已逐步成为通用计算领域新的选择，助力各行各业数字化转型。 ?趋势四：ARM逐步成为数字基础设施算力主流选择 以鹏为代表的ARM路线，生态逐步完善，全面服务各行业核心场景 ，鲲计算产业从2019年发晨至今，聚焦基础软硬件根技术创新，坚定“硬件开放、软件开源、使能伙伴、发展人才”的战略，已基本构建覆盖从基础硬件、基础软件、行业应用，以及开发套件和工具链的完整产业生态， ，目前，在全球计算产业伙伴的共同努力下，已发展5500+合作伙伴，共推出16500+鲲联合解决方案，并已经构筑了完整的基础软硬件生态和人才发展体系，发晨了320万+渠聘开发者，并在政府、金融、运营商、电力、能源、教育、医疗等各个行业实现了大规模的商用落地。 鲲鹏基础软硬件平台 生态共建，合作共赢 全面服务各行业核心场景 践行伙伴优先，使能商业成功 使能·5500+银合作伙伴伙伴：16500+银解决方表认证 ：openGauss700+社区伙伴软件开源openEuler2023年中新增服务器OS市场份额38.8% 国计民生行业金驻政府|电信|电力|互联网！ 硬件：13家整机合伙火伴，200+机型开放：20+KPN伙伴，打造灵活多样设备 趋势四：ARM逐步成为数字基础设施算力主流选择 鲲鹏从“迁移适配”走向“原生开发”，2025年将超过1000+伙伴实现鲲鹏原生应用开发 ，鲲鹏从“迁移适配”走向“原生开发，通过原生开发，提高客户与伙伴多技术路线开发效率，提升应用性能 ，在企业原有Cl/CD流水线中：通过组件化封装的鲲DevKit、BoostKit、openEuler的各类原生开发工具（鲲场景化SDK、毕异编译器、调优诊断工具等），实现一次编码，多路线适配，即一次开发即可上线ARM、x86等不同平台版本软件，让客户和伙伴不再维护多平台开发团队，版本选代效率提升30%。鲲鸭WAAS可动态感知业务负载，自动调参，自动调用最优加速库，典型场业务性能提升10%-30%， ，截至2024年9月，已有200多家头部伙伴实现鲸原生开发；计划到2025年，银弗原生开发伙伴将超过1000家，覆盖行业主流应用. Thank you. 把数字世界带入每个人、每个家庭每