行业研究公司研究宏观策略财报招股书会议纪要 seedance2.0 低空经济 DeepSeek AIGC 大模型

鲲鹏原生开发技术白皮书

信息技术 2024-09-30 - 华为杨框子

鲲鹏原生开发技术白皮书总结

鲲鹏原生开发的机遇和挑战

鲲鹏计算产业聚焦计算架构创新和开源基础软件研发，以及华为云服务，致力于推动鲲鹏生态发展。
鲲鹏全栈创新已覆盖国计民生核心场景，主流伙伴核心应用已迁移到鲲鹏，但面临应用持续发布和高效率开发挑战。
技术挑战包括：流水线改造繁琐、鲲鹏微架构优化不足、安全合规扫描缺失、多算力测试效率低。

鲲鹏原生开发的核心技术理念

核心理念：基于鲲鹏硬件+openEuler+双Kit（DevKit、BoostKit）套件，实现1套代码+1条流水线+N个版本，持续且首发商用版本。
包含代码开发阶段和流水线阶段：
- 代码开发阶段：通过鲲鹏DevKit、BoostKit开发代码，充分应用鲲鹏架构优势，性能更优。
- 流水线阶段：鲲鹏DevKit以命令行方式1小时接入CI/CD，便捷发布多平台版本。
关键特性：
- 极简融入&高效发布：DevKit原生开发插件1小时接入两大主流CI/CD流水线。
- 鲲鹏亲和&极致性能：鲲鹏流水线使能鲲鹏亲和分析工具、编译器、性能工具等，实现应用性能提升。
- 多架构兼容：1套流水线同时支持多样性算力版本构建及测试。

鲲鹏原生开发能力介绍

代码开发阶段

提供DevKit应用开发工具和BoostKit应用使能套件，通过启发式编程及多场景化SDK提供的示例Demo和文档，有效提升鲲鹏原生开发效率。
应用开发工具：
- 支持创建鲲鹏应用工程，支持C/C++开发语言，编码时自动匹配鲲鹏加速库函数字典、智能提示、高亮、联想。
- 支持功能：鲲鹏应用工程、字典管理、编程辅助。
鲲鹏BoostKit应用使能套件：
- 提供高性能开源组件、基础加速软件包和应用加速软件包，使能应用极致性能。
- 针对场景：
  - ARM原生：ExaGear AArch32指令翻译软件、Kbox云手机容器、视频流引擎、指令流引擎。
  - 大数据：openEuler和毕昇JDK性能优化、OmniRuntime、机器学习和图分析算法加速库、HBase索引优化、存算分离加速。
  - 分布式存储：压缩算法、KAE zlib压缩、IO智能预取、KAE MD5摘要算法、存储加速算法库、存储维护工具库、EC Turbo、智能写Cache、IO直通、数据压紧、元数据加速、Ucache智能读缓存、BoostIO、RDMA网络加速。
  - 机密计算：iTrustee套件（TEE OS、REE Patch、TEE SDK、BIOS、BMC）。
  - 数据库：Gazelle网络优化、鲲鹏GCC CFGO反馈优化、KAEzip压缩解压缩优化、MySQL并行查询优化、MySQL无锁优化、MySQL细粒度锁优化、MySQL NUMA调度优化、MySQL可插拔线程池、CRC32指令优化、MySQL可插拔在线向量化分析引擎。
  - 虚拟化：负载感知加速系统、OVS流表归一化、OVS流表网卡加速、高性能云盘优化、虚拟化DPU卸载。
  - Web/CDN：KAE RSA加解密。
  - HPC：多瑙管理平台、多瑙调度器。
鲲鹏BoostKit基础加速：
- 提供基于ARM指令深度优化和基于鲲鹏KAE开发的加速库，覆盖系统库、压缩、加解密、媒体、数学库、存储、网络和AI库等8类加速库。
- 组件包括：Glibc-patch、Hyperscan、AVX2KI、KQMalloc、HTL、KSL_ASN1、HAF。

代码优化

提供DevKit亲和分析工具，可实现鲲鹏亲和代码优化建议，帮助开发者写出更适配鲲鹏平台的代码。
亲和分析工具功能：
- 64位运行模式检查、字节对齐检查、缓存行对齐检查、内存一致性静态检查、向量化检查、矩阵化检查、构建亲和。

编译

提供毕昇编译器、毕昇JDK、GCC for openEuler。
毕昇编译器：支持C11、C++14/17、Fortran语言标准，OpenMP 4.5/5.0 API标准，高性能编译算法，支持安全/高效编码工具集。
毕昇JDK：基于OpenJDK开发，支持Java 8、11、17、21四个LTS版本，支持架构：Linux/AArch64、Linux/x86_64，支持操作系统：openEuler全系列操作系统、CentOS 7.6、Ubuntu 20.04、Ubuntu 22.04、麒麟V10、UOS 20。
GCC for openEuler：基于开源GCC开发的编译器工具链，支持C11、C++14/17、Fortran 2018语言标准，OpenMP 4.5/5.0 API标准，针对鲲鹏平台进行质量加固。

调试

提供编译调试工具，支持C/C++/Fortran代码调试能力、单机下GPU应用调试能力、HPC场景多节点应用并行调试能力。
编译调试工具功能：
- 一键式部署鲲鹏编译器。
- 可视化配置编译调试参数，一键式编译、运行、调试。
- 远程单步调试C/C++代码。
- 编译调试过程中信息实时交互。
- CUDA支持调试源码、汇编代码。
- HPC支持调试源码、汇编代码，支持历史通信组详细信息展示和堆栈切换。

调优

提供系统性能分析工具、Java性能分析工具、系统诊断工具，通过通用性能调优和场景化性能调优，可实现应用性能提升5%-10%。
系统性能分析工具：
- 通用分析：全景分析、进程/线程分析、热点函数分析。
- 系统部件分析：微架构分析、访存分析、I/O分析。
- 专项分析：资源调度分析、锁与等待分析、Roofline分析。
- 调优助手：系统化组织性能指标，引导用户分析性能瓶颈，实现快速调优。
- AI调优：通过AI技术自动推荐参数配置，提升调优效率和效果。
- 场景化调优：针对HPC应用进行性能分析，提供MPI timeline等可视化结果。
Java性能分析工具：
- 在线分析：对目标JVM和Java程序进行双重分析，图形化显示堆、线程、锁、垃圾回收等信息。
- 采样分析：通过采样方式收集JVM的内部活动/性能事件，进行离线分析。

系统诊断工具

提供内存诊断、网络IO诊断、存储IO诊断功能，识别异常点并给出优化建议。
- 内存诊断：识别内存泄漏、内存越界等问题。
- 网络IO诊断：识别网络丢包等问题。
- 存储IO诊断：识别存储性能瓶颈等问题。

流水线阶段

门禁检查：
- 提供DevKit应用迁移工具、亲和分析工具和编码规范检查，拦截不适配鲲鹏服务器的代码，提供优化建议。
- 应用迁移命令行：软件迁移评估、源码迁移。
- 亲和分析命令行：64位运行模式检查、字节对齐检查、内存一致性检查、向量化检查、矩阵化检查、构建亲和、缓存行对齐检查、BC文件生成。
- 编码规范检查：使用SonarQube进行编码规范检查，涵盖架构设计、注释、编码规范、潜在缺陷、代码复杂度、重复代码等多个维度。
编译构建：提供毕昇编译器、毕昇JDK、GCC for openEuler。
调优：提供自动反馈优化功能，通过流水线自动触发，实现应用编译优化。
- 自动反馈优化：A-FOT工具支持AutoFDO、AutoPrefetch、AutoBOLT三种模式。
测试：
- 兼容性测试工具：提供一系列兼容测试用例集，实现鲲鹏兼容测试自动化。
- Java性能测试工具：结合Jmeter，对目标程序进行压测，采集目标进程的性能数据，生成压测报告。
版本发布：使用开源病毒扫描工具ClamAV，实现版本安全合规扫描自动化。

OS底座（openEuler系操作系统）

openEuler简介：
- 面向数字基础设施的操作系统，支持服务器、云计算、边缘计算、嵌入式等应用场景，支持多样性计算，致力于提供安全、稳定、易用的操作系统。
- 软件包总数已超过3.5万，提供可靠开源软件供应链。
openEuler基础能力：
- iSulad轻量级容器引擎：轻量级容器引擎，资源占用更少，容器启动更快，可应用范围更广，支持系统容器与安全容器。
  - 核心能力：容器服务、镜像服务、卷服务、网络服务。
- StratoVirt：基于Linux内核虚拟化（KVM）的开源轻量级虚拟化技术，降低内存资源消耗，提高虚拟机启动速度，可应用于微服务或函数计算等Serverless场景。
  - 核心架构：外部API、bootloader、模拟主板microvm、通用机型。
- openEuler AI软件栈：兼容NVIDIA、Ascend等主流算力平台的软件栈，提供高效的开发运行环境。
  - 容器镜像：SDK镜像、AI框架镜像、模型应用镜像。
- A-Tune智能调优引擎：基于AI的操作系统性能调优引擎，简化IT系统调优工作，让应用程序发挥出色性能。
  - 功能：智能决策（重要特征分析、两层分类模型、负载变化感知）、自动调优（重要参数选择、调优算法构建、知识库构建）。
openEuler工具和社区服务：
- 操作系统迁移：x2openEuler工具套件，具有批量化原地升级能力，实现端到端的无感迁移。
  - 迁移方案：成立迁移保障组织、迁移分析、方案设计、移植适配、迁移实施、测试上线。
- EulerMaker构建系统：软件包构建系统，完成源码到二进制软件包的构建，支持开发者通过搭积木方式，组装和定制出适合自己需求的场景化OS。
  - 功能：增量/全量构建、构建依赖关系、分层定制、镜像定制、支持本地任务复现、一键工程创建。
- EulerTest测试管理平台：承载社区全流程测试活动的管理平台，使能社区版本测试可跟踪可追溯。
  - 功能：资源管理、自动化测试、用例管理、产品/里程碑管理、测试任务管理、版本质量看板、自动化测试结果整合。
- EulerPipeline流水线：面向社区开发者，构建多架构、高质量的源码及二进制仓库。
  - 功能：流水线编排、矩阵测试、一键复现、结对联调。
- CVE Manager漏洞管理：对安全漏洞进行感知、收集、处理以及披露的流程、工具和机制。
  - 功能：发布安全公告、安全公告邮件订阅。
- openEuler官方仓及扩展仓：提供超过3万+源码包、百万级二进制软件包，支持一站式兼容性软件包、文件查询、下载、开源软件包的使用风险感知服务。
  - 功能：面向创新场景开发者、广大用户、企业用户。

技术白皮书文档版本01发布日期2024-09-30 版权所有©华为技术有限公司2024。保留一切权利。非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。商标声明和其他华为商标均为华为技术有限公司的商标。本文档提及的其他所有商标或注册商标，由各自的所有人拥有。注意您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。除非合同另有约定，华为公司对本文档内容不做任何明示或暗示的声明或保证。由于产品版本升级或其他原因，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。安全声明漏洞处理流程华为公司对产品漏洞管理的规定以“漏洞处理流程”为准，该流程的详细内容请参见如下网址：https://www.huawei.com/cn/psirt/vul-response-process如企业客户须获取漏洞信息，请参见如下网址：https://securitybulletin.huawei.com/enterprise/cn/security-advisory 目录 1鲲鹏原生开发的机遇和挑战....................................................................................................... 12鲲鹏原生开发的核心技术理念................................................................................................... 23鲲鹏原生开发能力介绍...............................................................................................................33.1代码开发阶段............................................................................................................................................................................. 33.1.1代码开发.................................................................................................................................................................................. 33.1.1.1代码开发介绍...................................................................................................................................................................... 33.1.1.2应用开发工具...................................................................................................................................................................... 33.1.1.3鲲鹏BoostKit应用使能套件........................................................................................................................................... 83.1.1.3.1鲲鹏BoostKit应用使能套件简介............................................................................................................................... 83.1.1.3.2鲲鹏BoostKit应用加速................................................................................................................................................ 93.1.1.3.3鲲鹏BoostKit基础加速.............................................................................................................................................. 193.1.2代码优化................................................................................................................................................................................ 223.1.2.1代码优化介绍.................................................................................................................................................................... 223.1.2.2亲和分析工具.................................................................................................................................................................... 233.1.3编译........................................................................................................................................................................................ 253.1.3.1编译介绍............................................................................................................................................................................ 253.1.3.2毕昇编译器........................................................................................................................................................................ 253.1.3.3毕昇JDK............................................................................................................................................................................. 263.1.3.4 GCC for openEuler......................................................................................................................................................... 263.1.4调试........................................................................................................................................................................................ 263.1.4.1调试介绍............................................................................................................................................................................ 263.1.4.2编译调试工具.................................................................................................................................................................... 263.1.5调优........................................................................................................................................................................................ 313.1.5.1调优介绍............................................................................................................................................................................ 313.1.5.2系统性能分析工具........................................................................................................................................................... 323.1.5.2.1系统性能分析工具简介..........................................................................................

点击免费查看完整报告