2024云原生AI技术架构白皮书

云原生 AI 技术发展与应用白皮书总结

01 背景和前言

• 大模型开创智能时代的新纪元：AI 软件及应用市场持续增长，AI 大模型成为产业主要增长点。据 IDC 估计，2026 年中国人工智能软件及应用市场规模将达到 211 亿美元。大模型凭借其泛化性、通用性、迁移性，为人工智能大规模落地带来新的希望，助力各行业生产力变革。
• 云原生助力 AI 产业突破发展瓶颈：AI 产业面临数据、算法、算力等多方面发展瓶颈。数据规模高速增长，数据特征复杂，计算复杂度增加，数据标注难度加大。AI 应用场景多元化、复杂化，算法和模型开发难度增加。算力需求多样化，资源调度和统一运营管理成本高。云原生 AI 技术应运而生，为 AI 应用运行提供可扩展、高可靠的平台，并从调度资源、安全等方面增强云原生。

02 云原生 AI 基础设施发展和挑战

• 云原生 AI 技术的演进：后摩尔定律时代，面向特定领域体系结构 (DSA) 处理器出现，大模型训练需要大规模 AI 集群，典型的 AI 集群具有多个网络平面和高速总线平面，以支持大规模算力需求。
• 算力诉求井喷，AI 产业面临挑战：AI 业务在使用大规模算力集群过程中遇到线性度问题、超节点架构挑战、集群可用度和资源利用率问题、存储 I/O 瓶颈问题、节点间高速通信问题等。

03 云原生 AI 技术概论

• 云原生 AI 资源管理系统建设要点：
  • 现状与问题：集群规模快速膨胀，AI 资源管理复杂度上升；AI 芯片种类繁多，可扩展性要求高；新型 AI 资源提出新的挑战；XPU 计算吞吐能力快速提升，I/O 瓶颈越发严重；多卡甚至多个节点同时参与一个任务的计算，节点内和节点间算力的高速通信成为必需。
  • AI 通用算力基础设施关键技术和价值：大规模设备管理（Device Plugin 模式和 Dynamic Resource Allocation 模式）、设备管理的可扩展性、新型 AI 设备的管理。
  • 矩阵算力基础设施关键技术与价值：全局多路径 I/O 加速技术（路径规划、感知业务特征和集群拓扑、减少非必要数据传输）、超节点资源管理模型（资源切片、资源拓扑感知、资源高可用）。
• 云原生 AI 训练系统建设要点：
  • AI 调度加速：组调度（Gang）、节点网络拓扑感知调度、超节点拓扑亲和调度、装箱调度（Binpack）、主动重调度。
  • AI 训练存储加速：高性能文件缓存加速层、三级缓存加速技术（L1、L2、L3）。
  • AI Serverless 训练：资源画像、AI 训练任务的资源消耗预测、透明弹性技术。
  • AI 故障自愈：准入检测（性能压测、基础环境检测）、故障快速感知（芯片故障、节点故障、带外故障）、任务快速恢复（计算图和算子编译缓存、在线复位快速恢复、Pod/Job 重调度）。
• 云原生 AI 推理系统建设要点：
  • Serverless AI 推理：Prefill 和 Decoding 分离、Prefill 和 Decoding 的计算衔接、Prefill 和 Decoding 如何搭配。
  • 云原生 AI 边缘云系统建设要点：
    • 边缘云原生技术与典型框架：K3s 项目、KubeEdge、Sedna。
    • 面向边缘云原生的大模型轻量化技术：混合专家架构、边缘友好的量化、边缘感知的知识蒸馏、自适应模型压缩。
• 弹性伸缩，应对 AI 任务浪涌挑战：
  • 资源画像：多层次资源画像、预训练模型和迁移学习。
  • 垂直弹性：基于画像和预测的弹性伸缩、混合弹性伸缩方法。
  • 水平弹性和智能 HPA：基于度量指标的自动扩容或缩容。

04 云原生 AI 技术应用

• 云原生 AI 跨地域多集群协同：分布式环境 AI 资源统一管理、全域调度，提高资源利用率；基于多集群构建高可用的 AI 作业运行平台。
• 云原生 AI 算力效能优化：
  • AI 业务训推一体化：资源分时复用与多业务驱逐策略统一协调计算资源运行训练和推理任务。
  • 算力资源共享：XPU 虚拟化：资源隔离、资源按需动态分配、XPU 共享资源监控。
  • 算力资源共享：XPU 显存池化：应用程序显存池化、显存池化高可靠性。
• 云原生 AI 云边协同计算：
  • 云边协同推理：边缘端推理简单样本，云端推理难例样本。
  • 云边协同训练：云边协同的联邦学习、云边协同的增量学习。
• 大模型云原生化解决方案：
  • 推理引擎和部署框架：vLLM、TGI、RayServe、KServe。
  • 模型文件的存储和加载：近计算侧部署缓存系统，实现快速加载。
  • 推理集群的监控和运维：Prometheus+Grafana、Elastic+Logstash+Kibana、KServe。
• 云原生 AI 设备驱动管理：
  • 应用场景：GPU 驱动程序版本管理和更新、兼容性问题、自动化管理缺失、驱动升级影响业务。
  • 解决方案：统一兼容性管理、容器化驱动管理、升级驱动联动应用编排。

05 云原生 AI 行业实践

• 社交平台 RB 云原生 AI 平台应用加速实践：个体风险评估引擎，利用 CNAI 技术实现高效精准的个体风险评估。
• AI 解决方案提供商 FP 多场景 AI 云原生化实践：CNAI 技术在心血管疾病风险评估与管理中的应用，提高核保效率和客户满意度。
• 医疗科技公司 HL 云原生 AI 智能医疗实践：CNAI 技术在个体风险评估中的应用，实现高效数据处理和整合、精准模型训练和预测、实时风险评估和动态更新。