算力网络优秀案例2023

版权声明 本案例集版权属于算网融合产业及标准推进委员会，并受法律保护。转载、摘编或利用其它方式使用本案例集文字或者观点的，应注明“来源：算网融合产业及标准推进委员会”。违反上述声明者，编者将追究其相关法律责任。 前言 当前，“算力网络”已成为ICT技术和产业全面发展的重要方向。算力网络是实现“网络”和“算力”泛在连接、按需调度、安全内生的新形态、新阶段、新模式，包含基础设施、平台、服务、应用、安全等重要内容。 为进一步凝聚共识，推进算力网络高质量发展，中国信通院联合中国通信标准化协会算网融合产业及标准推进委员会（CCSATC621）组织开展“2023年度算力网络创新应用优秀案例征集活动”，公开遴选产业内算力网络取得突出成效的创新应用案例，树立行业标杆，助力形成示范效应。 中国通信标准化协会算网融合产业及标准推进委员会（CCSATC621）特此感谢各位评审专家和所有参与单位。此次案例评选获得了算力网络产业各方代表的大力支持，在此一并感谢所有参与本次案例评选活动的产业代表的大力支持！ 目录 一、算力网络技术创新优秀案例..............................................................................1 (一)案例1：基于云原生的算力和流量融合调度.............................................1(二)案例2：算网协同：网络赋能CDN的智能优化实践..............................9(三)案例3：粤港澳大湾区一体化算力服务平台助力实现以网强算、以算赋能.......................................................................................................................14(四)案例4：用于大规模智算中心的监控运维系统.......................................25(五)案例5：工商银行AI算力基础设施创新实践.........................................38 二、算力网络行业应用优秀案例............................................................................44 (一)案例1：基于元学习的算力网络状态诊断案例集...................................44(二)案例2：边端融合强化运营商CDN算力网络........................................57(三)案例3：中宇联AI融合网关之算力网络.................................................67(四)案例4：某汽车配件算力中心网络调度应用案例...................................80(五)案例5：工商银行国产分布式数据库全栈国产化研究与应用...............83 一、算力网络技术创新优秀案例 (一)案例1：基于云原生的算力和流量融合调度 1.案例综述 案例背景：随着互联网技术的飞速发展，特别是高清视频、直播、4K等领域的迅猛增长，用户对视频传输的清晰度和实时性要求 日益提高。这使得CDN（内容分发网络）行业面临着巨大的挑战和机遇。传统的CDN调度系统主要侧重于流量的分发和管理，而缺乏与算力调度的有效协同，难以应对业务对算力和带宽的爆发性增长需求。 在此背景下，基于云原生的流量融合调度系统应运而生。该系统将流量调度与算力调度紧密结合，通过云原生技术实现资源的弹性扩展和高效利用，以满足用户对高清、低延迟视频传输的需求。同时，该系统还能够提高CDN节点的资源利用率，降低运营成本，为CDN行业的可持续发展提供有力支持。 案例内容：本案例介绍了一种基于云原生的流量融合调度系统，该系统主要由融合调度中心和边缘计算节点集群组成。通过各模块间的紧密配合与信息交互，该系统实现了流量调度与算力调度的深度融合，提高了边缘计算场景下的服务质量与资源利用效率。 （1）融合调度中心 融合调度中心作为整个系统的核心，负责流量调度与算力调度的整体决策。它具备算力感知、算力调度等功能，并与边缘节点、云原生平台建立了实时的信息交互机制。通过实时获取边缘节点的流量负载、算力资源使用情况等状态数据，融合调度中心能够进行智能决策，将计算和存储资源更靠近用户，从而降低传输延迟。 在融合调度中心中，云化运维能力组件是关键组件之一。它作为两个平台间的中间件，负责接收来自算力调度平台和流量调度平台的数据，进行汇总和分析。同时，云化运维能力组件还负责边缘节点内算力资源的监控、调度与编排，确保资源的合理利用。 业务管理组件则负责接收调度器的调度决策，执行应用服务的部署操作。它支持容器化部署，与Kubernetes云原生平台无缝集成，实现资源的快速扩展和回收。 调度器组件基于微服务架构，包括一个中心调度器和多个子调度器。子调度器负责具体应用服务的资源请求处理，而中心调度器则根据资源监控组件提供的数据，综合考虑算力资源和网络流量，进行智能决策。 （2）边缘计算节点 边缘计算节点是流量接入点，同时也是算力资源的提供者。它们分布在不同地域，通过接收来自融合调度中心的流量调度指令，为用户请求提供服务。同时，节点的算力资源由云原生平台统一管理调度，确保资源的有效利用。 （3）研发运维 基于云原生的CDN平台，该系统打造了一个快速持续交付体系，形成研发交付闭环。这有助于快速响应客户需求，实现高效交付。同时，通过云原生技术的引入，该系统还提高了CDN节点的资源利用率和可扩展性，降低了运营成本。 综上所述，本案例介绍的基于云原生的流量融合调度系统通过融合流量调度与算力调度，实现了资源的高效利用和用户体验的优化。该系统为CDN行业提供了一种新的发展方向，有助于满足未来业务对算力和带宽的更高需求。 2.部署场景 本方案部署在IP承载网之上，通过容器化方式进行部署。其中调度管理组件部署在中心云，边缘节点部署在边缘云。同时为5G及家宽用户提供服务。 3.技术要点 技术实施方案概述 （1）融合调度算法 融合调度中心从接入层获取用户请求后，会同时触发流量调度和算力调度流程。在流量调度时，调度中心基于用户IP、接入节点 等信息，并参考各边缘节点实时的流量负载、网络状况等，选择一个或多个候选节点。同时，调度中心将用户请求对应的算力需求发送给云原生平台。云原生平台根据边缘节点的实时资源状态，通过调度算法(如贪心、启发式、强化学习等)筛选出能满足算力需求的节点子集，并将结果返回给调度中心。调度中心再从流量候选节点和算力候选节点的交集中，选择最优节点作为请求的最终目的地。这一过程流量调度与算力调度是并行的，且相互制约、相互影响，从而做出综合平衡后的最优决策。 (已申请专利《一种基于云原生的算力和流量融合调度算法》） （2）资源动态分配策略 本方案设计了一套动态灵活的资源分配策略，实现了将融合调度中心选定的目标节点的算力资源，分配给用户请求及其衍生的各个任务和进程。 云原生平台的资源分配还需兼顾任务的优先级、公平性等因素。可通过设置权重、预留资源、限制配额等手段，确保高优先级的任务获得足够的资源，同时避免低优先级任务持续"饥饿"。一些关键任务还可预留专属资源，保证其性能与稳定性。 （3）资源动态分配策略 针对广域类场景，可通过CDN的全局调度机制实现边缘计算节点的精准寻址，面向不同CP有以下两种技术方案。 方案一 适用对象：有自主节点调度需求的CP，如腾讯、阿里 方案概述：CDN以能力开放的形式向CP提供终端与节点位置映射关系，CP基于自身调度策略实现节点定位。 2.CP调度中心接收到终端的请求后，从边缘计算平台获取关联信息， 3.根据调度策略将边缘节点IP作为DNS解析结果返回 4.终端向边缘节点发起访问请求 方案二 适用对象：不具备节点调度能力或对自主调度没强制需求的CP 方案概述：基于现网DNS系统改造（支持EDNS0扩展协议），通过CDN全局调度中心实现节点的精准定位。 1.终端发起DNS解析请求 2.数据包在UPF分流后并经FW通过NAT映射，源地址改为UPF对应的公网IP地址，并路由至LDNS； 3.改造后的LDNS支持EDNS0协议，即将接收到的DNS解析请求的UPF源IP地址填入扩展字段中； 4.解析请求根据现有DNS解析逻辑定向到边缘计算调度中心，调度中心通过识别EDNS协议定义的扩展字段，调度至对应的节点； 5.终端向边缘节点发起访问请求 （已申请专利《一种动态更新边缘能力调用缓存的方法与系统》） 4.应用价值 应用价值及创新点 本方案打破了流量调度与算力调度割裂的现状，实现了全局统筹、动态协同的新型调度范式。边缘节点兼具流量接入和算力处理能力,云原生平台支持细粒度的资源管理与弹性调度,融合调度中心负责顶层的智能决策,多个模块各司其职又相互配合,共同构成了一个灵活高效的融合调度系统。 （1）技术创新 能力更多样：边缘计算网络已支撑vCDN、人脸检测、画质增强、智控高清、VSTB等第三方应用，后续将以支持各类第三方应用为目标，将CDN功能逐步云化成边缘计算相关业务。 节点更灵活：传统CDN节点部署分散，无法弹性伸缩，通过边缘计算节点的虚拟机和容器进行统一组网，提供按需、弹性服务。 调度更准确：建立基于流量和能力的调度策略，同时兼顾热度、能力按需等优先级的调度方案，对计算能力进行统一管理、统一分发、统一调度，保障用户的业务体验 后续发展改进方向 智能化自适应调度优化：结合云原生技术和边缘计算的特点，进一步推动智能化调度系统的发展。通过引入更先进的人工智能算法，比如深度学习和强化学习，不仅优化算力和网络资源的动态分配，也提高对复杂网络环境和多变业务需求的适应能力。这样的智能化调度可以显著提升CDN服务的效率和用户体验，尤其是在处理高清视频、实时直播等高带宽和低延迟需求场景下。 安全性增强：加强融合调度系统的安全防护机制，包括数据加密、访问控制、身份认证等方面的安全措施，以应对日益增长的网络安全威胁。同时，建立健全的安全审计和监控机制，及时发现和应对潜在的安全风险和漏洞。 (二)案例2：算网协同：网络赋能CDN的智能优化实践 1.案例综述 云游戏是内容加速中的一个通用业务场景，其是一种实时交互的应用，同直播场景一样对时延敏感，玩家的操作需要实时同步到云端服务器，并迅速地将处理后的游戏画面回传到玩家设备，因此，网络时延是影响用户体验的关键因素；为了减少网络时延对云游戏的影响，将部分计算和存储功能放在离用户更近的边缘节点，降低网络传输距离，以此来降低时延，但跨区域或跨省服务仍然存在。 本案例在移动某边缘云节点测试，以SRv6为内容动态加速获得超低时延，并针对云游戏业务进行了现网跨省承载验证。本方案充分利用SRv6网络可编程能力,实现了CDN调度系统与IP网络的深度协同，即网络质量感知和基于SRv6的网络动态编排和保障。 CDN调度系统在节点选择时引入网络质量因子，包括时延、抖动以及丢包情况，增强CDN在节点选择、资源均衡等方面的能力,提升CDN业务质量，通过SRv6Policy实现全局视角的网络质量检测、业务按需调度。通过网络质量感知、动态编排等手段,不仅提升 了CDN服务质量,也促进了算网融合,为运营商差异化、高价值服务的发展提供了有力支撑。 本案例除应用于云游戏场景外，同样适用于赛事、活动等时延、卡顿敏感度较高的直播业务场景。 2.部署场景 CDN调度系统升级，支持与算网控制器交互，获取链路网络质量和同步链路网络质量要求；网络侧设备支持S