6G内生AI架构及AI大模型

6G内生AI架构及AI大模型 刘光毅 2023年7月 目录 2 1 6G内生AI的驱动力 3 6G与AI大模型 2 6G内生AI架构及关键技术 网络使能AI大模型 AI大模型赋能网络 泛在智能的需求 3 人工智能已成为新一轮产业升级的核心驱动力，产业的自动化、数字化、智能化需要泛在智能 运行与维护 应急通信 智能覆盖 定制网络 机器翻译 智能导航 个性化推荐 安全监控 机器人救援 智能制造 声纹识别 医疗识别 网络自治需要AI 用户需要AI 企业需要AI 6G网络需要高效地为网络自治、ToC和ToB提供AI服务! 5G时代网络和AI融合的启示 6G 网络智能化的启示 外部和叠加AI 模式一：将具备AI资源的服务器接入网管设备，为网络提供AI模型。 6G需要一个统一的框架：以支持有效的AI性能验证和保障方法。 6G需要高效的数据采集和传输：以实现AI预验证、在线评估和优化的全自动闭环。 6G需要计算、数据、模型和连接的协同：以提供更低的延迟和有保障的QoS。 模式二：在核心网络中增加AI作为新的网络功能，如NWDAF。 AI 服务器 CN RAN UE 网管 NWDAF 云AI服务提供商的启示 云AI服务提供商 云AI服务提供商在用户提交订单后提供尽力而为的AI服务。 UE 网络 云AI服务提供商 提交AI服务订单 网络传输 6G需要充分利用网络的人工智能相关资源：以感知网络状态，利用网络广泛分布的计算、数据、算法资源，提供高效的人工智能服务。 6G需要为AI服务提供QoS保障：以提供满足用户特定需求的AI服务。 6G需要保护数据隐私和安全数据： 在提供可靠AI服务的同时，防止数据泄露。 5G智能到6G的转变——内生AI 6G 内生AI 网络自治 网络极简 QoAIS QoAIS AIaaS 工业互联网 智慧能源 智慧农业 车联网 智慧医疗 云游戏/云XR AIaaS 1. 从 烟囱式开发 到 泛在智能的统一网络AI框架 云AI供应商 远程AI服务 基于QoAIS的网络AI服务 3. 从 尽力而为 到 按需可得 2. 从 外挂叠加 到 内生一体 面向6G泛在智能的愿景，网络与AI的融合需要有三大转变，6G网络将是内生AI 目录 6 1 6G内生AI的驱动力 3 6G与AI大模型 2 6G内生AI架构及关键技术 网络使能AI大模型 AI大模型赋能网络 6G网络逻辑架构 面向泛在智能等多种服务需求，6G将新增多个逻辑面，提供通信、感知、计算、AI、大数据、安全等一体融合的多维网络能力，以及平台化、一体化的服务体系 7 数据开放需求 计算服务需求 AI服务需求 通信需求 安全服务需求 用户需求： 数字孪生 数据面： 管理网络数据，提供数据服务 计算面： 管理计算并提供计算服务 智能面： 为原生AI提供全生命周期的运行环境 与5G网络不同，6G网络将定义新的数据面、智能面、计算面等， 并有望扩展传统的控制面和用户面。 网络 智能 计算 数据 AS 层 应用层 终端 底层资源管理&编排 计算 存储 通信 算力 模型 生成/导入AI 服务需求 QoAIS 解释&评估 AI 模型传输 计算传输 数据传输 UE 策略 数据 连接 6G网络逻辑架构——内生AI的具体设计 6G AI业务的实现需要通信、计算、数据和模型服务的支撑，需要不同逻辑面之间复杂的协同机制。 1. 泛在智能的统一网络AI框架 2. 从外部叠加向内部集成转换 3. 从尽力而为转向按需应变转换 内生AI将AI 三要素（数据、算法和算力）与网络连接一样下沉为网络内部的基本资源，使网络通过多维资源的协同，直接、便捷地为用户提供高质量的AI服务。 AI任务管理 AI服务质量（QoAIS）指标体系，突破传统QoS体系中以会话和连接性能为主要关注指标，将安全、隐私、自治和资源开销作为新的评估维度纳入，形成一套标准化的AI服务质量评价体系，为用户AI服务质量的衡量和保障机制的设计提供了统一的依据 QoAIS是管理编排和任务管理/控制的重要输入，管理编排需要将服务QoS分解为任务QoS，再映射到对连接、计算、数据和算法等各方面的资源QoS要求上 为保障QoAIS的达成，需要“三层闭环”的保障机制 AI服务质量（QoAIS）指标体系 QoAIS保障机制 QoAIS指标体系是网络对AI服务的质量和效果进行保障所使用的一套指标体系 QoAIS包含AI服务的QoS、AI任务的QoS、AI资源的QoS三个层次上的指标，三层指标间具有映射关系 算网基础设施层 OTN/OXC OTN/OXC 全光底座 OTN/OXC 统一IP算网底座 分布式算力（端） 分布式算力（边） 分布式算力（网） 分布式算力（中心） 分布式算力（中心） 分布式算力（边） 分布式算力（网） 分布式算力（端） 平台化服务网络 智慧城市 智慧工业 智慧生活 智慧园区 智慧娱乐 管理编排 任务管理 任务控制 9 服务QoS 例如：任务优先级、算法资源保障优先级、数据资源保障优先级等 例如：推理速度、能源消耗、计算安全、数据隐私、模型可控性等 例如：性能指标界、训练耗时、计算开销等 关键技术1：AI服务质量（QoAIS） 关键技术2：AI计算与通信深度融合 6G 传统网络中提供AI服务需要通信和计算协议之间频繁的交互与协调，需要设计一套通算融合的内生AI协议，实现对计算和通信的协同管控与承载，满足AI所需的连接和分布式计算服务、以及基于AI的连接和计算融合控制需求。 管理面、控制面、用户面三个维度实现计算和通信深度融合 模式三 模式二 xNB 用户面： 联合设计“计算协议+通信协议” 满足QoAIS+均衡分配网络资源， 满足“性能 + 开销”上的需求。 5G MEC边缘计算缺点 管理面融合的松耦合设计 效率低成本高 安全性隐私性不够 6G内生AI的算力需求 高计算效率 低能耗、低时延 满足各类AI场景差异化QoAIS需求 管理面：计算和通信资源的协同编排管理。 优势：宏观网元连接关系、各类资源状态，保证网络级性能指标较优。 RRC 控制面：计算和通信深度融合的三种模式 RRC CRC xNB CRC 模式一 CRC：Computing Resource Control NC：Node Compute 优势：当QoAIS指标发生恶化时，可快速调整，保障QoAIS目标的持续达成。 CRC 集中控制 目录 11 1 6G愿景与总体架构 3 6G与AI大模型 2 6G智能面的设计——内生AI 网络使能AI大模型 AI大模型赋能网络 6G与AI的融合迎来新机遇：通用大模型时代 认知智能 能理解 会思考 计算智能 能存会算 感知智能 能听会说 能看会认 动力智能 能动会控 通用智能时代(强AI时代) 弱AI时代 AI迈入通用智能时代，大模型的出现将为6G与AI的融合带来巨大变革 12 发展模式新跃迁 当前网络AI泛化性有限 ChatGPT现象级事件，标志着人工智能进入通用智能时代 从“能听、会说、能看、会控”，走向“能理解、会思考、会创作”， 甚至能“自主决策、自主处理问题” 行业大模型 （泛娱乐） 基础大模型 (普适通用，如NLP，CV，多模态) 行业大模型 （网络） 行业大模型 （教育） 小模型 小模型 小模型 ... 小模型 小模型 小模型 ... 小模型 小模型 小模型 ... 小模型 ... 从小模型到大模型，生产效率跨越式提升 基础通用大模型具有泛化性，网络智能化将从用例驱动转变为能力驱动，迅速降低应用开发门槛，加速AI工程化、规模化落地 6G网络内生AI如何使能AI大模型？ 如何设计赋能网络的AI大模型？ 流量数据分析 天线权值调优 用户移动预测 流量数据分析 天线权值调优 用户移动预测 6G 13 模型名称 参数 领域 功能 BERT NLP 语言理解与生成 LaMDA NLP 对话系统 谷歌 PaLM 5400亿 NLP 语言理解与生成、推理、代码生成 1maeen 110亿 多模态 语言理解与图像生成 Parti 200亿 多模态 语言理解与图像生成 擻软 Florence 6. 4亿 CV 视觉识别 170亿 NLP 语言理解、生成 Faoebook 0PT-175B 1750亿 NLP 语言糢型 M2M-100 150亿 NLP 100种语言互译 Gato 12亿 多糢态 多面手的智能体 DeepMind Gooher 2800亿 NLP 语言理解与生成 AIohaCode 414亿 NLP 代码生成 CLIP&DALL-E 120亿 NLP 图像生成、跨模态检索 OpenA1 Codex 120亿 多模态 代码生成 ChatGPT 175B NLP 语言理解与生成、推理等 NLP大模型 NLP 语言理解、生成 CV大棋型 CV 图像试别 百度 跨椟态计算大棋 型 千亿级别 多模态 语言理解与困像生成 生物计算大模型 CV 化合物表征学习、分子结 构预測 阿里巴巴 M6 万亿级别 多模态 语言理解与图像生成 腾讯 混元大馍型 - NLP 语言理解与生成 京东 K-PLUG - NLP 语言理解与生成、推理、代码生成 三六零 - NLP 智能搜索 字节跳动 DA - NLP 语言理解 科大讯飞 中文預训练楳型 - NLP 语言理解与生成、语言互 译 百度 文心一言 千亿级 NLP 对话互动，回答问题，协助创作，获取信息 网络使能AI大模型：成本与资源的挑战 数据来源：OneFlow，国盛证券研究所 训练成本 超过1万枚A100 微软云服务 构建 训练 GPT-3训练一次的成本约为140万美元 推理成本 储存成本 1750亿个参数 700GB的参数储存 需要 45TB的数据集 每日需要729,167个A100运行小时 每日需要30,382个A100 假设访量2500万/日，10个问题/用户，30字/问题 3,798个服务器 电费：30万/日 换算 消耗 另加 AI大模型在训练、推理、储存方面开销极大，网络难以支撑 网络使能AI大模型：可能模式 6G 6G内生AI为AI大模型的训练过程提供链接、数据服务，为推理过程提供链接、计算、模型拆解/分发服务。 14 AI训练服务 AI推理服务 AI大模型需要较大的储存空间和较强的AI推理芯片，单基站无法满足该需求。 在实现合理模型分割的前提下，可将大模型分布式的部署到无线网络中，提供AI推理服务。 在6G网络中分布式部署AI大模型，更靠近用户侧，可能在时延方面具有优势。 UE 6G网络 云AI供应商 海量数据采集 数据处理 处理后数据 UE 6G网络 云AI供应商 推理请求 AI推理 处理后数据 AI大模型训练通常在数据中心的多台服务器中，服务期间需要用高速率光纤连接，难以将AI大模型的训练过程部署到无线网络中。 AI大模型需要哪些特殊的数据分析技术？数据处理功能分布式部署后网络中数据该如何合理调度？ 分布式部署导致推理时延增加和靠近用户侧传输时延减少该如何权衡？大模型分割、压缩、加速等技术是否可行；大模型分布式部署后节点之间数据如何合理调度？ 特点 6G网络承担数据采集、预处理等数据服务，节省网络中的数据传输，为云AI训练AI大模型提供更好的数据服务。 服务 从用户、网络中采集大量数据，数据的预处理和流量的调度，支撑AI大模型的训练。 潜在增益 未来问题 所需数据（特征） 场景实例 数据来源 网络运行 东数西算类、算网融合类、超算智算类等算网服务场景；智能需求分析、智能策略匹配、智能服务优化等 标准化数据：基础资源状态、拓扑、性能、成本、能耗、告警等数据；业务数据流信息数据、KPI监控数据、XDR、运行日志，告警等数据 网管/云管系统数据 编码调制、语义+编码调制、波形、多址、MIMO、干扰消除 非标准化数据：上下行信道 、语义信息、语义特征、小