体系化人工智能与大模型

中国移动冯俊兰2023-07-18 大模型的优势 理解长文，短文，问题，指令，代码，提示，图片，视频，声音，表格 强理解能力： 写诗，作文，画画，代码，多样性（仿现实，非现实） 强生成能力：强生成能力： 强信息集成能力：知识融合、数据融合，系统融合 大模型走向为人“做事”面临的挑战 理解长文，短文，问题，指令，代码，提示，图片，视频，声音，表格Weak in Robustness , Coherence, Representation of Understanding (Internal World Model) 泛理解能力： 写诗，作文，画画，代码，多样性（仿现实，非现实）Hallucination,Measure of Goodness, Control -ability 强生成能力：强生成能力： 强信息集成能力：知识融合、数据融合，系统融合Collaborative learning , Continuous Learning , Complex System AI 业务端到端智能优化能力 复杂系统的智能化体系 大模型发展路径：研判 大模型相关的理论和核心技术不断突破，大幅提升总体智能水平，可控性，安全性和可信性亟需攻关。 研判1 大模型商用的相关标准，支撑体系，运营运维体系在各个行业逐步完善到位。 研判2 体系化人工智能 针对项目提出的挑战，我们提出体系化人工智能（Holistic AI，HAI）的攻关思路，依托泛在的网络和AI算力，在开放环境中实现对AI能力进行灵活且高效的配置、调度、训练和部署，以满足日益丰富的数智化业务需求，同时确保AI业务可信可控安全，其主要特征为AI服务大闭环、AI能力原子化重构、网络原生AI及安全可信AI。 体系化人工智能（Holistic AI）与大模型 大闭环（Big Loop AI)：“AI以业务端到端的大闭环优化为目标，重点攻关多能力级联与并联优化、开放动态环境中AI能力优化的基础理论和技术，从而达到AI产业闭环。 原子化(Atomized AI)：AI技术依据高复用、易调度、自闭环、易适配等原则进行原子化拆解和重构。一个典型的原子化AI能力包含通用智能层、适配层、接口层，通用智能层可多个能力共享。AI原子化重构是体系化人工智能得以实现的基础。 网络原生（Network Native） 安全可信（Trust的AI） Big Loop AI 组合多个模型的智能，包括基础模型，行业模型或小模型，并能够端到端服务于业务目标 Big Loop AI with Small Models Fuse Multiple Models into one target model "Cascaded Multi-task Adaptive Learning Based on Neural Architecture Search",Y.Gao, ShileiZhang,Zihao Cui, Chao Deng, Junlan Feng*.Interspeech2023 Big Loop AI with Small Models Cancade three models - speech enhancement , ASR，NLU-with Bottleneck Adapter "Cascaded Multi-task Adaptive Learning Based on NeuralArchitecture Search",Y.Gao, Shilei Zhang,Zihao Cui, Chao Deng,Junlan Feng*.Interspeech2023 Big Loop AI with Big Pretraied Models Fuse Multiple Models into one target model •多个神经元网络层形成一个功能块•功能相似网络：输入相似时，输出相似•将一个网络分成多个功能块，相似的功能块形成一个集合，这个集合称为：等同网络块集合 "Deep Model Reassembly", Xingyi Yang , etc. NeurIPS 2022 Big Loop AI with Big Pretraied Models Stitch Multiple Big Models into one target model “Stichable Neural Networks”,Zizheng Pan JianfeiCai Bohan Zhuang, Archive-2023 谢谢！