AI智能总结
研 究 报 告 及 共 识 文 件 世界互联网大会人工智能工作组 按单位名称首字母排序 安谋科技(中国)有限公司武大伟、王骏超、吴彤 北京百度网讯科技有限公司马艳军、刘艳丽、王禹杰 北京三快科技有限公司王金刚、陈政聿 北京航空航天大学赵精武 北京智谱华章科技有限公司刘德兵、张淼 北京市商汤科技开发有限公司田丰、胡正坤 德国明斯特大学伯纳德·霍尔兹纳格尔 国际电信联盟电信标准化部门Build n Blaze雷蒂亚·方娜 国际电信联盟电信标准化部门毗湿奴·拉姆 广州市动悦信息技术有限公司蒋冠军、张沅 国际商业机器(中国)有限公司谢东、孟繁晶、程海旭 华为云计算技术有限公司尤鹏、李寅、张倩 华为技术有限公司王震军、柳嘉琪 华兴泛亚投资顾问(北京)有限公司秦川、王力行、赵雨萍 佳都科技集团股份有限公司周志文、秦伟 世界互联网大会人工智能工作组 按单位名称首字母排序 蚂蚁科技集团股份有限公司林冠辰、温祖杰、李亮 清华大学信息国家研究中心顾心怡 世界互联网大会梁昊、张雪丽、康彦荣 三六零安全科技股份有限公司刘兆辉、刘闯、甄一蕴 网易(杭州)科技有限公司吕唐杰、马梦婕 中国社会科学院法学研究所周辉 中国信息通信研究院魏凯、王蕴韬 编辑 缩略语对照表 目 录 一、概述附件:发展负责任的生成式人工智能的行业应用探索0118六、发展负责任的生成式人工智能共识五、全球为发展负责任生成式人工智能的努力四、生成式人工智能引发的挑战三、生成式人工智能带来的机遇二、全球生成式人工智能技术发展态势1511080502-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- 概述OVERVIEW01 治理要求、实践范式等。考虑到人工智能尚处在快速发展的过程中,相关工作仍需要持续推进。 生成式人工智能演进速度之快、赋能范围之广、影响程度之深前所未有。以负责任的态度推动生成式人工智能发展不仅十分必要,也愈发紧迫,是事关人工智能乃至人类文明发展的重要命题。为此,世界互联网大会成立人工智能工作组,广泛汇聚各方智慧形成共识,推动生成式人工智能发展与治理协同共进,增进全人类共同福祉。 近年来,生成式人工智能不断取得突破,展现出强大的生成创造能力,开始涌现出“智慧”。生成式人工智能在文本、代码、图像、音视频等方面的理解与生成取得了突破性进展,有望大幅提升社会生产力,加速千行百业的数字化进程,促进人类社会全面迈向智能化新阶段。 回顾人工智能60余年的发展历程,技术突破不仅会创造发展机遇,也会带来相应的挑战。统筹人工智能发展和治理逐渐成为全球共识,自2016年以来,全球多个国际组织、国家、地区及产业界,积极探索人工智能发展与治理路径,已经形成了系列共识原则、 全球生成式人工智能技术发展态势02 出ChatGPT、文心一言等大语言模型,Stable Diffu-sion、DALL-E2、DALL-E3等视觉生成模型,以及GPT-4、BLIP-2、Emu等多模态模型。从模型参数规模来看,上述新模型架构使得参数规模不断增大成为可能,带来模型能力质的飞跃。以GPT系列模型为例,2020年发布的GPT-3参数规模有1750亿,相比于2018年发布的参数规模为1.17亿的GPT-1,在复杂自然语言处理方面实现了显著提升。此外,围绕基础模型衍生出的插件机制,可以将外部的搜索、数据处理等功能与基础模型能力集成,从而进一步丰富模型功能,拓展应用范围。OpenAI、360、百度、华为、科大讯飞等企业均推出了相应的模型插件,例如文心一言上线的搜索、交互等插件,使模型更容易实现功能的扩展和定制,以适应多种场景的需求。 GLOBAL DEVELOPMENT TRENDS OFGENAI TECHNOLOGIES (一)“模型、数据、算力”三大要素的演进带动人工智能不断突破 生成式人工智能技术突飞猛进,展现出惊人的创造能力和生成能力,主要得益于模型、数据、算力等方面的不断提升。 模型层面,模型结构的创新和模型规模的提升成为生成式人工智能取得突破的关键。从模型结构来看,注意力机制、自回归模型、扩散模型等技术不断升级迭代,特别是以Transformer为主的基础模型脱颖而出,成为生成模型主流技术路线,推动文本、图像、音频、视频等内容的生成和理解能力不断提高。涌现 数据层面,数据质量、多样性、规模等方面的进步成为人工智能能力提升的基础。被广泛用于大模型预训练的The Pile数据集,主要基于学术或专业领域知识构造,具 有 较 高 质 量,包 含 了 维 基 百 科 、书 籍 、 期刊、Reddit链接、Common Crawl等20余个数据集1。北京智源人工智能研究院发布的大规模文本对数据集 MTP,范围涉及搜索、社区问答、百科常识、科技文献等,数据规模达到3亿对。Anthropic、斯坦福大学、Hugging Face 等单位发布的微调数据集,涵盖了多种类型的指令,有助于提升模型的可控性,使模型更好地理解和遵循人类指令。此外,合成数据可能成为高质量数据的重要来源之一。生成式人工智能能够大批量制作拟真合成数据,或将帮助缓解高质量训练数据枯竭这一未来潜在问题。根据Gartner预测,到2024年,60%用于人工智能开发和分析的数据将会是合成数据;到2030年合成数据将取代真实数据,成为人工智能模型所使用数据的主要来源2。 BLOOM、ChatGLM、Baichuan、Aquila、InternLM、Qwen等为代表的开源模型层出不穷,并且不断升级进化。在模型迭代优化方面,模型开源的兴起扩大了企业对基础模型和微调模型的选择范围,目前大量创业公司使用LLaMA 2、Stable Diffusion等开源模型调优并推出新产品。在研发门槛降低方面,应用开源模型具有规避初始高昂投资、私有数据的完全控制、可自我迭代优化等优势。开发者基于开源模型,可快速搭建具备专业领域知识的垂类任务模型,大幅缩减了模型从开发到应用所需的算力、数据和时间成本。例如,开源平台Github上显示,基于智谱AI开发的Chat-GLM开源模型,大幅降低了研发门槛,有11个模型脱颖而出,覆盖医疗、法律、金融、教育等多个领域3。 算力层面,算力设施的完善支撑生成式人工智能的快速发展。人工智能芯片提供算力基础保障,GPU、FPGA、NPU、TPU等不同技术路线芯片持续探索,针对人工智能计算不断优化,为模型的训练与推理提供了基础保障。深度学习框架放大芯片算力效能,一是通过提供高性能的大规模分布式训练与推理技术,有效缓解模型训练耗时长、推理算力需求高等问题。二是通过与底层芯片适配优化,充分发挥硬件性能,提高计算效率。云边端多样化算力满足生成式人工智能不同应用需求,云侧强大的计算和存储能力保障大模型训练以及高吞吐量应用的推理任务;边缘算力将海量复杂数据进行本地化预处理,可对数据进行实时处理并将其导向大模型,实现快速响应和决策;端侧算力减少数据处理和传输的延迟,直接在端侧进行数据计算分析,提升智能应用的实时性。 开放接口为开发者提供便捷。除了模型开源,开放易用的API和SDK也是促进人工智能生态繁荣的重要一环。一方面,接口开放将简化开发流程并提升效率。开放接口帮助开发者无需从头开始编写算法或模型,大大简化开发流程,减少开发时间和工作量。例如,通过调用GPT-3.5-Turbo模型API开放接口,仅需少量Python代码就可实现代码生成、对话代理、语言翻译、辅助学习等复杂功能。另一方面,接口开放可以丰富模型的应用场景。接口开放可以帮助广大开发者更便捷地接入模型能力,形成更加多样化的应用场景。例如,百度文心一言提供的接口可以应用于搜索、推荐、对话等场景,提升应用效果和用户体验。 开发者社区持续推动技术扩散。开发者社区通过提供免费算力、课程教材、公开数据集和模型套件等工具组件,赋能培养具备模型开发能力的人才,对于推动人工智能领域的技术交流和发展起到了积极的促进作用。例如,Hugging Face提供了一键式的预训练模型调用功能,提供了大量预训练模型、简单的API和丰富的文档,以及活跃的社区论坛,加快了技术扩 (二)开源开放驱动生成式人工智能生态渐趋繁荣 模型开源促进技术的发展和普及。以LLaMA 2、 散。华为云AI Gallery百模千态社区构建了一站式AI社区服务平台,助力企业和开发者快速创建模型应用。阿里巴巴魔搭社区开放的在线预训练模型,可以在 无 需 开 发 代 码 的 情 况 下 体 验 各 种 模 型 效 果 。FlagOpen飞智集合了大模型的算法、模型、工具、评测等多个模块,打造了大模型“Linux”开源开放技术体系。百度的飞桨星河社区提供开放数据、开源算法、免费算力,提供一体化大模型开发体系,助力开发者的大模型探索之旅。 (三)生成式人工智能发展凸显通用人工智能曙光 生成式人工智能的突破加快了通用人工智能的探索步伐。生成式人工智能不仅能够处理单一数据类型的任务,而且可以在不同数据类型间建立联系和融合,向着多模态方向发展。多模态生成模型的突破显著提高机器智能的拟人性和通用性。AI Agent伴随着多模态生成模型技术的突破,能够更好地理解和处理复杂的现实场景,从而为人类提供更为精准、个性化的服务。多模态生成模型与智能体的结合带来更多可能性。具身智能将多模态生成模型与机器人技术结合,通过模仿人类学习来感知复杂的世界,实现“感官”(硬件)与“思考”(软件)的多模态融合,协 助 人 类 完 成 各 种 任 务 。例 如,谷 歌 发 布 的RoboticTransformer2(RT2)作为视觉-语言-动作(VLA)模型,将视觉-语言模型(VLM)预训练与机器人数据相结合,直接控制机器人,使其在真实世界中执行各种任务。 生成式人工智能带来的机遇03 新,加速技术研发与扩散7。区别于传统AI,生成式人工智能具有实现通用性的潜力,预示着应用领域的AI互相统一协同,从而会在社会经济活动的各个领域发挥更大作用8。生成式人工智能将优化生产流程、管理方式、营销策划等环节,推动传统生产方式升级。 OPPORTUNITIES BROUGHT BY GENAI 生成式人工智能对产业带来深远影响,对不同性质行业影响次序不一。随着生成式人工智能与各行各业深度融合,其赋能重构的行业将会持续增加。根据罗兰贝格的评估分析,生成式人工智能将率先对互联网与高科技、金融和专业服务等知识密集型行业带来较大影响,分别带来6.5%、6.8%、11.3%的成本下降;其次将