2024年世界人工智能大会事件点评：聚焦AI治理，AI性能和安全是一体两翼

聚焦AI治理，AI性能和安全是一体两翼 ——2024年世界人工智能大会事件点评 李沐华(分析师)伍巍(研究助理) 010-83939797021-38031029 limuhua@gtjas.comwuwei028683@gtjas.com 登记编号S0880519080009S0880123070157 本报告导读： 2024年7月4日至7日，世界人工智能大会（WAIC）在上海举行。AI治理规范受到国内外产业专家和机构重视，强化了对人工智能全球治理及国际合作的关注。 计算机 评级：增持 2024.07.05 上次评级:增持 细分行业评级 相关报告 计算机《政府规范招采有望带动新一轮信息化建设》 2024.07.04 计算机《车路云试点城市公布，行业发展提速》 股票研 究 行业更 新 证券研究报 告 投资要点： 投资建议：2024年WAIC大会首次更名为“世界人工智能大会暨人工智能全球治理高级别会议”，凸显AI治理与性能兼顾的一体两翼格 局，随着多维度的治理标准和手段落地，考虑到AI大模型演化过程中需要从底层来保证大模型的可控性，因此具备底层AI技术积累的公司迎来催化。推荐标的：科大讯飞、虹软科技、金山办公、浪潮信息、紫光股份、工业富联，受益标的：润达医疗、昆仑万维。 全球人工智能发展主要面临三个挑战，多维度、多层次、多领域、多举措的治理体系建设十分必要。全球AI产业发展的三个挑战包括基础设施的鸿沟、公民数字素养的鸿沟、人工智能发展和治理的鸿沟。 这些鸿沟不但阻碍全球产业发展，也对全球治理带来很大影响。目前在推动人工智能发展的路径上已有一定的积累，例如通过多途径建立国际交流及防控体系，加强政府间多边对话机制，这为打破壁垒、加强国际合作从而推动人工智能发展作出重要突破。 AI技术能力的提升催生风险的显著提升，需兼顾安全与性能。大模型 为代表的深层次人工智能快速发展，模型自身及其应用带来一系列潜 在风险的顾虑。以公众对AI风险的关注顺序来看，首先是数据泄露滥用隐私以及版权相关的内容风险，其次是恶意使用带来的伪造虚假信息等相关的使用风险，偏见、歧视等相关的伦理问题以及就业结构等社会系统性的挑战也受到重视。从长期的角度来看，安全与性能需要平衡发展，要实现平衡发展就需要强技术驱动、全流程优化、多主体参与以及敏捷治理。要实现这些目标，根据上海人工智能实验室提出的可信AGI因果之梯，就要经历泛对齐、可干预、能反思三个演化阶段。 “通“”专“融合是通往AGI的战略路径。走向AGI的roadmap是 二维而非一维的，模型需要兼备很强的泛化能力和足够的专业性。通 专融合的新范式需要在基础模型层、融合协同层和自主进化与交互层有体系化的思考和规划，并在三层间具备协同和强耦合关系。基于此上海人工智能实验室发布通专融合框架下前沿进展概况，并发布书生·浦语2.5、书生·万象多模态大模型和风乌气象海洋大模型，通专融合下，模型不仅可以提出科学假设，还可以掌握科学知识、分析实验结果、预测科学现象，进而在反思的基础上，进一步提升AI提出科学假设的能力。 风险提示：产品迭代不及预期，AI治理不及预期的风险。 2024.07.03 计算机《电改加速，数字化技术助推电力市场化》 2024.06.20 计算机《华为将推车路云新品，产业趋势再验证》 2024.06.20 计算机《武汉170.84亿元车路云一体化项目落地，行业发展进一步加速》 2024.06.16 目录 1.AIGC浪潮下，人工智能的国际发展与治理愈发重要3 1.1.多维度、多层次、多领域、多举措的治理体系是安全基石3 1.2.大模型升级带来潜在风险，安全和性能需要兼顾3 2.“通”“专”融合是通往AGI的战略路径5 2.1.通专融合的新范式需要系统性的思考5 2.2.通专融合的模型的效果和性能优势十分显著6 3.投资建议8 4.风险提示8 1.AIGC浪潮下，人工智能的国际发展与治理愈发重要 1.1.多维度、多层次、多领域、多举措的治理体系是安全基石 人工智能的技术和产业演化自然伴随着多类风险。从技术层面看，幻觉、自 主AI失控等问题广泛存在。基于技术开发的问题也有很多种，比如数据安 全、算法歧视、能源环境等。在人工智能的应用维度上，也有误用、滥用的风险，如果没有合适的治理手段，长远对社会就业、安全等都可能带来问题。 图1人工智能的发展带来诸多风险 数据来源：2024世界人工智能大会 促进人工智能健康发展的政策和规划从长远看十分必要。在推动人工智能发展的路径指导上已有一定的积累。首先，底层产业应用方面需要出台一系列法律法规，其次，针对算法算力和数据制定一系列治理规则。同时，针对 部分风险做出基本的规定，如2019年发布的人工智能治理准则、相关伦理准则。此外，针对具体场景的应用，也出台了相应的治理规则。由此，构建了多维度、多层次、多领域、多举措的治理体系。另外李强总理提到，要推动人工智能的发展和风险防控，一定要让广大社会对人工智能有更好的了解。考虑到中国公众在积极拥抱人工智能的发展上，仍有认识不足的情况，2024年2月，中央网信办等四部门特别发布了2024年提升全民数字素养与技能工作的要点，部署了这方面的任务。 全球人工智能发展主要面临三个挑战：1）基础设施的鸿沟，2）公民数字素养的鸿沟、3）人工智能发展和治理的鸿沟。这些鸿沟不但阻碍全球产业发展，也对全球治理带来很大影响。首先，通过多途径建立国际交流及防控体 系，加强政府间多边对话机制是重要抓手。同时，通过科学共同体的力量助力国际机制的全面完善，联合国等国际组织也要能真正起到综合全面协调的作用。2023年，联合国通过了安全的协议，2024年刚通过了加强人工智能国际能力建设的协议，这为打破壁垒、加强国际合作从而推动人工智能发展作出重要突破。 图2要应对人工智能相关风险，国际发展与治理十分必要 数据来源：2024世界人工智能大会 1.2.大模型升级带来潜在风险，安全和性能需要兼顾 大模型为代表的深层次人工智能快速发展，模型自身及其应用带来一系列潜在风险的顾虑。以公众对AI风险的关注顺序来看，首先是数据泄露、滥用隐私以及版权相关的内容风险，其次是恶意使用带来的伪造虚假信息等 相关的使用风险，也可能诱发了偏见、歧视等相关的伦理问题，还有担心是否会带来就业结构等社会系统性的挑战。这些AI风险有的已经出现，但更多是潜在的。防范这些风险需要科技产业的共同努力，也需要学术社区做出更多的贡献。2023年5月份，数百名AI科学家共同签署的StatementonAIRisk也表达了对AI风险的担忧，呼吁防御人工智能的风险应该与流行病和核战争等其他大规模风险一样，成为全球共议的优先议题。 AI技术能力的提升催生风险的显著提升。如下图所示，在Transformer为代表的基础模型架构下，加以大数据、大参数量、大计算量的scalinglaw，让 目前的AI能力呈指数级增长。以之对比在纵轴的AI安全维度，典型的技术如红队测试、安全标识、安全护栏与评估测量等呈现离散化、碎片化且后置的特性。一些对齐技术兼顾了性能和安全性，比如监督式微调、人类反馈的强化学习、超级对齐等。这些方法帮助将人类的偏好传递给大模型，涌现出ChatGPT、GPT4等细微的AI系统，以及上海的书生大模型等等。这些方法虽然瞄准的是安全核心的同步提升，但在实际上往往还是性能优先。所以总体上AI模型安全能力的提升还远远落后于性能，这种失衡导致AI的发展是跛脚的。 图3AI技术能力的提升催生风险的显著提升 数据来源：2024世界人工智能大会 不均衡的背后是性能和安全两者投入上的巨大差异。两者在研究上是否体系化有很大区别，算法研究，人才密集度、商业驱动力、算力投入度等方面对比来看，安全的投入是远远落后AI能力的。根据WAIC大会上专家介绍， 目前世界上大部分算力用于模型的预训练，只有极少部分用以对齐或者更多安全优先的考量。AI要确保安全可控，要统筹发展与安全，在安全上的投入必不可少。 可信AGI需要能够兼顾安全与性能，当前产业需要找到AI安全优先但又能保证AI能力长期发展的技术体系。从长期的角度来看，安全与性能平衡发展，平衡是指短期内可以有波动，但不能长期低于45度，否则这样会阻 碍技术和产业应有的发展。45度平衡律的技术思想体系要求强技术驱动、全流程优化、多主体参与以及敏捷治理。 实现AI的45度平衡律有很多技术路径，上海人工智能实验室提出可信AGI因果之梯，将可信AGI的发展分为三个递进阶段，泛对齐、可干预、能反思。泛对齐主要包含当前最前沿的人类偏好对齐技术，但需要注意的是这些安全对齐技术目前仅依赖统一相关性，而不是真正的因果关系，可能导 致错误的推理和潜在的危险。一个典型的例子是巴普洛夫的狗，当狗仅基于铃声和食物的统计相关性形成条件反射时，它可能在任何时候听到铃声的场合都触发分泌唾液的行为。如果这种行为涉及到金融转账甚至国家安全相关新闻，这显然带来巨大的风险。 可干预是第二层人工智能对齐的技术。它主要包含对AI系统进行动态干预，探究其因果及其安全对抗演练，它可以通过提高可解释性和泛化性来提升安全性，同时也提升AI的能力。“能反思”要求AI系统不仅追求高效执行 任务，还能够审视自身行为的外在影响和潜在风险，从而在确保性能的同时保证安全和道德边界不被突破。这个阶段的技术包括基于价值的训练、因果可解释性、反事实实推理等等。 图4实现AI的45度平衡律有很多技术路径 数据来源：2024世界人工智能大会 从全球来看，目前AI安全和性能技术发展主要停留在第一阶段，部分在尝试第二阶段。真正实现AI的安全与性能平衡，就必须完善第二阶段并勇于突破第三阶段，沿着可信AGI的因果之梯而上，从而实现人工智能的安全 与卓越性能完美平衡。但也正如可控核聚变对全人类都是共同利益一样，我们认为AI的安全性也是全球性的公共福祉，因此共同构建开放、安全的、通用的人工智能创新生态和人才发展环境是基础条件。 2.“通”“专”融合是通往AGI的战略路径 2.1.通专融合的新范式需要系统性的思考 走向AGI，它的roadmap是二维而非一维的。2017年以前，人工智能在专 业能力上获得非常迅猛的进展。2017年，Transformer多头注意力机制提出 后，大模型在快速迭代，但目前大模型最大的一个挑战在于专业能力的进展极其缓慢，伴随着能源的消耗、数据的消耗、资源消耗，GPT4的专业能力大概相当于10%到15%的专业人类，即使到GPT5，它的预期大概是提高4到5个点。因而，用指数级的人员的增长换来的是专业人工智能的缓慢提升，大模型在专业性上的进展需要更多的创新。 AGI落地会有一个高价值区域，这个高价值区域要求模型兼备很强的泛化能力和足够多的专业性。在这个区域里面离原点最近的这个点叫做通专融合的价值引爆点。根据上海人工智能实验室介绍，通过历代工具的分析和生 产力提升的分析，这个点很有可能能够超过90%的专业能力，但是它在泛化性上要具备强泛化能力。谁能先达到这个点，谁就能最早进入高价值区域。进入高价值区域就意味着使用场景极大得到突破，也就意味着能获得数据的飞轮、造血和自我迭代，所以有助于对于未来AGI走向的判断。 图5AGI落地会有一个高价值区域 数据来源：2024世界人工智能大会 通专融合的新范式需要系统思考，在基础模型层、融合协同层和自主进化与交互层有体系化的思考和规划，并能同三层具备非常强的协同和强耦合关系。基础模型层上非常重要的工作是需要去不断提升如何更高效的获取模型泛化的能力，同时需要更多的复杂任务规划能力、高密度监督的生成能 力等等来辅助。融合协同层负责将泛化性和专业性有效的结合起来，采用多 路线协同的算法架构来获取比肩人类水平的专业能力是一种有效的方式。自主进化与交互层强调AI的自主探索与反馈闭环的重要性，AI系统需要能够在真实或者仿真的世界中自主的收集数据，学习并适应环境。通过与环境的交互，AI能够获得反馈，这些反馈对于自我进化至关重要。