2024大模型技术发展及治理实践报告

三大发展引擎（公共云、开源生态、高质量数据）+ 一套安全架构 大模型已成为新质生产力的重要组成部分，促进着科技融合创新、产业结构升级。同时，也面临着来自算力、算法、数据以及安全等方面的新挑战。现如今，兼顾发展与安全的治理模式逐渐成为共识，本书基于大模型技术及其应用的风险现状与产业实践，形成了以公共云基础设施、开源生态、数据供给为发展引擎，以安全可信架构为保障的治理蓝图，为落地实现发展与安全兼顾的目标提供参考。 多角色全生命周期治理实践 大模型产业应用日益广泛，生态愈发成熟，其背后是逐渐清晰的角色划分和更加复杂的应用模式。在大模型研发应用的全生命周期中，基础供应者、技术支持者、服务提供者、服务使用者、内容传播者等相关角色在产业发展和安全保障方面承担着不同的使命和责任。在大模型落地应用时，还有更多的工具 / 插件、文档及环境信息、知识库等被开发和利用，帮助提升大模型的能力。 在这种复杂多元的产业现状下，新风险和新挑战与日俱增。如何沉淀多方安全实践，明确全链路、多角色的技术与应用控制措施，促进协同治理，有效防范化解人工智能的风险，保障大模型技术及应用的持续稳定发展，是本书阐述的重点。 大模型技术发展及治理实践报告 编写组组长 指导委员会 专家委员会 薛晖朱红儒袁媛姚相振胡影阿里巴巴科技伦理委员会委员 &AAIG 主任阿里云智能集团标准化业务副总裁阿里研究院院长中国电子技术标准化研究院网安中心主任中国电子技术标准化研究院网安中心副主任 张荣郝春亮阿里云智能集团通义安全负责人中国电子技术标准化研究院网安中心数据部主任 邵晓锋闻佳俞思瑛范科峰钱磊阿里巴巴集团风险委员会主席阿里巴巴集团公共事务总裁阿里巴巴集团首席法务官中国电子技术标准化研究院副院长阿里巴巴集团安全部总裁 关于我们 编写组主要成员 阿里巴巴人工智能治理与可持续发展研究中心（AAIG）是阿里巴巴集团旗下的人工智能顶级研发团队，致力于利用 AI 技术解决安全风险问题，并推动 AI 技术更加安全、可靠、可信赖和可用。团队成员在计算机视觉、自然语言理解、数据挖掘与网络安全等领域的国际顶级会议和期刊上发表论文 100 多篇，获得国际国内专利授权 60 余项，申请中专利 200 多项。 傅宏宇李娅莉彭骏涛黄龙涛陈岳峰沈晖杨易侗马宇诗阿里研究院人工智能治理中心主任阿里巴巴达摩院法务安全负责人阿里云智能集团 AI 标准负责人阿里安全资深算法专家阿里安全 AIGC 安全算法负责人阿里巴巴达摩院安全总监阿里安全生态合作负责人阿里安全高级体验设计专家 张妍婷黄晴中国电子技术标准化研究院大模型安全标准负责人中国电子技术标准化研究院工程师 AAIG 贯彻“科技创新是最好的网络安全”的理念，所研发的人工智能产品涵盖内容安全、业务风控、网络安全、数据安全与算法安全等多个领域，为集团在全球的千万商家和十亿消费者提供更好的安全和体验。 鸣谢 联系我们 朱琳洁王峥陶嘉羚许晓东聂云奕李进锋李金纯杜东为王莹徐璐妮牟立煜石洪竺张强 aaig@list.alibaba-inc.com 目录 大模型发展与挑战 引言 开源生态促进大模型算法发展与安全 公有云是大模型技术发展和应用落地的优选路径 1. 大模型成为新质生产力的重要组成18部分 1. 开源生态对于大模型的诞生具有基础46性作用 1. 大模型的训练强依赖大规模的基础设34施 1. 大模型技术与应用的发展现状241.1 原生多模态成为发展主流241.2 超长上下文理解能力不断突破241.3 传统人机交互方式被颠覆重塑251.4 大模型的应用模式日益丰富、产业生态愈发26成熟 1.1 资源挑战341.2 技术挑战34 2. 安全可信是大模型持续发展的基本20要求 2. 开源生态是大模型技术发展和应用推48广的加速器 2.1 大模型开源的核心意义是普惠482.2 开源生态助力提升大模型透明度与安全性492.3 开源生态加速大模型发展和应用502.4 开源生态助力我国抢占产业生态制高点51 2.公共云是大模型发展与应用的优选解36决方案 2. 算力、算法、数据与安全挑战27 2.1 公共云为训练全球领先的大模型提供必要条件362.2 公共云提供高效率和低成本372.3 公共云为大模型提供全面安全保障39 2.1 算力短缺问题突出，制约大模型持续发展272.2 模型结构创新难度大，可解释性问题加剧282.3 高质量数据供给不足，成为模型训练新瓶颈282.4 大模型的技术特性带来了新的安全风险29 3. 开源生态提升大模型安全性、强化业53界信任度 3. 公共云可有效应对算力短缺困境41 3.1 开源生态促进多方协同安全治理533.2 开源生态确保模型安全评估客观公正543.3 开源生态帮助建立业界对大模型技术的信任55 3.1 算力短缺的根本原因是供应无法满足需求413.2 公共云最大化发挥稀缺计算资源的价值，推动42规模化应用3.3 公共云可协同利用多来源算力，丰富算力生态42 七 六 五 高质量数据供给生态是具备持续竞争力的基础 体系化的安全治理能力是稳定发展的保障 结语 1. 合成数据是解决高质量训练数据供给58不足的突破口 1. 多角色视角安全治理架构68 1.1 个人生活新助理1061.2 产业智能新模式1061.3 公共服务新体验108 2. 大模型安全治理规范：全面多元融合71的规范框架 2. 构建更匹配模型部署要求的高质量应61用数据生态 2.1 数据上云推动模型应用数据生态建设，提供保61障数据安全的能力基础 3. 大模型安全治理措施：技术与应用风73险治理构成的立体防护网 3.1 围绕全生命周期的技术治理措施733.2 针对用途和场景的应用风险治理913.3 以安全使用管理防范滥用误用行为93 4. 模型产业链逐步成熟，多方协同治理95价值日益凸显 4.1 多方协同治理的价值954.2 多方协同治理的特点964.3 多方协同治理中的产业贡献96 附录 C ： 人工 智 能 开 源 社 区 ：魔 搭 1. 人工智能发展与应用须跨过四道门槛 1212. MaaS 实现人工智能模型“开箱即用”1223. 魔搭社区的四大核心优势1234. 魔搭社区正成为模型应用的“加速器”1245. 魔搭社区助力大模型安全125 1. 大模型时代的需求分析110 1.1 灵活性和弹性兼备的计算能力110 1.2 丰富的模型供给111 1.3 模型全生命周期的服务111 1.4 构建应用的工具链112 1.5 合规与安全是基础112 2. 百炼作为大模型服务平台的突出优势 113 2.1 百炼提供强大而实惠的计算资源1132.2 百炼提供丰富的模型供给1142.3 百炼提供模型全生命周期的服务1152.4 百炼提供构建应用的完整工具链1162.5 合规性与安全性118 3. 百炼助推我国人工智能行业发展120 大模型发展与治理同步推进成为新共识。大模型技术的出现和发展标志着人工智能从专用化走向通用化，人工智能超越人类智能、人类和机器共生共栖的社会场景从幻想走向现实。人工智能从多元发展转向聚焦于大模型的通用能力，通用人工智能成为国家科技能力现代化的重要标志，大模型的泛化、推理等特有能力为大模型更为广泛的应用提供了新的机遇，大模型研发所需的模型、算力和数据等科技要素成为关注焦点，对人才、投入和制度进行有效利用和合理配置的政策试点也迅速铺开。与此同时，大模型超出预期的表现也不断刷新人类对机器智能的认知。人工智能的突破性创新对人类文化价值、社会经济形态、个人基本权益带来诸多影响，重构人类对机器的主导性和权威性，让人工智能回归以人类为中心的发展路径，有效管控大模型带来的核心风险等目标成为各国政府以及人工智能产业界的共识。 1. 大模型成为新质生产力的重要组成部分 大模型已成为信息技术的新里程碑。纵观历史，信息技术的发展往往由计算机技术、数据技术、算法技术的独立发展而推动，传统人工智能局限于执行特定目的功能、应用于特定场景之中。大模型整合利用了各类信息技术资源，不仅代表着算法的飞跃，也是算力、数据、工程等协同发展的结果，推动信息技术新拐点的到来。随着大模型的不断发展，人工智能的能力边界不断拓展，正逐步从目的单一、场景限定的专用型人工智能向具有认知和推理能力、胜任多种用途的通用型人工智能转变。 大模型促进科技进一步融合创新。自 2023 年以来，大模型步入了高速发展阶段，技术先进性和能力通用性兼备成为其核心优势，通过大模型赋能千行百业，利用人工智能提高传统要素的边际生产率已经逐步成为现实。在国家大力推动“人工智能 +”行业应用融合创新的背景下，大模型已经渗透到许多行业并得到深度应用，例如，在在线购物中降低商品展示成本、提高用户购物体验；在工业机器人和无人驾驶中，环境感知和判断提高了其自动化能力；人工智能驱动的科研推动解决蛋白质组成结构等科学难题。从服务用户到助力生产，从基础研发到应用开发，大模型大幅提升了生产效率和创新能力。 大模型创新推动产业结构全面升级。大模型所带来的技术革新降低了知识门槛、节约了创新成本、提高了市场活力，让更多人能够参与到创造性活动中，催生全新的商业模式和服务形态，引领新一轮的产业转型升级。大模型有望在未来重塑产业链条，推动形成以数据驱动、智能主导的新型生产方式和经济增长点，让经济发展始终保持活力，通过持续创新推动高质量发展，用科技进步解决发展带来的不平衡难题。 安全是大模型发展的必然要求，是大模型广泛应用的前提条件。一是人工智能技术的发展离不开安全。人工智能安全技术能够控制人工智能本身带来的负外部性，规范人工智能技术的健康持续发展，降低技术新变化对人类社会的潜在伤害，让更多人享受到科技可持续发展带来的惠益。具有代表性的大模型企业都不断加大在模型安全方面的技术研发投入，提高模型负责任性，强化模型与人类价值观的对齐，从而建立并加强开发者和使用者对大模型的信任和信赖。二是安全水平将成为大模型应用的核心竞争力。安全技术对于大模型的应用至关重要，只有当用户确信其数据隐私能得到有效保护，模型输出结果可靠且不易受攻击时，大模型才能在更多领域得以广泛应用，并逐步与实体经济深度融合。大模型的安全水平也决定了特定行业智能化发展的速度，如金融、医疗等行业对安全有着极高的要求，大模型安全技术的成熟度直接决定了这些行业智能化发展的速度和格局。 2 . 安全可信是大模型持续发展的基本要求 人工智能安全理念从 AI Security 向 AI Safety 发展。随着互联网步入智能化时代，网络空间安全的关注重心从系统安全、数据安全转向人工智能安全。大模型技术的快速发展和通用化应用潜力对人类社会和网络文明带来了新的挑战，相较于关注系统完整性、防止数据泄露和未授权访问的 AI security 理念，AI safety 理念更多聚焦于前沿人工智能技术对人类核心权益和中长期发展的影响，通过寻求共识、构建规则、评估影响、防控风险、完善技术、落实责任、推动协作的系统化机制，将国家安全、个体权利、群体利益、国际合作等纳入人工智能安全的标准和要求之中，呼吁各方共同面对人工智能带来的不确定性挑战，更负责任地开发、部署和使用人工智能，防止滥用误用，通过人工智能安全治理构建信任，让可靠的人工智能推动网络技术应用发展。 追求大模型安全可信是全球共识。自大模型问世之时起，其潜在的安全风险和安全技术能力就备受全球关注，在大模型技术能力不断突破、模型性能不断提升的同时，人们对大模型安全风险以及安全治理的研究也在持续推进。根据大模型的技术特征和应用特点，对大模型进行有效治理，让大模型始终处在人类控制之下，不断降低大模型的安全风险，让大模型更好地服务人类发展，已成为全球共识。欧盟针对通用人工智能进行立法，保障人类权利免受大模型侵害，美国、英国则针对基础模型或前沿模型提出安全倡议，并发展风险评测等安全技术。我国《全球人工智能治理倡议》强调以人为本、智能向善，坚持