人工智能发展和安全的总体趋势
对人工智能发展与安全的总体判断
- AI 全球化发展： AI 全球化发展是世界的主旋律，开源开放成为中国 AI 创新的重要路径。大模型发展转向应用侧，需要配套模型、数据、网络等全方位的安全能力。安全需要多方合作，共绘 AI 安全与性能平衡发展的美好愿景。
- AI 范式发展： AI 范式在推理深度、模态广度上快速更迭，安全技术要跟上智能技术的发展。围绕“守己”理念，阿里巴巴建设了评测牵引、内外兼备、能力全面、技术领先的 AI 安全体系。
- 对人工智能安全的基本态度： 阿里巴巴对人工智能安全的基本态度是“守己、利他、合作”。
- 守己： 模型安全是保障 AI 有序发展的基础，模型能力的不断提升对模型安全提出了新的要求。阿里巴巴加强内生安全与外围护栏等技术投入，持续提升模型的安全性能。
- 利他： 负责任的模型开源，建设资源开放的生态，实现普惠、促进安全、繁荣生态，是 AI 发展的重要路径。
- 合作： 政产学研共建 AI 安全与发展生态，积累和贡献该领域的公共知识。
建立技术先进、能力完备的模型安全体系
- 评测体系： 阿里巴巴构建了一套多层次评测体系，以刻画 AI 的真实安全水位，为 AI 安全实践提供明确指引。
- 内生安全： 阿里巴巴致力于让安全成为大模型的本能，通过数据与算法的协同设计，让模型“不想越界”。
- 语料筑基： 高质量安全语料是模型安全能力的理论上限与工程基石，阿里巴巴构建了支撑模型安全能力持续进化的底层基础设施。
- 多阶段安全任务协同： 通过在模型生命周期的不同节点施加精准、递进的安全干预，成功地将抽象的人类价值观转化为模型内部的具体行为模式，最终实现了从“知道安全”到“本能安全”的质的飞跃。
- 外层护栏： 对 AI 的防护，阿里巴巴设计重知识、高效率、强泛化的外层护栏，提升防护覆盖率与精准性。
- 策略工具： AI 防盗用与滥用技术，阿里巴巴首创“检测→水印→检验”闭环技术体系，实现了对 AI 生成内容从识别到标识再到合规验证的全流程管理。
建立满足应用需求的安全能力体系
- 从“模型竞赛”走向“系统生态构建”： 人工智能发展正从单一模型性能竞赛转向多元化、协同化的系统生态构建。
- 建立安全可信的云上大模型服务： 以“纵深防御、零信任、最小权限”为原则，构建从基础设施到应用服务的全栈安全防护矩阵。
- 应对 Agent 爆发带来的安全挑战： 智能体式人工智能（Agentic AI）系统是可自我管理的 AI 系统，阿里巴巴积极应对智能体安全挑战，提升智能体范式下的大模型工具调用能力，并建设智能体特有的权限体系。
构建开源开放生态，加速技术的普惠和发展
- 开源开放生态的利他属性： 开源增强了大模型技术的安全性和可信度，开源生态通过 LAMP、GitHub、TensorFlow、Hugging Face 等基础设施，奠定了互联网与大模型发展的基石。
- 基于开源生态的 AI 应用服务： 基于开源生态的 AI 应用服务体系包括提供底层技术工具的开源生态与面向终端用户的上层应用服务。
- 负责任的开源生态风险治理： 开源生态治理首先依赖于社区共识与自我约束机制，法律法规对基于开源大模型再进行的上层应用服务提供、用户使用等环节设定了明确的界限和责任。
- 负责任的开源生态建设实践： 开源方、开源社区与开发者三方主体的协同共建，通过制度设计、技术实践与文化塑造，形成权责清晰、流程规范、反馈及时的良性治理闭环。
大模型是世界知识的产物，也是服务世界的工具
- 大模型是全球造、全球用的全球化工具： 大模型能力根植于世界知识的积累与协作创造，全球化带来显著的生态红利，包括技术普惠、标准统一、创新加速与市场绑定。
- 大模型对不同文化的适配： 中国模型出海可行的做法包括坚持中国立场，用技术手段适配不同的文化。
- 中国模型的全球化发展： 中国开源模型已凭借高性能和高衍生数量成为全球 AI 生态的关键力量，中国的人工智能影响全球人工智能发展的公平性与包容性。
负责任评估和应对 AI 带来的影响，帮助扩大 AI 正向价值
- AI 对经济社会的影响： AI 正以前所未有的深度和广度影响人类的经济社会形态，AI 技术的快速发展和应用渗透正深刻重塑我国电力等能源格局，也深刻影响着企业的生产工具乃至个体的职业发展。
- AI 对商业的影响： AI 技术优化供需匹配与生产效率，重塑商业格局，AI 的飞速发展正在深刻改变个体的工作和职业前景，带来新的机遇和劳动力结构的转型。
聚智多方共享，理解安全，信任技术
- 聚智共享，增进公众理解与信任： 构建负责任的 AI 体系，不仅需要精密的算法与严谨的治理结构，更需要公众参与、社会认知与共识构建。
- 聚知共识，促进跨界交流与互通： 人工智能技术与应用涉及多学科并对不同领域产生影响，通过跨界进行知识共享与观点交互，有助于弥合差距、促进共识，并增强各方对于技术和和安全更全面的理解。
聚力产学联训，育才守正，铸才利远
- 企业实践经验进入课堂： 阿里巴巴积极响应国家推动 AI 与教育深度融合的号召，携手产学研伙伴共同探索适应 AI 发展的人才培养新路径。
- AI 技术直接赋能教育： 阿里巴巴与上海财经大学合作，基于通义千问大模型推出智能化教学工具，通过技术赋能人才培养。
- 赛事举办培育实战人才： 阿里巴巴发起“大模型安全撬壳计划”系列赛事，以实战演练为核心，打造 6 场不同赛道的沉浸式 AI 博弈战场，召集跨学科选手站在攻击者视角，挑战阿里巴巴真实业务场景下的防御边界。
聚策技管融合，协同行业，共塑标准
- 制定行业标准： 阿里巴巴积极输出能力和经验，推动共识形成与标准落地，参与国家 AI 安全标准建设，牵头国际标准制定，推动 AI 安全治理标准，共建可信生态。
以治理创新推动多方能力共建
- “AI 安全全球公共产品”全球倡议： 人工智能应该是造福全人类的国际公共产品，上海人工智能实验室联合阿里巴巴、上海交通大学、清华大学等企业和院校深度合作，共同开发安全评测公共服务，推动人工智能安全知识、资源和能力业界共享。
- 多策并举，推进 AIGC 标识示范与能力共建： 上海人工智能实验室围绕模型输出内容的水印嵌入与识别、套壳生成检测、深度伪造识别等技术展开研究，深入探索 AI 标识理论研究与前沿技术方向。
以技术创新驱动安全与性能协同提升
- 上海人工智能实验室提出“Make AI Safe”与“Make Safe AI”构成互补双轨的理念， 提出《前沿 AI 风险管理框架》，从解耦应用域（E）、威胁源（T）和关键能力（C）等维度对前沿风险进行建模，识别 AGI 可能带来的关键风险类型。
- “AI 安全全球公共产品”的理念正在受到全球关注与讨论， 呼吁全球企业、科研机构和监管机构共同努力，推动安全共性技术、标准规范、重大平台等共建共治，丰富全球人工智能安全工具箱、资源库，促进人工智能安全的非竞争性和非排他性。
