谷歌发布2025年2月负责任的人工智能进展报告,概述了其在AI安全和责任方面的最新研究成果与实践。报告核心围绕以下方面展开:
负责任的人工智能方法概述
- 治理框架:基于NIST框架,通过治理、映射、衡量和管理AI风险,确保模型与应用符合安全、隐私和安全性要求。
- 红队攻击:内部和外部团队进行多层次红队攻击,识别AI系统弱点,以安全为重点模拟真实攻击,以内容为重点识别漏洞。
- 政策与原则:AI原则指导决策,包括Secure AI框架和Frontier Safety Framework,涵盖设计、安全和禁止使用政策。
- 评估流程:预发布和发布后评估,确保与原则和政策一致,包括模型与应用要求、领导力评审和发布后监控。
- 透明度工具:发布外部模型卡和技术报告,提供模型创建、功能和预期用途的透明度,促进问责制。
核心成果与数据
- 第三方评估:Google Cloud AI在准备度方面获得“成熟”评级。
- 合规性:符合ISO/IEC 42001标准,与外部机构合作共同承担AI责任。
- 合作伙伴关系:参与前沿模型论坛、AI伙伴关系、世界经济论坛等,推动AI生态发展。
- 研究贡献:发表300+篇关于AI责任和安全的研究论文,与全球科研机构合作。
- 模型卡:发布外部模型卡和技术报告,提供模型透明度信息。
风险管理与缓解措施
- 风险分类法:基于NIST框架,涵盖安全、隐私、透明度和问责制风险。
- 外部专家反馈:通过研讨会和演示收集学术界、民间社会和商业组织的见解。
- 受信任的测试员:利用外部可信测试小组进行模型和应用程序测试。
- AI辅助评估:开发AI代理模拟攻击,加速评估和标注流程,实现规模化风险管理。
案例研究:AlphaFold 3
- 应用场景:AlphaFold 3加速生物学领域突破,预测分子结构和相互作用。
- 道德与安全评估:外部专家进行评估,确定潜在风险和收益。
- 合作与推广:与EMBL合作推出教程,扩大课程规模,加速模型公平采用。
- 风险映射:持续识别和映射AI到生物安全的潜在风险和效益。
评估方法与技术
- 模型与应用评估:预发布和发布后评估,涵盖安全、隐私和安全性风险。
- 红队演习:内部和外部红队模拟攻击,识别系统弱点。
- AI辅助红队:训练AI代理寻找潜在漏洞,如间接提示注入攻击。
- 内容对抗红队:识别AI系统中的弱点,减轻发布前风险。
- 自动化测试:投资自动化解决方案,加速发布前和发布后测试。
Gemma模型评估
- 安全性评估:自动化技术过滤敏感数据,人类反馈微调模型。
- 内部评估:红队行动、自动对抗测试、评估危险活动适用能力。
- 外部评估:与学术基准对比,如MLCommons AILuminate v1.0。
- 评估指标:文本内容安全性、记忆、大规模损害、表征损害。
风险管理措施
- 安全管理:SAIF框架减轻安全风险,如数据中毒、模型泄露。
- 内容安全:建立模型级和应用级缓解措施,减少生成有害内容风险。
- 隐私保护:投资隐私风险缓解措施,研究代理性产生的新风险。
- 多方面方法:实施内容安全、安全和隐私缓解措施,分阶段发布,赋予用户权力。
总结
谷歌通过全栈AI治理方法,结合NIST框架和AI原则,持续提升AI系统的安全性和透明度。通过红队攻击、AI辅助评估和外部合作,识别和缓解潜在风险,推动AI负责任发展,最大化其对全球的益处。