人工智能治理进展报告
核心观点与治理框架
2025年标志着人工智能从探索阶段进入集成阶段,模型能力显著提升,用户和企业开始探索将人工智能工具融入日常应用。报告强调,人工智能发展需建立在负责任的基础之上,通过多层级治理框架确保安全与效益。
治理框架
- 风险缓解:通过监督微调和强化学习确保模型与内容安全政策一致,并部署模型外缓解措施(如安全过滤器和条件系统指令)。
- 研究与评估:采用研究驱动方法识别模型和产品的风险,包括新型模态和形态的风险。
- 政策与框架:制定严格的政策和指南(如内容安全政策和禁止使用政策),防止潜在有害输出和产品滥用。
- 监控与执行:结合自动化系统和人工审核进行持续监控,改进模型和产品,检测违规行为。
- 治理论坛:设立模型发布审查论坛(包括谷歌DeepMind的发布审查论坛和未来委员会),对前沿模型和应用进行审查。
- 测试:采用综合测试方法(包括大规模和针对性测试)验证系统符合政策框架。
案例研究:Gemini 3与前沿安全框架
- Gemini 3:作为最安全的模型,通过了最全面的测试,包括红队测试和独立评估机构(如Apollo Research、Vaultis等)的评估。
- 前沿安全框架:包含“关键能力水平”协议,识别和缓解前沿AI模型的严重风险,如网络攻击、CBRN风险和有害操纵。
人工智能应用与风险应对
个人智能与控制
- Chrome中的个人助理:提供个性化搜索和对话功能,用户可选择是否个性化,并具备数据安全保护。
- 用户控制:用户可控制个人智能的使用,包括选择个性化选项、查看数据使用情况和撤销同意。
- 用户一致性:部署“用户一致性评论家”模型,审查代理行为,确保与用户意图一致。
- 严格边界:通过代理来源集限制代理的交互范围,防止数据泄露。
- 社会工程缓解:检测和防止间接提示注入,结合Chrome的安全功能和设备端AI检测传统诈骗。
- 强制人工监督:对敏感操作(如支付、社交媒体发布和凭证使用)进行人工确认。
- 持续测试与缓解:部署自动化红队系统,模拟攻击并测试代理的安全性。
前沿AI系统风险研究
- 通用人工智能(AGI):发布研究论文,探讨安全构建AGI的方法,分析潜在风险,如恶意行为者滥用AI能力进行网络攻击。
- AI代理:发布研究论文,概述安全AI代理的原则,并研究AI代理在经济中的影响。
- 新兴风险:成立新型AI测试团队,评估最先进的边界系统,应对新型风险。
重点研究领域
- 心理健康:与Wellcome Trust合作,投资AI研究治疗焦虑、抑郁和精神病。
- 网络安全:发布框架评估AI系统的攻击能力,覆盖网络攻击链的各个阶段。
- 机器人技术:开发具备高级空间理解能力的机器人模型,并建立多层次安全措施。
- 儿童和家庭:支持研究探索AI对青少年和早期儿童的影响。
- 信息质量:发布FACTS排行榜,评估LLM的准确性。
负责任创新与全球影响
科学发现加速
- AlphaGenome:AI模型用于解码人类基因组,预测基因突变对基因调控的影响。
- AlphaEvolve:进化编码代理,用于设计算法提升数据中心效率、改进TPU设计和加速AI训练。
全球健康改善
- 洪水预测:利用AI提供提前七天的实时洪水预警,已在多国实施,帮助社区提前撤离,减少损失。
- 糖尿病视网膜病变:开发AI工具辅助早期检测,已在多国部署,帮助当地专家和社区预防失明。
教育支持
- 英国教育合作:与英国政府合作,支持AI在教育中的应用研究,包括AI素养和个性化学习。
生态系统增强
- SynthID:AI生成内容的数字水印技术,用于验证内容来源。
- Backstory:识别AI生成图像的工具。
- C2PA:与行业伙伴合作开发内容凭证标准,确保其满足现代硬件和软件需求。
- AI安全框架:部署AI代理主动修复漏洞,并提供新的指导方针和风险控制措施。
合作与未来展望
- 政府与民间社会合作:与各国政府和民间社会合作,制定AI标准和应对风险。
- 行业合作:与行业伙伴合作,开发AI安全工具和研究方法,如AI安全研究所。
- 持续研究:持续研究AI的潜在影响,包括社会和情感影响、经济影响等。
结论
人工智能时代已经到来,报告强调持续动态的治理框架对于确保AI安全至关重要。通过分享经验、赋能生态系统并坚持核心AI原则,将AI打造为改善人类生活的有力工具。