AI安全白皮书总结
迈向智能社会
随着海量数据积累、计算能力发展和机器学习方法创新，人工智能技术得到普遍部署和应用，正迈向历史性时刻。人工智能技术发展主要归因于海量数据、高扩展计算机和软件系统、已有资源的可获得性。谷歌DeepMind开发的AlphaGo Zero展现了人工智能改变人类命运的巨大潜能，预示着一个万物智能的社会正在快速到来。
AI安全面临五大挑战
人工智能技术存在重大安全风险，其根本原因是AI算法设计之初未考虑安全威胁，导致AI系统判断结果容易被恶意攻击者影响。AI系统在设计上面临五大安全挑战：
- 软硬件的安全：包括应用、模型、平台和芯片等层面的漏洞或后门。
- 数据完整性：攻击者可能在训练阶段掺入恶意数据，或在判断阶段对样本加入噪音，影响AI模型推理能力。
- 模型保密性：服务提供者可能通过多次查询构建相似模型，获取模型相关信息。
- 模型鲁棒性：训练样本覆盖性不足，导致模型鲁棒性不强，面对恶意样本时无法给出正确判断结果。
- 数据隐私：攻击者可能通过反复查询训练好的模型获得用户隐私信息。
AI安全典型攻击方式
- 闪避攻击：通过修改输入，让AI模型无法对其正确识别，包括对抗样本、物理世界的攻击、传递性与黑盒攻击。
- 药饵攻击：在训练阶段掺入精心设计的样本，影响AI模型推理能力。
- 后门攻击：在神经网络模型中植入特定神经元生成带有后门的模型，使得模型对正常输入与原模型判断一致，但对特殊输入的判断受攻击者控制。
- 模型窃取攻击：攻击者通过查询，分析系统的输入输出和其他外部信息，推测系统模型的参数及训练数据信息。
AI安全防御手段
AI系统部署到业务场景中需要三个层次的防御手段：
- 攻防安全：对已知攻击设计有针对性的防御机制，包括网络蒸馏、对抗训练、对抗样本检测、输入重构、DNN模型验证等。
- 模型安全：通过模型验证等手段提升模型健壮性，包括可解释模型、可验证模型、前馈检测、后馈检测、业务系统可解释、数据可解释等。
- 架构安全：在AI部署的业务中设计不同的安全机制保证业务安全，包括隔离与检测、冗余与熔断、多模型架构、数据自恰性等。
携手共建安全的智慧未来
人工智能技术还处在早期发展阶段，需要依靠数据与知识的双轮驱动，下一代人工智能的突破可能是知识推理。人工智能应用的大规模普及和发展需要很强的安全性保证。未来，需要持续研究AI可解释性，增强对机器学习工作机理的理解，并构建机制性防御措施搭建AI安全平台；在业务上，需要详细剖析AI在产品线的应用案例，落地经过测试和验证的AI安全关键技术。国际社会应协同合作推动人工智能向着造福人类的方向演进。
