核心观点与关键数据
- AI治理的演变:2026年,AI治理的重点将从员工使用生成式AI工具转向管理嵌入企业各处的AI系统,如SaaS平台、客户产品、开发者工具、HR系统、网络安全工作流、营销堆栈和日益自主的AI代理。传统的AI政策需要更新以应对更复杂的环境。
- 自主AI代理的兴起:自主AI代理能够自主执行多步骤任务,连接到各种系统(如电子邮件、日历、CRM、HR信息系统等),引发新的合规挑战,包括权限、监督、可审计性和特权问题。
- AI供应商风险管理:
- AI供应商合同需要新的尽职调查和合同模板,包括针对AI使用的尽职调查问题、基于使用量或结果的定价模式、AI特定权利和限制的合同模板。
- 需要建立可重复的AI供应商分类框架,区分不同类型的AI供应商风险。
- 避免获取可能具有竞争敏感性的数据,特别是非公开数据。
- AI与知识产权:
- 基础模型的数据抓取版权诉讼持续进行,内容创作者越来越多地选择许可其内容,削弱了数据抓取者的合理使用辩护。
- 组织在训练AI应用时应考虑数据抓取的风险,并采取限制措施。
- AI监管环境:
- 美国联邦政府与各州在AI监管上存在分歧,联邦政府倾向于推动AI发展,同时各州继续通过更多AI相关法律。
- 美国隐私监管机构可能关注数据最小化原则在AI模型训练中的应用。
- 各州和联邦机构可能根据现有法律(如消费者保护法、民权法)对AI的使用和推广提出诉讼。
- 网络安全与事件响应:自主AI代理增加了网络安全风险,需要通过网络安全视角评估,包括访问控制、最小权限、提示注入和数据泄露风险、日志记录、监控、人工批准阈值、事件响应和供应商/安全尽职调查。
研究结论
- AI治理不应被视为一次性项目,而应是一个随技术发展而演变的动态法律、合规、隐私、安全和产品治理框架。
- 组织应审查其现有的AI治理框架,确保其适用于AI的采购、部署、嵌入和使用方式。
- 保险公司可能将AI代理造成的损失排除在承保范围之外,组织应咨询其保险经纪人了解相关覆盖范围。
- 法律和采购团队需要了解SaaS和AI供应商定价模式的转变,并在其模板和剧本中解决这些问题,并建立监控定价和政策变化的流程。
- 组织应评估AI供应商的颠覆风险,并在合同中适当对冲这些风险。
- 在训练AI模型时,应考虑数据主体权利和其他消费者保护问题,并实施内部流程以最小化个人数据的摄入。
- 自主AI代理的网络安全风险日益增加,需要采取相应的治理措施。