围绕生成式AI(GenAI)的热潮,企业需明确AI在网络安全中的战略方向,以减少干扰、有效管理风险并全面释放AI技术的价值。核心观点包括:
精准评估AI的影响
- 近90%的企业仍处于GenAI研究或试点阶段,多数未落实AI TRiSM(信任、风险与安全管理)技术或政策。
- AI的影响分为直接且紧急(如第三方应用数据泄露)、直接但被夸大(如早期宣传)、间接且令人担忧(如隐私风险)、间接且潜在(如业务实践变革带来的新攻击面)。
明确战略方向
- 引入GenAI需全新或调整治理框架,制定网络安全战略路线图。
- AI治理范围应根据成熟度定制,聚焦三条并行路线图:
- 调整应用安全策略以支持AI部署。
- 将新AI技术整合到网络安全战略。
- 将AI要素纳入全面风险管理框架。
实施AI TRiSM框架
- AI TRiSM框架通过控制措施和信任机制,持续提供内容异常检测、数据治理与保护、降低应用安全风险。
- 外部托管的大语言模型(LLM)及其他GenAI模型因难以掌控,显著加剧潜在风险。
优先强化GenAI应用的安全防护
- 构建基础安全控制体系,加强GenAI应用保护,包括:
- GenAI可接受使用政策(AUP)。
- 用于验证、审批及上线SaaS应用的安全需求清单。
- 保护公有云中敏感数据的安全标准。
- 安全服务边缘(SSE)产品。
- 机器人检测机制。
- 对内外部API端点的保护能力。
聚焦三大关键风险领域
- GenAI带来的三类风险:
- 内容异常检测:不当或恶意使用、幻觉、生成内容的不准确性。
- 数据保护:数据泄露、内容与用户数据受威胁、隐私与数据保护政策。
- 应用安全:对抗性攻击、向量数据库攻击、黑客入侵。
CIO与CISO的行动建议
- CIO:盘点、监控第三方GenAI应用,更新供应商选择标准,优化AI应用及数据安全策略,开展概念验证。
- CISO:评估GenAI技术风险,明确“优良”标准,从特定用例入手试用,遵循AI TRiSM框架,进行团队培训。
研究结论与数据
- 预计到2026年,采用AI TRiSM控制措施的企业将至少降低50%因不准确或不合法信息导致的决策失误风险。
- 2025年,GenAI将导致网络安全资源大幅激增,应用和数据安全支出增加15%以上。
- 未来12个月内,约三分之一(34%)的企业计划部署GenAI。
- 预计到2028年,50%的初级网络安全职位无需专业教育背景也能胜任。
关键领导角色与行动
- CIO/技术负责人:设定AI战略目标,重塑组织能力,指派AI团队负责人。
- CISO/安全主管:利用AI行为模型提升威胁检测,进行网络安全评估。
- CDAO/数据与分析主管:量化AI对KPI的影响,建立数据治理政策。
- 企业架构主管:制定AI基础设施蓝图,评估采纳AI解决方案。
- 软件工程主管:引入AI增强的软件工程实践,深化解决方案探索。
核心建议
- 设定与业务目标高度对齐的AI愿景。
- 精准筛选AI用例并部署测试。
- 将AI深度整合于技术架构与业务运营。
- 利用Gartner工具(如网络安全AI用例棱镜工具)筛选潜力场景。
- 推动跨职能团队协同,确保AI部署高效可持续。