凯捷作为联合体1的领导者,支持欧盟人工智能法案框架下的网络威胁建模和风险评估。主要职责包括帮助欧洲加强评估、监控和缓解与通用人工智能(GPAI)模型相关的系统性网络攻击风险,建模新兴网络犯罪风险,开发评估工具,设计技术合规方法,以及开展按需技术评估。这些工作旨在确保GPAI技术在欧盟范围内安全、负责任地部署,并支持AI办公室识别系统性风险,有效执行针对GPAI提供者的《人工智能法案》义务。
AI安全赛道正快速发展,随着通用人工智能(GPAI)模型的自主性和网络相关功能的增强,如自动漏洞发现、利用生成或大规模网络攻击编排,网络安全风险日益凸显。欧洲委员会部署全球首个全面的人工智能安全框架,体现了对AI技术负责任发展和部署的承诺。未来,AI安全将重点关注系统性风险评估、可信AI开发、技术合规方法设计以及按需技术评估等方面,需要强大的协调评估框架来应对AI驱动的网络威胁。这将推动AI安全领域的技术创新和服务需求持续增长。
该报告重点分析了通用人工智能(GPAI)模型相关的网络犯罪风险,以及如何评估和减轻这些风险。具体方向包括网络威胁建模、风险评估工具开发、技术合规方法设计,以及针对GPAI提供者的《人工智能法案》义务执行。报告还强调了结合科学严谨性、运营专业知识以及实施可信人工智能经验的重要性,以加强欧洲的数字韧性。这些分析旨在为欧盟提供全面的AI安全评估框架,确保AI技术的负责任使用。
当前AI安全市场正处于快速发展阶段,随着AI技术的广泛应用,网络安全风险日益增加,特别是GPAI模型可能带来的系统性风险。欧洲委员会启动AI安全3计划,表明全球对AI安全问题的重视程度不断提高。市场现状表现为对AI安全评估、监控和缓解能力的迫切需求,以及相关技术和服务的快速发展。企业需要加强AI安全能力建设,以应对不断变化的网络威胁,并满足合规要求。这将推动AI安全市场持续扩大。
该研报提示,随着GPAI模型的自主性和网络功能增强,可能面临未知的系统性网络攻击风险,需要持续评估和应对。此外,AI安全技术和方法的快速发展可能带来实施挑战,需要科学严谨性和专业知识支持。同时,欧盟AI安全框架的落地实施也存在不确定性,可能影响市场发展路径。企业应关注AI安全技术的演进,加强风险管理能力,并积极参与相关标准制定和合规建设,以应对潜在风险。