一、概念定义
- 安全优先的大模型:由于大模型原生安全缺陷和业务系统内生安全风险无法避免,为了有效控制安全风险为企业带来的经营风险、更为了实现较高水平的社会治理,在建设、运营、监管大模型业务系统过程中的一种思想,即安全优先。
- 定义解读:安全优先的大模型关注国家安全、社会治理以及企业的网络与数据安全,通过安全能力间接提高信任度和满足合规要求,有效推动大模型应用发展。
二、发展潜力
- 市场发展驱动力:
- 大模型内生“缺陷”转化为安全原生需求:大模型的性能和创造力与安全对齐的强度是成反比的,不能本末倒置的为了追求安全性而降低大模型的应用价值,只能通过后期工程化的方式用系统性的安全能力满足各类应用场景的安全需求。
- 大模型强监管态势夯实安全合规基础:全球范围内对人工智能,尤其是生成式大模型应用都处于高位监管态势,我国也陆续发布了多项法规,从算法安全、语料安全、模型安全、应用安全以及模型上线等过程均有高强度监管要求。
- 安全能力核心逻辑:
- 以“模”制“模”:用安全专业“小”模型消减大模型输入风险、审核大模型输出内容,实现最高的投入产出比。
- 以权限和身份管理重塑业务:通过业务具体控制需求和流程,以模型权限、用户身份管理为核心,辅助UEBA、API、数据分类分级以及模型交互审查等技术,重塑业务系统安全控制体系。
- 以安全工程保障系统工程:通过安全系统对信息系统的全生命周期、数据处理的全流程进行整体性、体系化的安全保障,利用技术和管理手段构建全方位、多层次的安全能力。
- 未来趋势:
- 大模型重塑数字生活,人工智能治理道阻且长:大模型的应用已经悄然改变了互联网搜索的交互方式,未来还会出现全新的数字化交互方式重新塑造数字生活,但人工智能治理道阻且长。
- 端侧大模型需求激增,安全能力需要新突破:随着端侧大模型需求激增,对大模型的安全保护又有了新的要求,需要安全能力进行针对性设计,提供离线使用控制能力。
- 后训练是应用关键,数据价值再次攀升:后训练涉及的微调、强化学习和规模扩展等技术,其核心之一就是高质量数据,数据的价值因为人工智能再一次得到升级,由数据资产上升成为知识产权。
- 公众模型成为基础设施,智能体百家争鸣:通用大模型将成为数字化的基础设施,而以领域大模型为核心的智能工作流、智能体和具身智能将展开新一轮的白热化竞争态势,呈现出百家争鸣的现象。
三、推荐供应商
- 奇安信:提供大模型安全评估服务、大模型安全卫士、零信任访问控制、数据安全网关、特权卫士、代码/开源卫士等,致力于为人工智能大模型及应用系统提供全生命周期的安全保障。
- 绿盟科技:推出“AI-UTM安全一体机”与“大模型安全围栏”双轮产品,形成覆盖大模型全生命周期的安全评估和防护体系。
- 联通数科:推出“智盾·智算安全防护体系”,助力全面识别并应对智算服务中的潜在安全风险,打造端到端的智算安全产品能力。
- 火山引擎:云安全依托字节跳动在安全技术上的实践沉淀,面向互联网、金融、汽车、大消费等行业输出云上安全能力,保障企业用户网络、数据、云原生、终端、大模型等的安全。
- 安泉数智:以“AI对抗AI”的理念推出“大模型安全综合治理平台”,业界首创“RAPAO”大模型安全五步闭环管理模型,从模型训练、部署和运行,覆盖大模型全生命周期十个方面安全问题。
- 360数字安全:依托二十年来网络安全领域的深厚积累、AI领域的技术深耕以及AI业务(360智脑、纳米搜索等)的安全实践,形成了“懂AI更懂安全”的跨领域优势,提出“以模制模”新范式。
四、安全能力
- 大模型业务系统安全风险:包括供应链安全风险、数据安全风险、内容安全风险、业务应用安全风险、模型安全风险和基础设施安全风险。
- 安全优先的大模型能力图谱:根据大模型业务系统安全风险,一一对应分为六类:供应链安全、数据安全、内容安全、业务应用安全、模型安全和基础设施安全。
五、解决方案/典型案例推荐
- 大模型安全解决方案:由绿盟科技提供,包括大模型安全评估系统(AI-SCAN)和AI安全一体机(AI-UTM),形成覆盖大模型全生命周期的安全评估和防护体系。
- 数字政府智算服务一体化安全保护案例:由联通智盾·智算安全防护体系提供,通过大模型风险评估、大模型防火墙、大模型安全围栏等产品,在智算安全运营支撑体系下,切实保障人工智能的安全可靠、内容可信、风险可控。
- 科技制造业大模型安全防护案例:由奇安信提供,通过模型使用可见、模型输入检查、模型输出过滤、体验与业务连续等方案,保障公司敏感数据、知识产权及员工隐私在AI应用全生命周期的安全防护。
- 联想携手火山引擎推出可信个人云案例:由火山引擎提供,基于AICC方案打造,旨在构建严密可信的云上计算环境,全面保障大模型推理、RAG检索增强生成、AI Agent等核心能力的数据安全。
- 央企大模型综合治理案例:由安泉数智提供,通过大模型资产台账系统、人工智能模型评测平台、人工智能增强平台、大模型审计与配置系统以及大模型安全运营系统,构建了覆盖大模型与智能体全生命周期的体系化安全核心能力。
- 杭州市数据资源局大模型安全防护案例:由360数字安全提供,通过360智脑大模型安全护栏,实现对大模型输入与输出全链路的风险管控,形成“前置过滤—过程检测—结果处置”的闭环安全防护体系。