AI智能总结
关于绿盟科技 绿盟科技集团股份有限公司(以下简称绿盟科技),成立于 2000年 4 月,总部位于北京。公司于 2014 年 1 月 29 日在深圳证券交易所创业板上市,证券代码:300369。绿盟科技在国内设有 50 余个分支机构,为政府、金融、运营商、能源、交通、科教文卫等行业用户与各类型企业用户,提供全线网络安全产品、全方位安全解决方案和体系化安全运营服务。公司在美国硅谷、日本东京、英国伦敦、新加坡及巴西圣保罗设立海外子公司和办事处,深入开展全球业务,打造全球网络安全行业的中国品牌。 版权声明 本文中出现的任何文字叙述、文档格式、插图、照片、方法、过程等内容,除另有特别注明,版权均属绿盟科技所有,受到有关产权及版权法保护。任何个人、机构未经绿盟科技的书面授权许可,不得以任何方式复制或引用本文的任何片断。 01 趋势1:【大模型治理】2025年大模型安全治理将面向产业界推进可落地的风险管控举措,企业提供大模型系统的服务或发布基于大模型的应用,都需要评估合规风险。 02 趋势2:【大模型安全应用】2024年,AI Agent技术迅猛发展,安全公司积极布局。尽管市场热情高涨,真正可靠的AI Agent仍较少。2025年,基于LLM的Agent将提升自主决策能力,推动安全领域的智能化应用,但在LLM对安全任务的理解决策和工具调用能力上仍需进一步实现。 03 趋势3:【安全运营】2024年,安全运营成为安全大模型的主要应用领域,通过量化指标提升运营效率,结合大小模型精准识别潜在威胁,助力复杂攻击调查与深度溯源。2025年,安全大模型将更加专注于行业定制化和垂直领域应用,提供更精准高效的解决方案。 CONTENTS 04 趋势4:【AI红队】DeepSeek-R1促使更多企业部署私有大模型系统及应用,私有化部署将催生企业采取AI红队技术系统性发现、评估大模型安全风险,进行AI攻击面管理的需求。 05 趋势5:【威胁情报】开源大模型DeepSeek将加速情报与大模型的结合,“本地智能”将重塑威胁情报体系和生态。 06 趋势6:【云安全】2025年由云凭证泄露、云配置错误,软件供应链,云服务商漏洞引发的云安全事件将依然频发,其中供应链安全成为保障数据安全的一道重要防线。 07 趋势7:【勒索】勒索组织攻击目标将聚焦关键基础设施单位,勒索生态显现虹吸效应,大型勒索组织规模不断扩大,国家治理难度升级,企业防御难度增加。 08 趋势8:【APT】“假旗”战术成主流,溯源归因难度提升。APT“阵地”扩张,物理空间攻击风险加剧,卫星通讯设备首次被攻破。 09 趋势9:【数据安全】以往跟数据安全相关的新技术分别应用于不同的细分领域,例如,隐私计算的主要赛道是金融行业,机密计算的主要需求来自安全性较高的特殊行业,可信计算、区块链常见于科研项目。2025年,这些新技术都将围绕着可信数据空间开展应用研究。 10 趋势10:【低空经济】安全将成为低空经济发展中的关键命题,业界各方的共同参与将加速低空经济安全体系的建设。专为低空智能网联场景量身打造的检测防护产品以及态势感知系统,将陆续推出并投入应用。 CONTENTS 序 “善弈者谋势”。 加强对行业发展趋势的关注和研判,是了解行业动态、明确发展目标的重要途径。对于网络安全行业而言,洞察安全趋势并顺势而为,不仅有助于及时感知并提前防范风险,更有助于优化安全策略和资源匹配,具有十分重要的现实意义。 探究网络安全行业趋势的发端,离不开对合规和攻防实践等关键要素的分析。绿盟科技依托扎实的网络安全保障实践,立足重大需求深入理解国家政策导向,立足技术创新密切跟踪攻防异动,立足专业视角全方位分析要素影响,研判提出“2025年网络安全行业十大趋势”。 总体来看,2025年度网络安全行业发展趋势将重点围绕技术、场景、威胁三条主线展开。技术方面,人工智能技术的应用和治理将继续“担纲”网络安全行业发展的重要引擎;场景方面,低空经济、可信数据空间等将“跻身”网络安全发力的新兴舞台;威胁方面,APT攻击、勒索软件等将持续“霸榜”并呈现新的特点。 “察势者明,趋势者智”。诚挚期待本报告能为网络安全行业管理和产业发展略尽绵薄。并期待依托我司技术、产品和服务创新,全力投身打造网络安全新质生产力,为实现中国式现代化发展目标贡献力量。 趋势1:【大模型治理】2025年大模型安全治理将面向产业界推进可落地的风险管控举措,企业提供大模型系统的服务或发布基于大模型的应用,都需要评估合规风险。 随着人工智能技术和应用的井喷式出现,人工智能技术释放红利的同时,也显露出安全风险。国内的儿童智能手表不当回复引发民族认同与自信问题、国外首例大模型引导青少年自杀事件都透露出其潜在的风险和挑战不容忽视。 在这样的背景下,全球范围内的政府、科研机构、企业和社会各界都在积极探讨如何制定有效的政策和法规,以规范人工智能的发展。在国际层面,联合国通过《人工智能伦理建议书》确立了全球 AI 伦理标准,世界经济论坛的“全球 AI 理事会”推动了跨区域政策协调。国际电信联盟(ITU)发布的《人工智能风险评估指南》为各国提供了风险管理工具。在国内,我国实施了《新一代人工智能发展规划》,强化了立法与监管,如《数据安全法》和《个人信息保护法》。同时,我国还举办了“人工智能与社会发展”国际论坛,促进了全球对话。 各国政府在立法与监管方面,如欧盟的《人工智能法案》和美国的《2022 年算法问责法案》,均旨在规范 AI 技术的应用。2023 年 7 月,我国率先出台实施了全球首部生成式人工智能专门立法《生成式人工智能服务管理暂行办法》,并进一步在国务院立法工作计划列入“人工智能法草案”。2024 年全国信息安全标准化技术委员会发布《生成式人工智能服务安全基本要求》,规定了生成式人工智能服务在安全方面的基本要求,包括语料安全、模型安全、安全措施等,并给出了安全评估要求。各地方政府也相继出台支持政策,推动大模型产业的持续发展。当前,北京、深圳、上海等地均发布了关于人工智能大模型相关政策。 如三星被曝芯片机密代码遭 ChatGPT 泄露,引入不到 20 天就发生 3 起事故,内部考虑重新禁用。 因此,未来大模型应用将更加注重合规性,同时内置的隐私保护功能也会得到进一步的强化,这些保护措施包括但不限于数据加密、数据脱敏、权限控制、匿名化以及用户数据的精细访问控制机制。我国在 2023 年 8 月 15 日开始施行《生成式人工智能服务管理暂行办法》,旨在规范生成式人工智能服务提供者在处理敏感信息时的行为,保障用户的隐私和个人信息安全,促进生成式人工智能服务的健康发展。因而,AI 服务商可通过提升安全性来获得竞争优势,安全厂商也可推出相关安全产品以满足出现的人工智能安全需求,最终减小大模型及其数据成为攻击目标的风险,保障安全大模型系统的稳定性和可靠性。 据加拿大咨询公司 FairlyAI 追踪结果显示,截至 2024 年 12 月,全球人工智能相关政策法规已达 317 份;产业驱动的人工智能标准化行动更加密集,全球陆续出台 355 项人工智能标准,目前尚有更多标准处于规划和制定过程之中。 我们相信,在 2025 年,人工智能安全治理将围绕具体行动方案进行讨论,评查如何落实人工智能安全原则,形成面向产业界可落地的人工智能风险治理方案。 目前,人工智能的风险分类分级政策逐渐完善,以几个代表性的政策标准为例。《生成式人工智能服务安全基本要求》明确将生成式 AI 服务的安全风险分为五大类,包括违反社会主义核心价值观内容、歧视性内容、商业违法违规、侵犯他人合法权益和无法满足特定服务类型的安全需求,为服务提供者在开展安全评估时提供了清晰的风险分类与指导。与此同时,欧盟的《人工智能法案》将 AI 系统的风险划分为不可接受、高风险、有限风险和低风险四个等级,要求高风险系统在市场投放前进行严格的安全评估,以确保其合规性和安全性。此外,中关村信息安全测评联盟发布的《大模型系统安全保护要求》涵盖了大模型在设计、开发、测试、部署及退役等全生命周期的安全保护要求,强调对大模型的全面风险管理。这些政策和标准旨在通过系统化的风险管理框架,提升人工智能服务的安全性与合规性,确保技术在各个领域的安全应用。 从标准政策的制定到实际风险评估,需要人工智能的风险评估方法、测试用例不断完善,甚至以评估工具的形式高度自动化地检验安全性,才能应对 AI 模型正处于快速迭代中的安全挑战。其中,微软的 PyRIT(Python 风险识别工具包)作为一个开源框架,旨在自动生成对抗性提示,帮助开发者发现 AI 模型中的潜在风险,如幻觉、偏见和恶意输出;英伟达的 Garak 则专注于大型语言模型(LLM)的漏洞扫描,利用“探针”模块模拟不同输入场景来评估模型表现,并提供灵活的插件化架构,支持多模态输入分析。与此同时,绿盟科技推出的 AI-Scan 工具为企业提供全面的 AI 大模型风险评估,能够快速识别内容安全和对抗安全的潜在威胁,并提供专业的风险处理建议。 我们参考 TC260-003,从合规要求评估了 DeepSeek 开源模型及云端接入方式,能发现云端 DeepSeek-R1 合规性最优,三个维度均符合 TC260-003 中的规范要求。但当开启深度思考模式处理多任务时可能存在处理不当的情况。由此可见,DeepSeek-R1 需要加强对于生成内容的审核过滤。 在应拒答维度,深度思考能力降低了 DeepSeek-R1 模型及 R1 蒸馏模型生成内容被滥用的风险。 DeepSeek-R1 安全策略的泛化可能导致过度防御,即为了防止潜在风险而过度拒答。DeepSeek-R1 相较其蒸馏后的模型,其在生成内容安全评估方面的表现如下图所示。 建议在本地部署或私有化部署时,应考虑本地的内容审核与过滤机制,并优化拒答机制。同时也应考虑如系统组件存在漏洞或未授权访问的供应链安全风险。 2025 年,面向产业界将推出具备可落地性的生成式人工智能治理举措,逐步对齐安全风险类型与等级,对应的测试评估 benchmark 或以评估服务或工具的形式,让企业能更好的了解生成式人工智能系统应如何评估与规避安全风险。 趋势2:【大模型安全应用】2024年,AI Agent技术迅猛发展,安全公司积极布局。尽管市场热情高涨,真正可靠的AI Agent仍较少。2025年,基于LLM的Agent将提升自主决策能力,推动安全领域的智能化应用,但在LLM对安全任务的理解决策和工具调用能力上仍需进一步实现。 2024 年上半年,大型语言模型(LLM)技术的快速发展引发了激烈的 AI Agent 价格战,随后下半年则迎来了 AI Agent 的争夺战。科技巨头如微软和 Google 纷纷布局 AI Agent 市场,初创公司也在积极推出各种 AI Agent 产品。在安全领域,许多公司和组织正在引入或开发基于 LLM 的 Agent,以提升超自动化安全系统的效率。微软 Azure AI Agent Service 通过内置了的安全编排引擎,灵活调度不同行为分析策略检测异常行为并采取隔离措施,以防止潜在威胁。Google 使用 Gemini 打造能够自主理解、规划和执行任务的安全智能体,将复杂威胁检测的编写时间从几小时缩短至几秒钟,通过大幅提高调查速度、自动监控和响应来协助安全运营。尽管市场对 AI Agent 的热情高涨,用户能够真正依赖的 AI Agent 却寥寥无几。仔细观察这些所谓的“Agent”产品,会发现它们在输出精确性、任务理解和执行可靠性等方面存在明显不足。真正基于 LLM 的 Agent 需要将人工智能应用于迭代工作流中,使得 Agent能够在有限甚至无人工干预的情况下自主行动,以实现特定目标。这种高度自主性意味着 AIAgent 能够独立运行,但当前依赖于 LLM 的“黑盒”特性使得其不可预测性增加,同时多步骤工作流的连接也加剧了这一问题,尤其是在需要精确处理的安全