您的浏览器禁用了JavaScript(一种计算机语言,用以实现您与网页的交互),请解除该禁用,或者联系我们。[上海人工智能实验室&中国信通院&蚂蚁集团&IIFAA互联网可信认证联盟]:终端智能体安全(2025) - 发现报告

终端智能体安全(2025)

AI智能总结
查看更多
终端智能体安全(2025)

引言 在数字化、智能化加速融合发展的今天,终端智能体正在成为人工智能深度落地的核心载体与未来演进的必然趋向,其应用价值日益凸显。终端智能体作为深度融合AI技术、物联网、大数据等前沿技术的新一代智能实体,其核心价值在于构建了“感知-分析-决策-执行”的闭环智能决策链,拓展了人类认知与实践的深度与广度。目前,终端智能体已经在生活娱乐、医疗健康、工业制造、智能家居等垂直场景实现了纵深渗透与价值释放,正在成为驱动产业系统重塑、生活范式重构的核心引擎。 王迎春徐甲滕妍胡舒悦丛怡雯 然而,终端智能体在重塑人机关系的进程中,安全问题已成为不容忽视的关键制约因素。其广泛的连接性与复杂的技术架构使其面临着来自恶意攻击、数据泄露、越权操作、隐私侵犯、算法偏见等诸多维度的安全威胁。因此,强化终端智能体安全研究,构建全方位、多层次的安全防护体系,已成为保障相关产业安全、健康、可持续发展的当务之急。 廖运发果敢常永波牛晓芳袁琦彭莉田琛张宏星章舟 陈亮王维强万小飞沙泽阳吴炎曹思怡杨明洋孙博文乔智崔世文杨小芳孟昌华马绍青张璇朱丛罗清侯佳龙 围绕构建终端智能体全多维防护体系这一核心目标,本报告立足全景式呈现终端智能体安全领域的现状、挑战与发展趋势,其核心研究范畴包括终端智能体面临的风险与挑战分析、安全技术、安全生态建设、安全实践案例分析四个部分。通过聚焦终端智能体系统的不同层面以及不同应用场景下的安全需求,深入剖析各环节的安全风险与应对策略,旨在为业内提供全面且具针对性的、可参考的安全指引。 邵晓东郑亮吴思捷文军闫冬 杭州灵伴科技有限公司吉利汽车集团上海氦川科技有限公司 本报告由上海人工智能实验室、中国信通院、蚂蚁集团、IIFAA互联网可信认证联盟四家单位联合撰写。为确保研究的科学性与实用性,本报告综合运用文献研究、行业调研、技术分析和典型案例呈现等方式开展研究工作,分析终端智能体的实际安全痛点与需求,提炼可推广的安全技术策略与参考实践。本报告旨在为终端智能体安全领域提供系统性参考与前瞻性洞察,但鉴于技术演进与产业实践的发展性和动态性,报告中的观点难免存在疏漏与不足,诚挚欢迎各界专家学者批评指正。 目录 7.2智能座舱助手安全实践............................................................................................. - 63 -7.3智能体平台安全实践................................................................................................. - 66 - 一、 概述......................................................................................................................................- 1 - 8.1应用向深向实发展催生安全技术创新需求............................................................. - 69 -8.2生态共建助力终端智能体安全发展......................................................................... - 70 -8.3完善标准体系及强化测试认证将进一步筑牢终端智能体安全基石.....................- 71 -8.4政策精准发力引领产业驶入安全发展快车道......................................................... - 72 - 1.1终端智能体概念辨析................................................................................................... - 1 -1.2终端智能体发展概览................................................................................................... - 2 -1.3终端智能体安全挑战................................................................................................... - 4 -1.4终端智能体安全研究范畴........................................................................................... - 6 - 二、 终端智能体安全框架......................................................................................................... - 9 - 2.1总体框架........................................................................................................................- 9 -2.2终端智能体安全体系概述........................................................................................... - 9 - 三、 单智能体安全....................................................................................................................- 11 - 3.1行业现状......................................................................................................................- 11 -3.2安全风险分析..............................................................................................................- 11 -3.3安全技术......................................................................................................................- 16 - 4.1行业现状......................................................................................................................- 23 -4.2安全风险分析............................................................................................................. - 25 -4.3安全技术......................................................................................................................- 32 -4.4安全技术体系............................................................................................................. - 38 - 五、AI终端安全...................................................................................................................... - 43 - 5.1行业现状......................................................................................................................- 43 -5.2安全风险分析............................................................................................................. - 44 -5.3安全技术......................................................................................................................- 47 - 六、 终端智能体安全技术生态体系....................................................................................... - 49 - 6.1共建评测框架和资源体系......................................................................................... - 49 -6.2共建终端智能安全解决方案与服务平台................................................................. - 53 -6.3共建终端智能技术基准体系..................................................................................... - 56 - 七、 终端智能体安全实践....................................................................................................... - 60 - 7.1智能眼镜助手安全实践............................................................................................. - 60 - 一、 概述 1.1终端智能体概念辨析 YD/T 4929-2024《面向多智能体系统的计算平台技术要求》定义智能体(agent)是一个处于环境之中,可以感测环境并且执行相应的动作,同时逐渐建立自己的活动规划以应对未来可能感测到的环境变化的实体。《人工智能医疗器械质量要求和评价 第1部分:术语》(征求意见稿)定义人工智能体(Al agent)是能感知和响应其环境,并采取行动以实现其目标的自动化实体。《智能体技术和应用研究报告(2025年)》中将智能体定义为是一种能自主设定和实现目标的代理,其演进之路伴随着人工智能(AI)技术的持续发展,现在智能体的研究已扩展至多模态感知交互和自主学习,智能体的定义演化成了能感知环境、影响环境的实体。