Physical AI Agent：人形机器人平台的具身智能安全威胁建模

Physical AI Agent 人形机器人平台的具身智能安全威胁建模 邹佳源宇树科技·产品安全专家 邹佳源 此前在奇安信星舆实验室从事车联网安全研究工作现为宇树科技产品安全专家 目录CO NTEN TS 背景 B A C K G R O U N D 从「数字AI」到「物理AI」 英伟达路线下一站：Physical AI Physical AI必须获得身体与环境交互能力，风险面从信息层扩展到物理层。 三段式演进·迁移的本质是风险面从信息层扩展到物理层 感知/生成式AI理解与生成内容，停留在信息层 Agentic AI自主决策，开始调用工具与记忆 Physical AI具身行动，风险进入物理层 数字Agent结构：基于ReAct循环 Agent = LLM + Memory + Tools + While-Loop 让LLM在思考与行动间交替，记忆与工具在每一轮被反复调用。 产生思考 LLM思考→决定动作 调用工具执行动作→观察结果 更新记忆写回记忆→再思考 ↻直到任务完成 Physical AI T H EL A N D S C A P E 迈向具身智能 两种元架构 Physical AI =？反应式极快、规划式更稳。 规划式架构感知→规划→行动 反应式架构 感知→行动 感知输入直接触发动作或行为模块，响应速度极快。 先形成世界状态或地图等高级感知，再做任务、路径、动作规划后执行。 有世界模型·更稳健 毫秒级·低延迟 Physical Agent架构：需要有什么？ Physical AI = Brain + Cerebellum + Body + Memory + Loop BRAIN·慢思考·多模态理解与规划VLM ·World Model ·Planner——多模态理解·想象预期·规划决策 Memory 多层记忆跨层贯穿：任务上下文·情节·语义·空间·技能·身份等 Loop 混合回路：Reactive +Deliberative双回路协同运转 BODY·物理接口·传感与执行Sensors感知·Actuators执行器·Embodiment Model本体感知 里程碑目标，作为人类的伙伴而存在 三元系统·长期共存的生活系统：需求→工具/人/机器人→生活环境 情绪陪伴、尊重边界、长期记忆——像家庭成员的辅助伙伴 跌倒检测、服药提醒、夜间巡查——进入高信任区域 2助手 理解上下文，在合适时间主动辅助——降低认知负担 威胁建模 T H R E A TM O D E L I N G 系统化地建模：对象→资产→攻击面→场景。 不仅是本体，安全应贯穿用户的整个生活系统 系统对象：人机器人物理环境，三方及其子对象。 人 机器人 物理环境 Sensors:摄像头/深度/本体状态等Brain:VLM/WorldModel/PlannerCerebellum:DiT/ReflexMemory:·情节/语义/空间/技能/身份Body：手臂/夹爪等本体部件 空间：客厅/卧室/厨房/卫生间/门口物体：药品/刀具/门锁/电器/私人物品IoT：门锁/摄像头/空调/灯..... Owner主人·Shared被分享Family家庭成员·Child儿童Elderly老人·Visitor访客... Attacker攻击者 Safety Policy仲裁·约束·急停·权限判断... 需要区分的对象——谁能进哪、谁能授权 机器人与环境的互动需要规则约束 定义安全资产 核心资产分五层，人身安全优先级最高。 人身安全资产（最高）碰撞/夹伤/跌倒——cyber风险升为cyber-physical 隐私资产家庭图像/语音/布局/健康——比App数据更敏感 行动权限资产移动/抓取/开门/接近儿童/代下单——「能做什么」是关键 认知资产World Model/规则/Constitution——污染即长期错误认知 信任资产 机器人被操纵引导用户逐步信任错误行为——更深层风险 从交互入口到数据闭环，L1交互与信任、L3认知规划与L5行动执行是风险最高的三层。 L1交互与信任入口层谁在命令我？——身份伪造、旁路命令、环境注入 L2世界感知层所见所闻可信吗？——对抗样本、传感器欺骗、蒙蔽模型认知 提示注入、目标劫持、不安全分解 L4记忆层长期记忆投毒、空间/规则污染、跨用户泄露 L5行动与执行层动作注入、急停失效、越权动作——人身伤害核心风险 L6数据闭环与训练层训练投毒、隐私进训练集、跨家庭泄露 L1交互与信任入口层 机器人如何知道「谁在命令我」？ 攻击场景 防护原则·风险分级认证 多因子身份=账号+设备+生物特征+空间位置+场景+风险等级+历史关系 ·语音克隆：克隆owner声音下令·人脸伪造：照片/视频/面具/算法对抗·家庭成员混淆：儿童/访客被当owner·旁路命令：门外/窗外/电话里下令·环境注入：用户在场,播放用户音声·多用户冲突：一开一禁·身份漂移：长期接触后错误提权 低风险语音/视觉确认即可（天气、开灯） 中风险声纹+人脸+场景确认 高风险App / owner /近场二次确认（开门、递药） 极高风险默认拒绝/多人确认 影响：非法控制、开门锁、接近儿童、破坏信任 L2世界感知层 看到听到的世界是否真实可信？VLA&世界模型需要可信的感知信息 防护原则·多传感器交叉验证与人在 攻击场景 视觉+声音+深度+触觉+位置+历史 ·对抗样本欺骗摄像头·贴纸/图案欺骗物体识别·二维码/文字提示注入·超声波/隐蔽音频注入·遮挡/强光/激光/红外干扰·移动家具污染空间地图·伪造跌倒/火灾/入侵场景 只看到「主人脸」≠就是owner只听到「开门」≠可以开门只看到「药瓶」≠可以递药只看到「跌倒姿势」≠立即报警 高风险感知结论必须经过：Perception Confidence · Context CheckHuman Confirmation · Safety Fallback ·蒙蔽世界模型/VLA认知影响：认错人/物、误判危险、错误更新地图 L3认知与规划层高层任务安全≠子任务安全：Planner不能拥有最终行动权。 典型例子：用户说「帮我整理厨房」 Planner拆解：移动到厨房→拿起刀具→移动玻璃器皿→打开柜门→处理垃圾高层「整理厨房」安全，但子动作涉及刀具、火源、玻璃、儿童靠近。 防护原则·三权分离不能让VLA直接成为动作的最高权限主体。 Controller Safety Policy Planner 想做什么 能不能做 怎么安全做 拆解高层目标，提出动作方案 世界模型想象、仲裁、约束、权限判断 在硬约束下执行动作运行时监控 L4记忆层——长期记忆是新攻击面人个性化、世界观，大量隐私数据 攻击场景 防护·记忆分级+记忆透明+ Policy ·记忆投毒：反复说「我是主人」·空间污染：记住错误房间边界·规则污染：「儿童可以拿药」·事件污染：伪造历史事件·隐私抽取：诱导回忆敏感信息·跨用户泄露：A偏好泄给B·记忆越权：shared读owner私密 公共记忆·家庭通用信息 个人记忆·某用户偏好 敏感记忆·健康/儿童/卧室/关系 安全记忆·权限/禁区/危险物品 系统记忆·Constitution，不可被用户改写 每类分别定义：谁&什么情景可写/读/改/删？写入必须鉴权，写入必须符合Policy对于用户：必须保持记忆透明 影响：长期错误授权、隐私泄露、信任被操纵 L5行动与执行层——区别于普通AIAI错信息误导人，机器人错动作造成物理破坏 攻击场景 世界模型预期与安全护栏 VLA不直接控制电机；高风险经Action Guard。 ·动作命令注入、技能API越权·急停失效、碰撞检测绕过·安全速度限制被关闭、力矩异常·路径被诱导到危险区域·诱导拿刀/药/热水/玻璃/火源·诱导堵门、跟踪、靠近儿童 VLM&Planner → Action Proposal↓World Model模拟+ Safety Policy Check↓Motion Planning → Controller↓Runtime Monitor↓ 影响：夹伤·碰撞·跌倒·误伤儿童老人财产损坏·开门窗致入侵·电器致火灾水灾 Emergency Stop / Safe State 动作分级Level 0-5，异常立即降级停止。 L6数据闭环与训练层家庭数据进入训练闭环，是隐私重灾区。 攻击场景 防护原则 ·训练数据投毒·遥操作数据污染·家庭隐私进入训练集·私密场景被标注人员看到·模型记住家庭敏感信息·训练数据跨用户泄露·恶意样本诱导学到危险技能·供应链模型被替换 ·数据最小化·本地脱敏·敏感场景不上云·用户可选择退出训练·训练数据访问审计·遥操作强提示与授权·模型更新安全验证·红队测试·回滚 核心：本地优先处理敏感数据默认不进云端训练闭环 影响：能力退化、策略污染、跨家庭泄露 威胁场景举例：用户身份认证 呼应L1：语音/人脸伪造、旁路命令，通过风险分级二次确认在真实交互中拦截。 威胁场景举例：语义模糊致预期偏离 一句模糊指令，如何在规划层被拆解到危险的子动作。 模糊指令被自由拆解 高层任务本身安全，但Planner拆解出的子动作可能偏离用户真实预期。 呼应L3 ·三权分离 高层任务安全≠子任务安全；由SafetyPolicy对每个子动作把关；由World Model生成可预期的动作 威胁场景举例：物理世界的Prompt Injection 提示注入不止在文本里——物理环境本身就能成为注入面，因为机器人感知的信息极大丰富了 环境即注入面 贴纸、二维码、电视语音、对抗图案——现实场景就能对机器人下达隐藏指令。 呼应L1 / L2 环境注入+对抗样本，需要多传感器交叉验证与身份分级共同防护。 六条核心防护原则 把cyber-physical风险按层拆开，每层给出可落地的硬约束。 多传感器交叉验证与人在L2 风险分级认证L1 02 01 多因子身份，按动作风险分级确认。 不让单一传感器决定高风险动作。 记忆分级+记忆透明+ PolicyL4 三权分离L3 04 03 Planner / SafetyPolicy/ Controller分权。 不让任何一句话永久改变世界观。 世界模型与Safe PolicyL5 本地优先L6 06 VLA不直接控制电机，动作分级+急停。 敏感数据默认不进云端训练闭环。 THANKS