虚拟人格的安全边界——AI数字人生态攻防

演讲者：张嘉琦联想全球安全实验室 目录 一．当虚拟照进现实二．数字人生态架构与攻击面三．典型攻击向量深度解析四．数字人合规风险五．核心防御策略 About me From:联想全球安全实验室，Security Test Team，Lead of AI Security 1、擅长多模态大模型漏洞挖掘，专注终端AI产品安全，AI攻防能力验证与防御实践 2、研发AI工具，AI漏洞自动化测试平台、AI代码审计工具、多智能体挖洞工具 3、多年移动端黑灰产对抗实战和逆向经验 研究成果：AI产品合规要求指引白皮书、GenAI产品安全Checklist、MCP Security Checklist、端侧LLM外置内容安全围栏、Git项目PiScanner、提示词注入自迭代系统、参与TC260等多个国标/团标的起草和修订，多个CNVD/CVE，CAISP，集团SVP级荣誉，AI安全标准参编证书 当虚拟照进现实 为什么需要重视数字人安全？ 智能化成熟度增长 数字人产业爆发式增长 模糊的权利边界 复杂的攻击表面 新的信任锚点 技术栈复杂(AI/NLP/CV)，攻击向量多维且隐蔽，单点漏洞即可致系统性崩溃。 虚拟人格作为新的信任载体，被劫持后可用于欺诈或操纵舆论，后果严重。 资产归属与行为权责模糊，Deepfake技术带来身份伪造等严峻风险挑战。 数字人生态架构与攻击面 数字人生态技术架构 生态应用场景 带货直播 数字讲解员 AI虚拟试穿 AI伴侣 元宇宙 AI游戏 数字人生态威胁全景图 应用与交付 基础设施 编排与服务 AI核心引擎 前端应用 感知与认知 计算资源 业务逻辑与网关 XSS/CSRF代码注入 提示词注入模型后门 云AK/SK泄露虚拟机逃逸 API未授权SSRF 业务逻辑漏洞网关配置错误 挖矿病毒物理安全 RAG知识污染ASR对抗攻击 依赖库漏洞 业务逻辑漏洞 服务调度与治理 生成与表现 数据存储 管理后台 弱口令/爆破未授权访问 容器逃逸K8s配置不当 SQL注入数据库弱口令 Deepfake声音克隆 中间件漏洞服务间未授权 内容投毒对抗性攻击 接口暴露 权限提升 训练服务编排安全 内容与安全 外部资源 流媒体传输 信令劫持DDoS攻击 供应链攻击开源组件漏洞 模型窃取拒绝服务 恶意媒体解析配置参数篡改 训练数据污染资源抢占攻击 协议漏洞 依赖库漏洞水印篡改 媒体流篡改 典型攻击向量深度解析 3-1数字人直播业务逻辑攻击（利用越狱注入） 案例1:提示词注入操纵电商API 当数字人具备商品弹卡/优惠发放等API权限时，攻击者通过语义混淆构造对抗性指令，诱导模型绕过权限校验机制，越权执行高危操作： •恶意发放高额优惠券•篡改商品展示信息•伪造用户订单操作 此类攻击利用模型指令解析缺陷，将对话系统转化为业务系统攻击入口，造成资金欺诈与运营事故。 案例2:弹幕DDoS拒绝服务攻击 攻击者操控海量无效弹幕，使数字人陷入无效交互，无法正常执行品牌商产品介绍等核心交互任务，影响直播体验与订单转化效率。 案例3:商家敏感信息泄露 攻击者通过构造特定提示词，诱导数字人模型从知识库或上下文记忆中泄露优惠策略、库存数据、用户订单等敏感信息，造成商业机密外泄与用户隐私风险。 案例4:内容污染攻击 攻击者通过构造特定输入或诱导记忆更新，操控数字人生成错误信息或负面评价，使其输出偏离真实意图，损害品牌形象并误导用户决策。 常见形式包括知识污染（如错误价格）与语义操控（如贬低品牌），严重损害品牌信任与用户感知。 案例4:内容污染攻击 风险： •数字人口播不合规用户名•多轮对话使价格/优惠券规则被短期篡改•夸奖竞品，贬低自家商品•口播直播间商品负面信息 攻击本质： 攻击者通过构造具有语义诱导性的提示词，结合数字人模型对上下文记忆、对话历史、用户身份标签及交互意图的理解机制，使其输出偏离事实、误导用户判断、损害品牌声誉。 3-2TTS语义伪装绕过 攻击者通过构造语义不等价但语音表征相同的同义词序列，绕过内容审核机制，在数字人语音输出中实现歧视性、误导性或竞争性信息的隐式植入，达成内容投毒与社会工程学攻击目的。 3-3数字人生成平台攻击向量 3-3数字人生成平台攻击向量 攻击链路:媒体文件解析漏洞 数字人合规风险 合规风险—身份伪造(DeepFake) 深度伪造（Deepfake）技术可生成高度逼真的明星数字人，攻击者可利用其进行虚假代言、虚假带货、甚至金融诈骗，对消费者信任与品牌安全构成重大威胁。危害堪比AI换脸风险的升级版。 合规风险—AI标识 当前数字人生成内容缺乏统一的AI标识规范，导致用户无法识别其真实性，也使平台在面对侵权、欺诈等事件时缺乏有效追责机制。 思考：核心防御策略 1.AI模型与数据安全(核心资产) 供应链严筛防污染，模型数据加密护防，输入数据净化过滤，运行环境隔离控险。 2.内容安全与合规(防范盗用和滥用)内容实时审控防风险，生成AI生成内容标识，资产溯源可追责。 3.应用与服务安全(交互层面) 接口严认证控权限，保障交互隐私，定期扫描修复漏洞。 4.基础架构与运维安全 实施严格网络隔离策略，尤其是数字形象训练环境，实施系统加固，异常监控告警。