语音技术与身份信息的隐私保护

语音技术与身份信息的隐私保护郑方清华大学语音和语言技术中心 在线身份认证及问题形简意丰的语音信号演讲大纲“声纹+”应用场景实践身份认证问题及解决方案2011/4/15，《网络空间可信身份国家战略》（NSTIC）2006，《2010泛欧洲eID管理框架路线图》FIDO系列规范使用生物特征识别技术取代“用户名/口令”2013年底，三所牵头制订30+项eID标准2016年，一所“网络可信身份认证服务平台” 在线身份认证及问题形简意丰的语音信号演讲大纲“声纹+”应用场景实践刷屏了的“网证”事件网络电子身份标识手机贴膜卡（SIMeID）｜图片来自：人民日报网友展示自己的微信身份证“网证”（网证CTID） 在线身份认证及问题形简意丰的语音信号演讲大纲“声纹+”应用场景实践生物特征是重要手段指纹人脸虹膜掌纹指静脉声纹签名步态/手势键盘敲击生理特征行为特征 在线身份认证及问题形简意丰的语音信号演讲大纲“声纹+”应用场景实践存在的问题（安全）——事件回放事件回放：盗刷28 万，某支付平台“人脸识别”现重大漏洞2018年1月17日，宜宾警方已将盗刷他人账户28万多元的周某、杨某抓获归案。“人脸识别”认证需要用手机摄像头对着操作者的正面静态照片，进行系统审核，但后面的活体检测事实是，所谓的“眨眼”、“摇头”、“张嘴”等动作，根本不需要证明你是你，只需证明你是“活的”即可！窃取照片照片打印手机确认活体检测（睁眼）活体检测（闭眼）利用他人照片、视频，即可对人脸识别系统轻易进行攻击 在线身份认证及问题形简意丰的语音信号演讲大纲“声纹+”应用场景实践CMU眼镜人工智能的方法可以帮助我们产生数据，可以产生真实数据（正样本），也可以产生虚假数据（负样本），这就给入侵和反入侵同时提供机会。——张钹院士Google“咖啡”（棒球）对抗性图像深度学习的局限只需采用一些传统方法，就可以轻易攻击某些基于AI安全手段的系统。人皮面具照片打印刷脸存在的安全问题举例动作生成 在线身份认证及问题形简意丰的语音信号演讲大纲“声纹+”应用场景实践存在的问题（隐私）——事件回放事件回放：2017年12月26日，网证近日，广州签发了全国首张微信身份证——“网证”。这个网证就是居民身份证网上功能凭证（CTID），通俗地说就是身份证的网络版。有了它，你就不用每天带着身份证满世界跑，遇到需要出示身份证的情况，只要掏出手机就可以了。 在线身份认证及问题形简意丰的语音信号演讲大纲“声纹+”应用场景实践安全问题——原因解析四大因素导致安全问题对抗性图像 在线身份认证及问题形简意丰的语音信号演讲大纲“声纹+”应用场景实践隐私丢失对安全的冲击采集传输存储使用不可撤销性丢脸即丢人非法再利用 在线身份认证及问题形简意丰的语音信号演讲大纲“声纹+”应用场景实践安全&隐私：孪生兄弟 在线身份认证及问题形简意丰的语音信号演讲大纲“声纹+”应用场景实践移动金融安全问题本质之一无监督身份认证有监督无监督 在线身份认证及问题形简意丰的语音信号演讲大纲“声纹+”应用场景实践无监督身份认证（USIA）的技术要求人证合一性不易伪造性意图真实性证据可溯性认证便宜性 在线身份认证及问题形简意丰的语音信号演讲大纲实践“声纹+”应用场景形简意丰的语音信号语种识别说的是什么语言？口音识别出生在哪儿？语音识别说了什么内容？性别识别男还是女？情感识别高兴？悲伤？恐惧？焦虑？声纹识别谁说的话？ 在线身份认证及问题形简意丰的语音信号演讲大纲实践“声纹+”应用场景言语在交互中传递多层信息Speech communication: Multi-layer mediumFujisaki& Mixdorff(2002) Laver: affective information 1992Roach: intention, VQ 1998Linblad1992 (paralinguistic only)•不易伪造性•证据可溯性•意图真实性•证据可溯性 在线身份认证及问题形简意丰的语音信号演讲大纲实践“声纹+”应用场景声纹识别的发展•以语音作为身份认证的手段，最早可追溯到17 世纪60 年代英国查尔斯一世之死的案件审判中。对说话人识别的研究始于20 世纪30 年代。•1945 年，Bell 实验室的L. G. Kesta等人借助肉眼观察，完成语谱图匹配，并首次提出了“声纹”的概念；且在1962 年第一次介绍了采用此方法进行说话人识别的可能性。•20 世纪70 年代，研究者发现语音信号既包含底层声学信息，又包含高层的韵律信息，对这些信息的分析和利用为声纹识别提供了理论基础和识别依据并促进了说话人识别的进步。 在线身份认证及问题形简意丰的语音信号演讲大纲实践“声纹+”应用场景声纹识别的发展 在线身份认证及问题形简意丰的语音信号演讲大纲实践“声纹+”应用场景语音处理的基础架构（特征提取）信号域频率域倒谱域 在线身份认证及问题形简意丰的语音信号演讲大纲实践“声纹+”应用场景语音处理的基础架构（模式识别）高斯混合模型基于GMM-UBM 的说话人识别系统语音特征通用背景模型 (UBM)通用背景模型 (UBM)目标说话人模型 (GMM)目标说话人模型 (GMM)自适应对数似然分>= 阈值>= 阈值-接受拒绝是否* 最近的JFA、i-vector等是基于来自GMM-UBM的超向量的。 在线身份认证及问题形简意丰的语音信号演讲大纲实践“声纹+”应用场景人证合一性——生物特征性能比较Fig. 4-8 DET curve for CESG studyState of the art biometrics excellence roadmap (p.4-12)Technology Assessment: Volume 1 (of 3), MITRE Technical Report, October 2008; v1.2 在线身份认证及问题形简意丰的语音信号演讲大纲实践“声纹+”应用场景不易伪造性——可“仅以软件”防攻击1动态密码语音（Who Spoke What）国家发明专利授权，专利号：ZL201310123555.0专利名称《基于动态密码语音的身份确认系统及方法（简称声密保）》 在线身份认证及问题形简意丰的语音信号演讲大纲实践“声纹+”应用场景不易伪造性——可“仅以软件”防攻击2录音重放检测国家发明专利授权，专利号：ZL201610007359.0专利名称《录音重放检测方法和装置》•正常语音信号：•录音重放信号：( ) ( )* ( )ytxtat=( ) ( )* ( )* ( )* ( )ytxtatdtat= 在线身份认证及问题形简意丰的语音信号演讲大纲实践“声纹+”应用场景不易伪造性——可“仅以软件”防攻击3用户自定义密码（三分技术、七分管理）国家发明专利授权，专利号：ZL201710053209.8专利名称《语音密码的认证方法及系统》012......9用户A用户B读法圈幺丫苟读法欧竖两尊 在线身份认证及问题形简意丰的语音信号演讲大纲实践“声纹+”应用场景不易伪造性——可“仅以软件”防攻击4多特征+多活体检测国家发明专利授权，专利号：ZL201510811908.5专利名称《基于声纹识别、人脸识别以及同步活体检测的身份认证方法及系统》 在线身份认证及问题形简意丰的语音信号演讲大纲实践“声纹+”应用场景意图真实性——可“仅以软件”检测•语音识别（如说出要求回应的内容）：以确定是否在无意识状态下被使用•情感识别（如恐惧检测）：以确定是否受到胁迫•语义理解（如明显有悖常理但对方又能轻易判断的特殊语句）：以确定是否传递不便明说的危险状态 在线身份认证及问题形简意丰的语音信号演讲大纲实践“声纹+”应用场景证据可溯性——可“仅以软件”追溯•语言信息（语音识别记录要求回应的随机内容）：含有时间/场景的烙印•非语言信息（提取年龄、健康、环境等信息）：含有辅助的时间/场景的烙印 在线身份认证及问题形简意丰的语音信号演讲大纲实践“声纹+”应用场景认证便宜性•便宜（pian2）：麦克风（传感器）：超低成本麦克风是手机的标配：0额外成本；传输带宽窄•便宜（bian4）：语言是人类交流最自然的方式人与麦克风无需接触跨平台无障碍 在线身份认证及问题形简意丰的语音信号演讲大纲实践“声纹+”应用场景常用生物特征的“五性”符合性* 图中离原点越远，表示符合性越强。 在线身份认证及问题形简意丰的语音信号演讲大纲实践“声纹+”应用场景更高安全、更低成本、更低隐私的“声纹+”结构 在线身份认证及问题形简意丰的语音信号演讲大纲实践“声纹+”应用场景“声纹+”是最好的方案语音信号的特点高精度高安全低隐私语音算法的优势低的成本（信号⌘计算）失声音不失身份 在线身份认证及问题形简意丰的语音信号演讲大纲实践“声纹+”应用场景系统登录/用户交易转账、支付、无卡取款、......【日交易限额从5万提高到50万】首年交易数1.5亿次，零投诉 在线身份认证及问题形简意丰的语音信号演讲大纲实践“声纹+”应用场景线上反欺诈拒绝声纹辨认声纹库黑名单单人多身份通过验证合法用户语音采集拒绝 在线身份认证及问题形简意丰的语音信号演讲大纲实践“声纹+”应用场景门禁和考勤 在线身份认证及问题形简意丰的语音信号演讲大纲实践“声纹+”应用场景一句话解决所有问题 在线身份认证及问题形简意丰的语音信号演讲大纲实践“声纹+”应用场景语音和语言技术中心(简称CSLT)1979清华大学1911得意音通2002清华大学—得意音通“产学研”实践清华大学技术支撑，知识产权入股。清华大学与得意音通共建声纹处理联合实验室。 在线身份认证及问题形简意丰的语音信号演讲大纲实践“声纹+”应用场景专利保护 在线身份认证及问题形简意丰的语音信号演讲大纲实践“声纹+”应用场景公安部负责国家颁布的所有声纹识别相关标准的制订工信部人民银行标准制订 在线身份认证及问题形简意丰的语音信号演讲大纲实践“声纹+”应用场景金融领域得到充分验证 在线身份认证及问题形简意丰的语音信号演讲大纲实践“声纹+”应用场景其他AI领域也逐步跟上 未来构想麦克风+无线传输模块 在线身份认证及问题形简意丰的语音信号演讲大纲实践“声纹+”应用场景声纹识别的发展经历了很长的市场时间 在线身份认证及问题形简意丰的语音信号演讲大纲实践“声纹+”应用场景构想已成现实，2018年是声纹元年市场时间 fzheng@tsinghua.edu.cnhttp://cslt.riit.tsinghua.edu.cnhttp://www.d-Ear.comhttp://www.c-smb.com