大模型下的多模态智能风控落地实践

王小东新希望金科AI中心总经理 2024.08.17 大纲 1大模型下金融风控面临的新问题和挑战 2大模型下金融风控破局之道 3基于大模型的多模态智能风控解决方案 4基于大模型的多模态智能风控应用案例 5总结与未来展望 现有风控存在的问题 1、欺诈手段层出不穷 2、团伙作案更加难以发现 ⚫黑产/中介攻击手段升级，如：不同设备，不同联系人，不同场所等。⚫短时内呈现同GPS下身份证背景/人像背景/人脸/声纹等的高度聚集。 ⚫中介代接听，代理维权。⚫AB贷。⚫反催收。 3、模型性能出现瓶颈 4、AI欺诈手段日益高明 ⚫AI换脸/换声。⚫数字人。⚫视频生成。⚫电子头。⚫高保真面具。 ⚫模型KS提升有限。⚫入模特征主要依赖结构化数据。⚫建模方法传统。 金融信贷核心面临的新型AI风控问题 高逼真的生成式AI技术：实时AI换脸+头发分割+换衣+换背景绕过摄像头采集，注入视频流实施攻击，深度伪装人的声音/图像/语言/视频，算法精度高，处理速度快，配合屏幕打光和高清显示屏等。除了人脸，还有身份证生成，房屋照片生成，各类贷款产品需要的材料生成造假等。 1 智能对话能力：利用ASR识别客户说了什么，利用LLM语言大模型，实时和用户实现智能对话，准确理解意图和生成回复内容，利用TTS实时合成生成内容读给客户听。 2 语音生成能力：以语音大模型为基座，基于5秒/更长语音训练个人音色，并使用声音克隆技术复刻个人音色。支持将文本转换成富有感染力和真实性的语音，支持情绪，语调的声音合成技术，使信息传达更加生动有力。 3 身份证风控案例 身份证风控案例 人像风控案例 AI换脸、换声、视频生成、数字人等AI攻击案例 生成式大模型引起的新型金融风险挑战总结 生成类容逼真度高 生成内容丰富 造假成本低 ⚫AI换脸以假乱真。⚫AI换声模拟声音真假难辨。⚫AI换头发模拟发型。⚫AI试衣模拟穿着。⚫AI换背景模拟环境。⚫…… ⚫生成式AI技术出现前合成视频，合成人像等需要在淘宝、京东等电商平台或黑产平台花几十上百元，生成式AI技术出现后0成本。 ⚫生成式AI出现前需要专业的PS人才，视频编辑人才等才可以批量生成伪冒身份材料，生成式AI出现后只需要会提示工程/简单微调/使用AI工具便可以完成。 ⚫身份证类型可生成几十种类型。⚫人像可生成几十种类型。⚫声音可生成几十种。⚫其他金融领域证件材料都可多样化生成。⚫…… 大纲 1大模型下金融风控面临的新问题和挑战 2大模型下金融风控破局之道 3基于大模型的多模态智能风控解决方案 4基于大模型的多模态智能风控应用案例 大模型+MaaS+RTC是否可行？ 大模型不只是生成式AI Visual GLM/Qwen VL等 不同点 相同点 ⚫生成式大模型是大模型中的一种，主要进行文本，视频，图像的生成。⚫生成式大模型生成的内容不可控，不精准很难在金融风控中应用。⚫非生成式大模型，以概率输出的大模型可在金融领域参与策略决策和应用。 ⚫参数量上10B的模型。⚫模型都可以对结构化非结构化数据进行高维参数表达，达到可计算。⚫基本都是基于Transformer这种架构的不同网络结构变种设计和构造。 大模型解决风控技术方案 方案1生成式：对话问答生成标签实现方案1不公开 大模型+小样本微调快速开发成为风控破解之道 痛点 大模型解决 ⚫正负样本积累至少1W+。⚫写不同神经网络代码构建模型，模型不通用。⚫模型开发周期长，模型区分能力弱精度不高。⚫模型推理代码，模型建模代码不规范不统一，难以维护。 ⚫正负样本100+。⚫模型主干网络统一，Head层不同。⚫模型开发周期短，半天内开发一个模型。⚫模型推理，建模代码统一。 MaaS平台成为模型快速上线之道 ⚫模型资源丰富，主流Huggingface，Modelscope，PaddleHub等模型平台集成。⚫基础模型丰富，如VGG，Resnet等。⚫模型开发快，可视化开发微调。 ⚫模型原子服务快速编排新模型服务。⚫模型原子接口可视化、配置化组装大接口。⚫大小模型接口协同。 ⚫模型Docker虚拟化自动部署。⚫模型部署流程一键快捷部署。⚫模型开箱应用真实化测试。⚫模型测试结果可视化。 ⚫模型可共享。⚫服务可监控。⚫模型可回退。 视频流+大/小模型成为风控破解之道 ⚫视频流技术目前主要应用在视频通话，视频双录等金融业务中。⚫AI高逼真造假识别，基于单帧RGB图像很难识别。⚫基于多帧视频流建模，识别人像中上下帧差异，证件被编辑，眼球反光，边框，摩尔纹等细节特征完成真假甄别。⚫基于大模型+小样本微调+MaaS平台快速开发小模型，配合视频流技术提升风控能力。 大纲 1大模型下金融风控面临的新问题和挑战 2大模型下金融风控破局之道 3基于大模型的多模态智能风控解决方案 4基于大模型的多模态智能风控应用案例 5总结与未来展望 视觉风控基座大模型研发：数据准备 Augmented Curated Data ⚫用视觉经典网络计算图像Embedding，使用Kmeans聚类，从人像、身份证、房屋、流水、结婚证、经营场所等未标注数据中检索出与精心整理过的数据集中存在相似度很高的那部分样本。最后，给定一个查询图像，从查询图像所在的聚类中检索出N个最相似的图像用于网络训练。 ⚫在数据去重和图像检索阶段，依赖Milvus等向量数据库进行高效近N个Embeddings计算。 视觉风控基座大模型研发：模型训练 此处不公开 视觉风控基座大模型：子模型微调框架 ⚫将自主研发的视觉风控基础大模型，并将视觉大模型xx1，xx2等集成在平台里，同时集成Resnet50，Alex，Vgg，MobileNet，Yolo，GoogleNet，DenseNet，ShuffleNet等主流图像分类和检测小模型。 ⚫基于算法模型识别时样本量，精度，模型推理资源等要求，用户可以选择不同的视觉基础模型，基于模型微调完成图像子任务的开发，并能以概率的方式输出模型结果。 视觉风控大模型+微调生产子模型 指令微调 视觉风控大模型+微调提升风控能力 语音风控大模型+微调提升风控能力 ⚫语音大模型的模型思路和视觉一样，差异在于先将语音转成频谱图后，再利用视觉建模能力。 大模型+微调开发子模型实践 大模型不是万能的 ⚫大模型网络层次较深，眼部感受野在浅层网络可识别，深层网络就容易被忽视。⚫脸上半部和整个人脸基于大模型微调都会过拟合，基础模型学习的全局图像特征不适合小物体。 ⚫基于人脸检测后，取脸上半部使用Alexnet，VGG等网络特征做微调，识别效果可用于生产。 子模型编排模型接口 ⚫研发的模型原子接口有时候没法直接用于生产，比如人脸比对模型容易受光照，姿态，表情，脸部遮挡的影响，只有脸部符合一定要求人脸比对才有效。⚫模型编排提供可视化拖拉拽的能力，基于原子模型组装模型接口。 MaaS平台在线IDE开发部署 ⚫模型开发部署后需要对输 入、格式化输出、模型异常、业务逻辑等进行代码加工，基于MaaS平台提供的IDE快速实现模型上线。⚫模型在线IDE在线部署模型业务逻辑，不需要基于Docker虚拟化部署，Docker虚拟化只部署基础原子模型。 MaaS模型集市 ⚫原子模型、经过加工后带有业务逻辑的模型、经过多个子模型编排的模型都可以形成模型集市，方便查看模型，方便共享等。⚫支持图像、语音、文本等AI领域的模型。 视频流+AI模型风险防控技术方案 视频流+AI模型风险防控：以AI换脸为例 某大厂人脸比对 ⚫只看单张图如果脸部没有被编辑，头发和脸部缝合不好等异常是很难发现AI换脸。⚫利用视频流+AI大模型+小模型可很好地发现AI换脸。⚫呈现类攻击(需要借助屏幕介质播放)：借助屏幕翻拍+摩尔纹+边框+多帧流建模+眼球+背景+单帧AI换脸算法+时域+空域+时序等识别。⚫注入类攻击(劫持摄像头实时篡改)：看不到屏幕信息，能看到实时的换脸视频流，利用多帧流建模+单帧脸部AI换脸算法检测+眼球变化+背景+时域+空域+时序等，集成多次模型结果识别是否存在视频流AI换脸。 音视频AI平台一站式验证风控模型 大纲 1大模型下金融风控面临的新问题和挑战 2大模型下金融风控破局之道 3基于大模型的多模态智能风控解决方案 4基于大模型的多模态智能风控应用案例 5总结与未来展望 基于大模型的视频流AI风控演示 基于大模型的多模态关系图谱落地案例 基于大模型的金融图像识别引擎落地案例 基于大模型的微表情识别落地案例 基于大模型的房抵通落地案例 基于大模型的语音场景落地案例 基于大模型的OCR场景落地案例 基于大模型的身份防伪场景落地案例 基于大模型的身份防伪场景落地案例 多层级欺诈识别 1 ⚫根据用户欺诈层次的不同动态调用不同的活体识别方式完成认证。活体一次性通过率高、体验好、秒级识别，攻击难度大，支持在线、离线两大模式，API+SDK灵活组合，覆盖APP、H5、小程序等多种使用场景。 多模态身份防伪 2 ⚫提出了一种基于眼球+人脸+声纹+图像深度分析的多模态活体检测算法，解决了单模态容易被攻击的问题，增加了活体被攻击的难度，保障了业务安全。 深度图像分析 3 ⚫提出了针对活体检测后的大头照进行深度防伪的算法方案，识别是否存在AI换脸，T型眼镜，电子头，人皮面具等新型攻击，从而进行攻击拦截。 身份防伪分 4 ⚫提出了针对活体大头照识别信用分，欺诈分，合规分，中介分的解决方案，解决了目前主流活体只验活，无法识别图像背后存在的信用风险，中介风险，合规风险和欺诈风险。 基于大模型的身份防伪场景落地案例 基于大模型的视频双录场景落地案例 ⚫虚拟人智能双录既然是无人化，就必须用各种音视频算法保证用户是真人，不存在欺诈，用户意愿真实。此处不公开 基于大模型的视频双录场景落地案例 大纲 1大模型下金融风控面临的新问题和挑战 2大模型下金融风控破局之道 3基于大模型的多模态智能风控解决方案 4基于大模型的多模态智能风控应用案例 5总结与未来展望 大模型下多模态智能风控技术总结 造假成本低 生成内容逼真 生成内容丰富 ⚫AIGC+大模型降低了仿冒他人身份的门槛，降低了成本，为黑灰产攻击提供了新型手段，同时逼真度也进一步提升达到以假乱真。⚫AIGC应用层出不穷，数字人，AI换脸，AI换声，视频生成等APP和应用到处可见，少量的试用不要钱。 ⚫AI换脸+换声+换背景+换头发+换衣服+ASR+TTS相结合，可高逼真的模拟人对话，做活体，做双录等，欺诈方式和真实性防不胜防。⚫AI算法不断演进，后续只会更加成熟和更加逼真。 ⚫借助大模型和AIGC以及模型微调技术，可生成各种虚假照片，包括身份证，人脸，房屋，结婚证，房产证等，每类图像的造假都高达好几十种，每个子任务都开发模型，模型数量多，开发周期长，负样本量也不够开发模型。 多模态风控大模型下一步研发方案 ⚫身份证背景相似性，人像背景相似性，声纹相似性，双录微表情相似性，文本相似性等多模态信息关联性计算，融入结构化的GPS，手机号等实体，构建多模态关系网络挖掘欺黑产，中介团伙。 ⚫结合非结构化多模态数据和结构化，端到端风控，剔除流水化的策略，优化发现风险再去做模型，让模型具有一定泛化能力。 ⚫目前都是视觉风控和语音风控分开建模，失去了很多高维特征，下一步研究直接对音视频建模识别欺诈。 讲者微信