金智塔“智隐”平台架构设计与公共数据落地实践

演讲人：巫锡斌金智塔首席架构师 01总体介绍 演讲内容 •金智塔“智隐”平台的架构设计选择•互联互通系统设计与实践经验•隐私计算在公共数据授权运营中的应用 公司简介 “智隐”平台发展历程 互联互通 “智隐”4.0发布，加强互联互通支持，打破计算孤岛探索隐私计算前沿技术，密码学、信息论、硬件加速等多种技术的融合应用 规模应用 商业落地 技术验证 “智隐”1.0发布，具备多方安全计算和联邦学习两大技术能力平台技术验证，试点部署，在实际场景中基本达到可用 概念兴起 以国家重点研发项目为契机，金智塔开启隐私计算平台自主研发之路 “智隐”平台总体概览 隐私计算特点 数据可用不可见 融合密码学、可信硬件、信息论等技术，数据在密态交换、计算，保证数据可用不可见 计算可信可链接 计算过程经过严格的校验、密码学理论证明，保证算法过程可信、可互通 用途可控可计量 数据提供方计算贡献度衡量，区块链存证、审计，保证数据合法、合规使用 权威评测 典型客户 •通过中国信通院功能、性能、安全性评测；•通过国家金融科技评测中心认证、通过华为云兼容性评测•通过公安部三级等保评测 •浙商银行、宁波银行、浙江农商联合银行……•**省大数据局、**省统计局、**市发改局……•**家电集团、**手机集团…… 02架构设计 “智隐”平台设计思考 工业级的隐私计算平台有哪些设计目标？ “智隐”平台总体架构 “智隐”平台部署架构 设计选择1：中⼼化vs去中⼼化 中心化 去中心化 优点：单一边缘计算集群，资源统一调度跨机构任务编排简单缺点：数源节点无法同时加入到多个调度节点调度节点容易成为单点瓶颈 去中心架构，数据方、算法方、计算方可快速接入，与数据网络已有节点建立链接数据网络中的节点可以任意组群进行隐私计算作业，一个节点可以加入多个群组物理链路无法直接连通的节点可以通过中间节点进行一跳或多跳路由跳转 设计选择2：分布式计算 分布式计算方案 •使用Ray作为分布式计算引擎，算法自动进行单机、多机并行计算•基于k8s namespace实现多租户资源隔离与配额，包括CPU、内存、磁盘•每个租户一个独立的Ray集群，kuberayautoscaler实现弹性扩缩容•使用Minio作为内置分布式对象存储 设计选择3：资源协同调度 两阶段GangScheduling调度算法1.任务发起方向各个参与方提交资源保留(Reserved)请求；若某一方 资源不足，回滚保留资源（或等待超时释放），任务放回调度队列2.任务发起方向各个参与方提交任务，锁定(Locked)资源，执行任务 *任务队列暂时支持FIFO调度策略，未来我们将探索更优策略，提高任务吞吐率 设计选择4：统一域名寻址 统一域名寻址 •域名：{service}.{namespace}.svc•节点内、节点间通信统一通过域名进行服务寻址 优点：•跨机构网络打平，屏蔽复杂的物理链路 网络•点对点通信，避免消息队列带来的额外开销•网关国密SM2/SM4信道加密，应用透明无感 设计选择5：自底向上实现 设计选择6：联合SQL 设计选择6：联合SQL 03互联互通 ⾏业现状 单个机构在对接多个合作方机构时，用户不得不部署多套产品分别实现对接，重复建设带来巨大的成本和资源浪费。 实现难点 行业需求 多方数据融合增本降效 数据流通基础设施 实现方案 ③原语互通 第一层次为平台互通，指不同的隐私计算平台可以在业务应用层次完成系统的管理功能互通。 第三层次为原语互通，指不同的隐私计算平台将各自的算法组件在算法流程上实现对齐。 第二层次为算法互通，指不同的隐私计算平台将各自的算法组件集成到对方的隐私计算平台，进行同构化的算法插件之间的互联互通。 最小粒度底层实现技术难度最大组件白盒 节点认证节点发现资源管理资源授权 组件黑盒组件插拔组件注册 实现⽬标 跨平台互联互通强调协同，既需要求同存异（节点互联、资源互联、计算互联），又需要保证各隐私计算平台的独立性、完整性和安全性 架构设计 招⾏“慧点”平台互通实践 方案特点 采用对等网络形态，平台与平台之间通信通过配置文件实现异构平台节点互联互通，对内部的计算与调度分发各自实现。跨平台的互联互通，各平台实现相同的功能，所承担的角色，地位平等，相互调用。 招⾏“慧点”平台互通实践节点互联 招⾏“慧点”平台互通实践 04落地实践 公共数据授权运营政策 公共数据授权运营概览 两种加⼯模式 集中式加工 隐私计算加工 多源数据集中至授权运营平台租户空间进行统一加工 数据不出域，通过隐私计算技术进行联合计算 数据加⼯流程 案例1：隐私计算赋能小微科创企业授信 案例2：隐私计算赋能受限公共数据安全共享 省税务局、银保监局、省电力公司等利用平台隐私计算服务，采用“数据不出域、可用不可见”方式，共享纳税、代发工资、企业用电等敏感数据，在确保个人数据和信息安全前提下，支撑“共同富裕群体监测”、“稳就业和参保扩面”、“中小企业经营现状分析”等应用场景。 —THANKS—