DataFunSummit2023 - 快手大数据安全治理实践

倪顺快手大数据管理平台负责人 倪顺 快⼿⼤数据管理平台负责⼈ 主要负责⼤数据管理平台研发 主要关注数据安全和质量、元数据平台、⼤数据资源管理、数据化运营等技术领域 关于快手 愿景 日活用户3.66亿月活用户6.4亿日均使用时长133.9分钟 关于快手大数据平台 使命 提升数据决策效率，利⽤数据助⼒业绩提升 职责 通过⼤数据技术，对公司数据统⼀采集、存储、加⼯和挖掘形成⾼质量全域数据资产，以分析决策产品和服务的⽅式对外提供数据解决⽅案 目录Contents 成果和规划 平台建设 背景介绍 治理实践 •平台定位•面临的挑战以及建设思路 •成果总结•未来规划 •数据分类分级•数据引擎安全•敏感数据保护 •发展历程•系统架构•关键技术 01背景介绍 快⼿⼤数据安全⾯临的挑战快⼿⼤数据安全建设思路快⼿⼤数据安全平台定位 快手大数据安全平台定位 快手大数据安全面临的挑战 数据精细化管控 u⽀持报表、数据集、指标、维度、库、表、⾏、列、⽂件等多种异构资源的权限控制u对数据的读、写等操作进⾏细粒度权限控制u满⾜多租户体系的数据隔离和权限管控 业务灵活多变 性能要求高 快手大数据安全建设思路 02平台建设 发展历程 系统架构 关键技术 发展历程 建设思路 系统架构 统一化和插件化 p统一服务：提供通用的认证、鉴权、查询、审计等服务p统一计算：鉴权和规则计算p统一接入：资源通过元数据总线统一接入p统一存储：提供缓存管理、缓存数据加载及版本管理等p引擎组件插件：满足各个引擎自身特点，比如高QPS、低延时等 系统保障 p高可用保障：提供监控告警、降级容错、预案演练、限流等一些列措施，保障系统的高可用p高性能保障：多级缓存等 关键技术–认证体系 挑战 p轻量级：对现有接入系统入侵最小，对性能和稳定性影响小，原理简单具有良好的可解释性p本地化：能够很好的与快手特有的生产组织管理体系相结合，相辅相成p易衍化：能够很好的满足快手发展需求，尤其是大集群、国际化等 方案 p账号类型 p类型：个人、项目组、代理账号p表示：使用principal表示p格式：principal_name/type@realm p令牌类型：支持AccessToken、DelegateToken、DegradeToken 关键技术–权限模型 关键技术–统一鉴权 nAuthEngine：鉴权引擎，负责鉴权模型的计算和策略规则的计算nPolicyRefresher：负责策略的增量和全量的拉取nCacheManager：负责鉴权服务本地缓存的管理，包括缓存的读写以及定时持久化到本地磁盘nDataLoader：负责从数据库加载策略相关的数据，并且根据路由策略查询不同的一组从库，做到存储的隔离 关键技术–全链路审计日志 03治理实践 数据引擎安全数据分类分级敏感数据保护 数据分类分级–背景介绍 快手数据分类分级标准 数据分类分级–解决方案 元数据采集 p统一采集：全链路资产的元信息统一上报到元数据中心p统一存储：元数据及血缘信息统一存储至图数据库中 自动数据识别 p血缘链路传播：表/字段血缘继承p检测算法：校验算法Luhn等p规则模板：正则/关键字，内置50+个人敏感信息的识别规则模板 资产大盘分析 p资产信息：可以从个人、组织、部门三个视角查看不同级别资产的分布p分类信息：展示资产各个分类的数量p访问情况：高频访问资产的分类分级分布 数据引擎安全–问题及挑战 挑战 管理规范 1.组织管理体系不清晰，账号体系未建设2.资产归属不清晰，无法定义资产的安全管理角色3.没有多租户的权限管理规范 安全能力 1.身份认证能力缺失，没有安全审计及溯源能力2.没有权限控制，用户可查询任意数据，安全风险巨大3.数据引擎鉴权对平台的性能和稳定性要求高 运营治理 1.引擎的查询无法定位到真实访问用户，导致推动用户改造困难2.各使用方平台领域知识复杂，导致沟通协作困难3.用户需求多样，需要支持灵活多样的灰度和降级策略 数据引擎安全–解决方案 规范 p账号体系：提供个人账号、生产账号和代理账号三种类型p管理角色：安全接口人、租户管理员、项目组管理员和权限负责人四种角色p权限隔离：租户之间权限隔离；租户的权限由归属和申请两种获权方式工具 p产品能力：SQL类引擎行列级权限；租户体系的多种管控模式p鉴权模型：HDFS及之上的其它引擎分层独立进行访问控制p安全元信息：具有血缘关系的资产，安全元信息联动p鉴权plugin：通用的鉴权插件，提升鉴权计算性能 治理 p头部平台：头部平台用户进行重点沟通p长尾运营：采用多种运营渠道触达用户p灰度封禁：丰富灵活的封禁策略 敏感数据保护–问题及挑战 敏感数据保护–解决方案 规范 p国内外高敏感信息：根据国内外法律法规梳理高敏感个人信息p国内外脱敏规范：定义各类敏感数据的脱敏方式和要求 工具 p数据识别：高敏感数据识别、文件/字段级加密、脱敏p数据保护：字段级权限控制、严格的审批流程、安全隔离仓、精细管控模式p数据检测：代码检测、数据内容扫描、下载监控p数据响应：数据泄露应急预案、全链路异常监控告警及溯源 治理 p存量治理：上下游链路生产任务改造优化、存量及增量数据重刷p增量治理：日常敏感数据识别、治理跟进、工具沉淀 04成果和规划 成果总结 未来规划 成果总结 未来规划 —THANKS— 感谢您的观看