DataFunSummit2023 - 快手大数据安全治理实践

快手大数据管理平台安全建设与实践

背景介绍

• 快手平台概况：日活用户3.66亿，月活用户6.4亿，日均使用时长133.9分钟
• 大数据平台使命：提升数据决策效率，利用数据助力业绩提升
• 平台职责：通过大数据技术统一采集、存储、加工和挖掘数据，形成高质量全域数据资产，以分析决策产品和服务的对外数据解决方案
• 面临挑战：数据精细化管控需求、业务灵活多变、高性能要求

平台建设

• 建设思路：统一化和插件化，包括统一服务、统一计算、统一接入、统一存储和引擎组件插件
• 系统保障：高可用保障（监控告警、降级容错等）和高性能保障（多级缓存等）
• 关键技术：
  • 认证体系：轻量级、本地化、易衍化，支持账号类型（个人、项目组、代理账号）和令牌类型（AccessToken、DelegateToken、DegradeToken）
  • 权限模型：支持报表、数据集、指标等多异构资源权限控制，满足多租户体系数据隔离
  • 统一鉴权：包含鉴权引擎（AuthEngine）、策略拉取（PolicyRefresher）、缓存管理（CacheManager）和数据库加载（DataLoader）
  • 全链路审计日志：记录数据访问和操作行为

治理实践

• 数据分类分级：
  • 标准：梳理国内外高敏感个人信息，定义脱敏方式和要求
  • 解决方案：元数据采集（全链路资产上报至元数据中心）、自动数据识别（血缘链路传播、检测算法、规则模板）和资产大盘分析（个人、组织、部门视角查看资产分布）
• 数据引擎安全：
  • 问题及挑战：管理规范（组织体系不清晰、资产归属不明确）、安全能力（身份认证缺失、权限控制不足）、运营治理（查询定位困难、领域知识复杂）
  • 解决方案：规范（账号体系、管理角色、权限隔离）、工具（SQL引擎行列级权限、租户管控模式、鉴权模型、安全元信息、鉴权插件）、治理（头部平台沟通、长尾运营、灰度封禁）
• 敏感数据保护：
  • 问题及挑战：敏感数据识别、保护、检测和响应需求
  • 解决方案：规范（国内外高敏感信息梳理、脱敏规范）、工具（数据识别、数据保护、数据检测、数据响应）、治理（存量治理、增量治理）

成果和规划

• 成果总结：通过统一化平台建设、精细化治理实践，提升数据安全管控能力
• 未来规划：持续优化平台性能和功能，加强数据安全治理体系