数据中台在数据化转型中的应用与实践
数据中台在数据化转型中的应用与实践张荣杰2023.05.26www.islide.cc 数据中台在零售行业中应用场景1数据中台基座与技术方案2数据实践之数据治理实践3数据驱动业务之指标中台应用4目录 数据中台在零售行业中应用场景：零售数字化转型“五化”用户数字化卓越运营亲近客户基础设施数字化产品与生产数字化供应链数字化运营与渠道数字化产品领先 数据中台在零售行业中应用场景：数据中台在数据化转型业务中的应用IaaS云主机云硬盘对象存储私有网络NAT网关门店主机...零售商业服务能力数据板块：全域数据中台，零售数据赋能海外通用能力AI风控域安全域中台系统底座基础架构平台业务中台B-PaaS技术中台T-PaaS支付交易...数据中台D-PaaS用户中台C-PaaS用户接入商品财务会员权益数据基础数据应用大数据平台数据资产忠诚度体系统一平台履约商家供应商营销门店...智能研发系统供应商协同平台销售预测国内自动补货门店运营数字化智能供应链商业操作系统内核引擎全渠道增长海外智能订货平台加盟商订货财务人资数字化仓储物流系统质量风控平台留人创收优品小程序付费会员用户体验升级预售组合套装IP文创门店引流私域变现第三方O2O国内供应商总部门店消费者人群圈选精准营销事件营销效果评估会员画像线上运营数据反哺 数据中台在零售行业中应用场景1数据中台基座与技术方案2数据实践之数据治理实践3数据驱动业务之指标中台应用4目录 数据中台基座与技术方案：数据中台业务架构全量/非实时接入（Sqooq)增量/实时接入(DataStream/Flink)分布式文件系统（HDFS/Kudu)分布式数据库（HBase/ElasticSearch)数据存储内存计算（Spark)离线计算(Hive)交互式计算(Impala)实时计算(Flink)计算引擎自助分析(Analysis)数据开发（OnlineDev)任务运维(DataOps)数据管理(DAMA)数据管理大数据开发套件(IDE)用户标签平台供应链算法平台大数据计算平台自助分析平台报表可视化数据质量平台平台应用数据营销系统商品质量监控个性化推荐安全与审计舆情系统新品研发系统业务应用营销运营分析供应链财务......业务支持云存储弹性计算网络云数据库CDN缓存基础层平台层应用层大数据基础设施(IaaS) 数据中台基座与技术方案：数据中台技术产品架构大数据计算平台（TopdataStudio)HadoopHiveHBaseElasticSearchImpalaZooKeeperKudu大数据集群HadoopHiveHBaseElasticSearchImpalaZooKeeperKudu大数据集群服务发现（Nacos）服务容错(Sentinel)调用监控(Sleuth)服务发现（Eureka）服务网关（Gateway）消息驱动（RabbitMQ）微服务组件DataXLinkisDataHubDolphinSchedulerWeDataSphereQualitis大数据组件组件(Components)数据服务(Dataway)数据总线(Databus)数据门户(DataPortal)自助分析(Workbench)文件服务(DataFS)数据治理(DataFS)数据可视化(Presentation)产品(MicroService) 数据中台基座与技术方案：数据中台技术实现架构数据门户(Portal)数据治理(DataHub)KylinFGS数据协作(CoWork)KylinBCP计算调度(TopData)数据总线(DataBus)自助查询(WorkBench)数据文件(DataFs)数据网关(Dataway)运维监控(DataOps)告警通知(DataAlert)用户管理(UserAdmin)KylinBDP标签平台(TDP)KylinCDP多算大屏(Dashboard)KylinDIA数据产品（Product)基础库(Base)云原生(Cloud)统一鉴权(SSO)KylinCommon应用网关(Gateway)应用调度(Jobs)应用监控(Monitor)KylinService框架（Framework）HadoopHiveHBaseElasticSearchImpalaZooKeeperKudu大数据集群（Pedestal）SparkFlinkYarnDataxLinkisDataHubXXL-Job组件(Component)JavaScalaPython环境(Environment)运行时（Runtime）用户触达营销管理DXP平台(Digital Experience Platform)报表平台(Presentation) 数据中台在零售行业中应用场景1数据中台基座与技术方案2数据实践之数据治理实践3数据驱动业务自助分析之指标中台应用4目录 数据实践之数据治理实践2300TB历史数据，10000任务，2.5TB日增数据，3000报表表生命周期管理：共下线表73.1T。报表/看板下线：下线报表/自助分析2106个，任务下线460个，任务调度调整800+个。源头：规范建模 数据实践之数据治理实践：系统总览 数据实践之数据治理实践：技术产品与团队管理主题域配置分配配置数据字典表设计规则数据规划指标字典时间周期管理修饰词管理衍生词管理指标系统标准目录码表管理标准设计数仓建模数据库逆向数据分层关系建模规范建模数据架构师/数据产品模型工程师数据架构师需求分析师业务分析师技术产品组织角色 数据实践之数据治理实践：要点最终落地之关键：数据源打通 数据中台在零售行业中应用场景1数据中台基座与技术方案2数据实践之数据治理实践3数据驱动业务之指标中台应用4目录 现有营销以「人」为核心的全域营销CDP：通过搜集企业所有渠道历史用户交易/行为数据，通过One-id整合客户画像，灵活配置营销渠道，形成转化闭环•差异化营销难：单一平台客户信息有限，画像不完整•渠道数据割裂：因品牌/平台等不同，客户数据分散在各处•营销任务配置复杂：不同渠道任务配置会有不同平台需要操作•营销效果难保证：营销成本上升，尤其是公域模块•One-ID：以客户为核心，打通品牌/平台，构建完整客户画像•营销渠道整合：企微、公众号、短信、抖音、支付宝等数据及渠道整合•营销工具升级：统一现有多平台至同一入口，围绕画像洞察、营销画布、营销日历等全面升级现有营销工具•数据跟踪闭环：全域营销从洞察投放到回收分析形成闭环，营销可视化指标中台应用：将现有营销转为全域营销 业务报表经营分析主动营销精准推荐用户体系用户运营运营数据大屏数据接口服务流量平台接入其他业务监控其他企业数据体系商品数据体系内容数据体系用户/会员数据体系数据萃取中心埋点数据体系基础元数据主题元数据应用元数据数据指标定义数据异常监控元数据报表元数据API数据体系数据规范数据服务用户域商品域订单域财务域分销域活动域内容域行为域第三方平台外部数据公共数据中心营销域自营平台业务运营中台用户运营中台数据应用中台基于标签系统的运营数据体系数据基座数据中台业务中台基于标签系统的运营数据体系指标中台应用：TDP技术方案 指标中台应用：标签开发平台 指标中台应用：重构指标中台再思考 结束：Q&A汇聚数据降低数据使用成本数据支撑业务洞察数据驱动业务智能
