智能AI企业大数据中台建设方案

如何建立大数据深中台 共享共建 互联互通 面向业务 定位纵向业务 深入理解场景 快速打磨迭代 从大数据平台到大数据中台 01 业务驱动的大数据中台 02 03技术大数据中台建立参考模式与思考 什么是大数据 大数据通常具有“4v"（Volume，Variety，Velocity，Value）特征一一大数据时代 大数据平台的起源一ExceI是小数据量最好分析工具 所见即所得。产品使用方便，人员易上手支持各种定制化展示支持简单的数据挖掘业务部门容易使用 无招胜有招 多少金融模型来自于Excel 原——集美貌与智慧一身的“SQL Server”大数据平台的起源 大数据平台的起源一一集美貌与智慧一身的“SQL Server” 一个软件覆盖了这个阶段数据处理的所有功能支持各种数据源的集成支持ETL调度·支持报表展示·支持OLAP数据量在几亿条之内（每天50万，一年1.5亿），查询效率0K，如果扩展cluster，支持更好。小数据分析神器Excel，完美结合，扩展了数据挖掘，展现等功能缺点：数据量大以后，效率跟不上 大数据平台的起源一一传统数据仓库+日志分析工具 日增500万，年度过5亿以内，2-4个人，暂时还没有人力搭建hadoop 大数据平台的建立一一开源平台的引入与数据治理的加强 大数据平台的建立——中流砥柱—一Apache Kafka/ApacheHadoop/ApacheHive ·鲁棒性硬件兼容性数据处理稳定性 ，每个系统大数据存储，都绕不开 ·缺点：慢！ 大数据平台的建立一贵族的开源一一一Greenplum&ApacheHAWQ MPP架构，查询速度很快！大数据量SQL查询，除了Teradata，商业化使用最多稳定性强 GPDB目前使用最多，HAWQ支持HDFS是未来 ·缺点：吃硬件，万兆、多SAS盘、服务器很贵.. 大数据平台的建立一一数据量增加、实时计算的引入导致全面开源化 大数据平台的建立一一内存计算的翘楚Apache Spark 目前最火的大数据开源项目华人贡献占52%·大数据下数据挖掘必选项SparkR·即使使用磁盘，执行效率优于Hive几倍·支持数据流，Spark SQL.. 研究生大数据必修课 ：缺点：如果达到很高效，硬件要支持·数据量比较大，节点比较多，对Scala要求比较高 大数据平台的建立一一OLAP的利器-—Apache Kylin 解决了大数据多维度查询速度慢，多维查询数据返回不及时的问题 ·开源MOLAP利器Apache金牌项目·源自Ebay内部大数据·利用Hbase，加速可以加速Hbase目前腾讯、美团都有在使用，经过实际使用检验 中国人自己的开源项目！ 缺点：预计算时间比较长 大数据平台的建立一一开源ETL调度工具ApacheDolphinScheduler 项目定义:一个分布式易扩展的可视化 DAG工作流任务调度系统 中国人xx开源的项目！ 被Apache接受成为ApacheDolphinScheduler 一开源ETL调度工具ApacheDolphinScheduler大数据平台的建立一 从大数据平台到大数据中台的转变一一大数据平台的痛点 大数据项目启动难 大数据平台建设周期长，成本高人员互联网运营经验不足 大数据项目效果体现难 大数据如何解决互联网运营问题大数据系统建设结果是更多的BI报表大数据建设ROI无法衡量 大数据项目执行难 数据源纷繁复杂原有的系统多部门协调沟通数据治理问题 从大数据平台到数据中台是一次从技术到业务的飞跃 数据人员都是后台人员？·让业务还给业务，提高的业务效率实时数据分析、人工智能、增强智能...数据治理，在业务端，而不是技术端梳理让业务人员、数据科学家直接看到反馈，而不是传统的软件加工方式 如何建立大数据深中台 共享共建 互联互通 面向业务 定位纵向业务 拥抱开源 深入理解场景 快速打磨迭代 从大数据平台到大数据中台 01 业务驱动的大数据中台 02 03技术大数据中台建立参考模式与思考 互联网+环境下，流程驱动企业向数据驱动企业转型 数字化产品全生命周期的四大视角驱动用户增长 银行面临困境-零售业务增长需要突围 行业发展：传统手段难以维系商业银行进一步的显著增长客户脱媒：银行正在失去同顾客的接触机会，因为人们转向非银行渠道/资源，如在互金平台在线借款通道化：银行提供的众多产品服务正在被肢解，如存款和支付解除绑定，银行沦为一个通道去中心化：随着更高的价格透明度和商品相似性导致银行产品和服务再也不是客户的唯一选择用户行为演变：从数字化渠道获取金融服务已成主流，趋势银行做出调整，适应用户需求 提升用户体验，是零售业务突围的核心 XX认为，银行全面提升用户体验需要从以下四个举措入手： 提升用户体验，是零售业务突围的核心 XX认为，银行全面提升用户体验需要从以下四个举措入手： 设定清晰的目标，并整体跟踪检视 琴零售业务经营目标需要进行拆解，制定围绕经营目标的用户体验量体系 零售业务核心经营目标：存款规模、VIP客户数量及中间业务收入用户体验与零售业务核心经营目标紧密相关，需要引起管理层、总行及各分支行的重视，并基于此形成统一认知和行动计划 与银行经营指标联系起来的用户体验指标/北极星指标例如，银行理财产品收入=银行理财用户MAU（月度活跃用户规模）*银行用户AUM（资产管理规模） 影响北极星指标的全生命旅程，而非某一个触点例如 日常产品运营的客观动作管理指标，能够下钻到每个触点以及每个营销运营事件例如， "818”理财节活动获得多少新增用户，激活多少存量用户等等 设计指标体系需要结果、过程及同业对标并重 零售业务成长公式=客户基础X交叉销售率X交易金额大小X交叉销售频次 基于上述银行零售业务成长公式，需要设计一套完整的指标体系，其中需要考量： 结果导向类指标 同业对标指标 过程管理类指标 需要同比同业银行关键指标的差异，并有针对性地分析及制定竞争策略》对于股份制银行及国有银行，需要关注异业潜在的对标对象；对于城商行，不仅需要对比同等规模、同省份城商行，还需要对比股份制和国有银行在区域化的关键指标 包括各个关键举措的量化行动目标，包括获客、获客以及粘客等各个关键环节的转化目标及行动测量 全行零售业务AUM目标，以及用户规模、交易金额等指标 对于国有银行及股份制银行，还应将目标进一步细化分解，并且明确细分到分支行乃至个人，比如总行和各区域完成一定数量的用户增长及AUM增长目标等 数据看板是实现有效过程管理的重要抓手 为了实现有效的过程管理，需要基于相关指标及目标值设计仪表盘，用以针对目标整体完成情况进行追踪与检视。银行管理者通过仪表盘，可以快速直观地了解各类目标的完成情况，从而把握全行的增长状况，进行业绩对话。银行各个业务线及分支行也能够实时了解基于经营目标的动态过程，便于形成下一步行动计划。 总行-管理层 总行-网络金融 总行-网络金融/市场团队 北极星指标周度成长曲线及距离目标的差距同业对比差距变化获客进展及距离目标的差异活客进展及主要营销活动表现粘客（交叉销售）进展及漏斗转化 北极星指标周度成长曲线及距离目标的差距对北极星指标贡献最好和最差的TOP分行，以及各个分行距离目标的差距同业对比差距变化 北极星指标周度成长曲线及距离目标的差距获客进展及距离目标的差异主要营销活动表现渠道分析相关数据分析 分行-网络金融团队 支行团队 总行-网络金融/运营团队 分行北极星指标周度成长曲线及距离目标的差距对北极星指标贡献最好和最差的TOP支行，以及各个支行距离目标的差距主要营销及运营活动表现 北极星指标周度成长曲线及距离目标的差距主要营销及运营活动表现重点运营活动及漏斗转化分析用户分群产品体验及转化分析 支行北极星指标周度成长曲线及距离目标的差距主要营销及运营活动表现所属VIP客户线上浏览数据分析及运营策略建议 提升用户体验，是零售业务突围的核心 XX认为，银行全面提升用户体验需要从以下四个举措入手： 建立与目标配套的组织和管理机制-全渠道统一规划 建立与目标配套的组织和管理机制-生态创新机制 全景用户画像，全面把握用户潜在需求，为创新夯实基础 制定产品创新策略，数据量化考核，形成内部赛马机制 提升用户体验，是零售业务突围的核心 XX认为，银行全面提升用户体验需要从以下四个举措入手： 用户分层的精细化管理 大部分银行在进行用户群体细分时，仅简单地根据资产规模将用户划分3-5个群体（第一方数据），未能进一步地进行战术层面的用户细分，更谈不上如何基于用户需求和画像出发（第一方数据&外部数据），针对不同产品、服务、渠道、营销活动和执行时机进行更个性化的用户触达 根据用户资产管理规模（AUM）和资产提升潜力，制定不同的用户战略及服务模式 定义银行及金融用户的生命周期 明确基于用户生命周期的阶段性目标 制定每个阶段的运营策略 选择合适的度量指标-优化管理渠道 选择合适的度量指标-优化上手体验&服务投资用户 选择合适的度量指标-优化上手体验&服务投资用户 数据分析在银行用户生命旅程中发挥不同作用 提升用户体验，是零售业务突围的核心 XX认为，银行全面提升用户体验需要从以下四个举措入手： 建立用户数据中台，统一用户数据规范，实时分析支撑数据应用 银行大数据应用面临问题： 业务分析与监控；2、银行的数据，包括用户相关数据存储在不同的系统中，无法轻易地给出便捷、统一的用户视角，因此无法开展有效的业务行动和自标闭环反馈；3、用户数据采集、分析和应用安全合规愈发严格；4、降低系统重复建设，如何将用户大数据有机融合到相关核心系统，并进行扩展挖掘与应用 建设大数据中台一一把业务还给业务，技术只定义最基本的原子口径 大数据项目启动难 大数据平台建设周期长，成本高人员互联网运营经验不足 大数据项目效果体现难 大数据如何解决互联网运营问题大数据系统建设结果是更多的BI报表大数据建设ROI无法衡量 大数据项目执行难 数据源纷繁复杂原有的系统多部门协调沟通数据治理问题 如何建立大数据深中台 共享共建 互联互通 面向业务 定位纵向业务 拥抱开源 深入理解场景 快速打磨迭代 从大数据平台到大数据中台 01 业务驱动的大数据中台 02 03技术大数据中台建立参考模式与思考 Paas = 中台么？ Paas :PlatformAs aService-一从技术属性来区分的，可以是中台PaaS，后台PaaS，前台PaaS中台：从业务属性划分，可以有中台SaaS（例如SalesforceMarketingandCommerceCloud）中台PaaS，驱动前台系统、人员、高效运转的业务组件 大数据中台模式大中台模式和深中台模式 BAT中台模式，更广泛的数据中台 阿里大数据中台大数据广中台模式 不同的数据河，支撑起企业内部数据水生态 数据河中流尚着是单一数据模型，数据产生直接实时流向使用者 一Lambda架构传统大数据架构下的挑战 Kappa架构传统大数据架构的挑战 边缘计算下的大数据和AI架构一IOTA架构 XXXX-用户数据中台举例 私有化部署支持用户账号跨端打通支持实时复杂计算和下钻分析·支持二次开发在数据产生时规整原子口径业务口径交还给业务人员 用户大数据深中台的第一步数天内用户数据采集、计算、展示、分析一步到位 XXXX将用户大数据采集建立的过程从数月降到数天，同时保持扩展可以顺畅与企业大数据平台、数据仓库进行实时数据对接或者ETL批量数据对接。*安装私有化部署只需数分钟到1小时（Docker化），数据埋点回传3-7天，首次用户增长方案3-7天，用户成功多轮测试选代 XX用户数据中台设计历程架构选型 ·设计目标·PAAS&SAAS架构无差异·自动化部署·组件开源，秒算自研部分逐步开