大数据基础平台建设方法

大数据建设目的及建设方式 大数据方案解读 产品运行效果展示 信息化建设障碍 企业内部的各种应用系统相互独立，企业应用系统没有统一的入口，一名员工拥有多个账户 个人业务相关信息缺乏集中展现的地方，员工需要不断在各种系统之间频繁切换 企业中的基础数据和主要数据有在不同的系统中都是重复，混乱的，没有统一的入口 企业无法快速，准确的获取下属企业的信息，并对下属企业进行有效管理 大数据管理 大数据：指系统间共享数据（例如，客户、供应商、物资和组织部门相关数据），与记录业务活动，波动较大的交易数据相比，大数据（也称基准数据）变化缓慢要点：唯一性、共享属性、运营属性、管理流程、变更流程、质量检查、数据清理 大数据管理所解决的问题 一物一码同一个对象（人、物、单位等）在不同系统中的统一标识 核心信息的权威化专门的维护点、审核点创建流程、变更流程的记录 扩展信息的完善管理机制 企业规范的合法化为IT部门进行整合提供技术基础 大数据管理的实质 大数据建设目的及建设方式 大数据方案解读 产品运行效果展示 大数据标准解决方案组成 编码规则企业服务规范数据清理方案接入系统改造方案管哪些东西，都是什么样子的东西都有谁要用这些数据，怎么用以前遗留下的数据怎么按编码规则迁移过来要用这些数据的人怎么样才能拿到想要的东西 第一部分编码规范 管理对象的定义方式 基于各信息系统信息处理的需要，以减少对信息的重复采集、加工和存储为目的，进行管理对象的选择。 最直接特征：需要在多个系统中出现管理者与使用者分离 常见需要大数据管理的对象有 组织机构、人员、用户客商、物料（货品）项目等关联型业务数据其它用户所需要管理的核心数据 编码体系 常用编码形式分类码、顺序码、组合码 单维度分类码与多维度复合编码 编码体系差异及选择 编码体系构成 编码、属性 属性包括：唯一性、共享分类 属性填写要求 第二部分企业服务规范 企业服务规范的内容 大数据平台提供各类服务（查询、申报、变更等）触发各类事件（审核完成、数据调整等）使用大数据管理对象的系统=接入业务系统 影响因素：是否存在需要进行主观判断的填写标准。对于大数据管理平台与接入业务系统之间进行数据交换方式的规定，就是企业服务规范 制定企业服务规范的步骤 分析系统数据交换形式及流程 根据分析结果确定服务及事件清单 综合编码规范确定服务及事件的输入输出内容 场景样例1 某集团，下属200多家分子公司，其中包括子集团集团总公司对于子公司无法全权控制，系统形态较多，信息化供应商情况复杂集团在进行整体BI分析，部分企业直接通过ETL挖掘数据，部分企业使用手工上报平台进行上报分子公司多业态，业务开展相对独立。业务系统偏重点不同。集团设置质量部负责货品以及客商的有效性集团设置运营部负责货品及客商统计维度类别划分 特征分析 分子公司存在异构系统，不可统一 允许分子公司直接增加数据 分子公司增加的数据需要集团进行核准 集团对于数据的核准不能影响分子公司业务的开展 常见数据交换形式1：多点维护、统一认证 常见数据交换形式1：多点维护、统一认证 数据交换形式1数据流程分析 场景样例2 某集团，下属20家分公司，10余家控股子公司 集团总公司对于分公司完全集中控制，管理系统均为统一采购，生产系统独立采购 企业所有人员由人力部门统一管理客商、存货数据由生产、营销部门进行录入，信息部门进行审核 特征分析 整个集团中，同一功能使用相同系统 人员信息在单一HR系统中进行维护，数据的增加由集团统一完成 客商、货品信息在大数据平台中维护，需要多级审批，数据的增加可由下级单位进行 在数据没有通过审核时，不允许使用 常见数据交换形式2：统一维护、多点使用 制定企业服务规范的步骤 分析系统数据交换形式及流程 根据分析结果确定服务及事件清单 综合编码规范确定服务及事件的输入输出内容 样例服务列表 常见服务种类查询全量、增量申报启动审批流程直接加入数据变更启动审批流程直接修改数据封存启动审批流程直接修改数据常见事件种类推送申报、变更、封存 制定企业服务规范的步骤 分析系统数据交换形式及流程 根据分析结果确定服务及事件清单 综合编码规范确定服务及事件的输入输出内容 样例服务定义 服务标识 PT_C_003 服务名称 获取指定类别客商数据（GetCustByTypeSrv）服务描述 获取指定类别客商数据。与PT_C_002配合使用获取批量数据时使用。 根据客商类别，返回对应类别的客商数据。采用分页形式进行获取，调用方根据通过PT_C_002服务获取的客商数量，确定调用本服务的次数。为防止一次性传输数据量过大，本服务内置限定一个对于返回数据集合的数量限制。现约定此限制为1000。根据输入的不同客商类别，返回所对应的客商数据格式，具体格式见客商数据描述。 输入 输出 第三部分数据清理方案 数据清理方案 对于原始数据的处理 由于数据规则改变导致的修改对于不符合规范数据的清理对于重复记录的清理药品数据量 原始数据数据量及清理方式一般采用线下工具完成使用Excel作为数据采集工具 对于重复记录的处理 适用于：期初数据清理，日常使用中的数据合并 1、建立专用区域存放被清理数据2、在被清理数据上标明被合并目标对象3、被清理数据保留一定时间可通过生存周期统计确定保留时间。 第四部分接入系统改造 接入系统改造方案 数据库改造档案改造属性对照关系处理用户信息改造系统功能改造历史数据处理新增数据处理反馈信息处理数据推送模式主动查询模式 接入系统档案改造建议 业务档案数据对象(运营大数据,系统共享数据) 大数据部署模式 独立部署模式独立中间件独立数据库所有系统均通过服务与管理平台对接模块部署模式作为NC模块部署共享NC基本档案数据 大数据建设目的及建设方式 大数据方案解读 产品运行效果展示 系统运行效果演示 大数据管理平台 数据初始化服务数据日常申报服务数据查询服务数据管理服务数据推送服务 大数据服务总线 发布方式数据发布格式 接入业务系统Demo 数据无缝提交数据推送 大数据管理平台 数据服务总线 接入系统 谢谢！