德邦快递数据治理实战之路
德邦数据治理之路分享主讲人：慕德兴德邦大数据研发中心负责人 德邦快递简介数字化基础软件自主创新分享周崔氏货运19964个人8平米南航老干1998空运合大票涉足汽运2001成立汽运专线卡车航班2004空运速度汽运价格总部东迁2009大力发展长三角零担龙头2010直营模式覆盖全国2018登陆资本市场更名德邦快递快递上线201311月11日Ø经过20余年发展，德邦成为覆盖快递、快运、整车、仓储与供应链、跨境等多元业务的综合性物流供应商 德邦快递简介数字化基础软件自主创新分享周产品介绍0330601000公斤段标准快递特准快件大件快递360特惠精准汽运精准卡航精准空运快递大件快递零担（快运）整车运输整车运输收入350亿+车辆1.2万台+线路1.3万条+人员15万+分拨场地200万平+ 数字化基础软件自主创新分享周CONTE解决方案及效果分析3大数据应用痛点2德邦数据治理之路1NTS 01德邦数据治理之路数字化基础软件自主创新分享周 德邦数据治理之路数字化基础软件自主创新分享周2013数据治理建议建立统一指标管理树2016建立元数据管理平台进行元数据管理2016主数据治理项目一期2021主数据治理项目二期2022建立数据管理流程与网易数帆平台协同推动治理落地2021数据治理体系建设绩效指标数治理 02数据应用痛点数字化基础软件自主创新分享周 数据应用痛点——需求阶段数字化基础软件自主创新分享周问题一：不知去哪找数案例：业务通过智能服务台反馈：系统部分功能上线后仅配置给专业部门，一线部门不知道存在可以利用的系统数据，只能申请“临时数据工作流”Ø业务部门不清楚系统中已经存在哪些指标，也不清楚去哪里找数，只能根据自身业务需要提出指标需求。 数据应用痛点——数据打架数字化基础软件自主创新分享周问题二：跨部门指标不透明案例：空运指标“时效件收入”包含部分“国际收入”,但不知道线上已存在国际收入，又设计同样业务含义的指标，造成口径冲突。Ø各部门之间数据打架，互相之间口径不一致，导致管理低效，高层无法准确决策。职能部门1从运单中筛选订单来源为跨境业务系统、邮政小包系统作为基础明细计算。依据开单部门和到达网点进行判断是否属于跨境收入职能部门2 数据应用痛点——设计阶段数字化基础软件自主创新分享周数据需求CRM系统报表管理责任划分明细报表：1、筛选当日上报类型为“投诉”且业务模式为“快递”的工单；2、剔除”投诉内容“中含“反计”和“反记”字样的工单剔除”反计类型“中含“反计”字样的工单剔除”处理语言“中含“反计”和“反记”字样的工单；3、剔除”投诉内容“中含“【来源：国家运管局投诉】”、“【来源：国家邮政局平台投诉】”以及【来源：线下国家邮政局平台投诉】字样的工单；4、......模型库表信息指标设计有现成的么？表结构啥样？设计结果还是重新做一个吧Ø指标开发人员不清楚系统中现有哪些应用或数仓模型、不清楚模型的计算口径、不敢用，只能竖井式开发，导致效率不高且造成数据口径冲突。 数据应用痛点——开发及上线后数字化基础软件自主创新分享周源系统数据质量不高补丁兜底问题背景：同一个车牌号，在资产管理系统和业务系统都存在，既是自有车，也是外请车，导致成本取数重复。数据错误原因：①流程问题：公司车购买初期录入外请车，后期转录公司车，未在系统中删除历史数据。Ø源系统数据质量不高导致数据分析错误，增加补丁程序，反复刷数及数据验证，用数效率低。补丁方式单独计算自有车分摊成本登记在EAM车辆表-自有车按类型单独统计，存在数据重合部分单独计算外请车分摊成本运输任务表被标记外请-外请车/自有车同一车牌有两种车辆性质成本取数重复排查问题根因 数据应用痛点——开发及上线后数字化基础软件自主创新分享周单号DPK331****单号物理删除数据导致营业部收入为负Ø源系统数据变更但未充分进行影响分析，导致指标数据错误，通过刷数进行修复，用数效率低。原因分析数据物理删除前未对数据的有效状态进行变更，并且BI未接收到数据删除通知，导致被删除数据在BI数据库中仍为有效。解决方案①BI重新同步明细数据，并对收入数据进行数据回刷②订单运单中台研发部制定逻辑删除规则，避免物理删除情况DPK331013883716客户下订单为子母件，包含3.9万元代收营业部订单激活错误，激活成单件后无法修改订单运单中台研发部将错误数据进行物理删除营业部用此单号重新开单时无代收货款营业部当日收入出现负数下订单营业部操作失误数据删除重新开单收入数据异常p事件经过： 数据应用问题总结数字化基础软件自主创新分享周现状数据问题流程未固化数据不共享数据无责任人数据人工处理风险高源数据不准确数据口径不一致业务系统模型设计不遵循概念逻辑等规范，打补丁多数据流程不清晰，指导不明确2019年1月撤销地级莱芜市，辖区划归济南市。但公司的行政区域一直没有改，影响一线走货该找谁维护？各个管理部门多，数据口径多样化外场、车队提成计算依赖人工，存在人工调整和审计风险数据开发：多个部门同时监控同一个数据，缺乏数据共享，并易导致数据口径不一致 03解决方案及效果分析数字化基础软件自主创新分享周 华为学习数字化基础软件自主创新分享周公层层面的管理组织：业务负责制的数据管理责任体系，是华为数据治理体系多年实践经验的结晶，是确保体系发挥作用的基石•华为虚实结合的数据组织设置，是确保数据工作充分卷入业务，同时能够在应用系统中有效落地的关键•数据管理部：支撑公司实施数据治理•代表公司制定数据治理相关政策、流程、方案和支撑系统，制定公司数据管理的战略规划和年度计划并监控落实；•建立并维护企业信息架构，监控数据直连个，披露重大数据问题，建立专业任职资格管理体系，提升公司数据管理能力，推动企业数据文化建立和传播。•各领域/BG数据管理部：落实公司制定的数据治理目标•实线向GPO（各业务领域全球流程Owner，通常是业务领域的最高主管）汇报，承接落实GPO的数据管理责任；•虚线向公司数据管理部汇报，遵从公司统一的数据治理政策、流程和规则要求。p华为按分层分级原则任命数据Owner，在公司层面设置公司数据Owner，在各业务领域设置领域数据Owner，这样既能确保公司数据工作统筹规划，也能同时兼顾各业务领域灵活多变的特征。p公司数据Owner是公司数据战略的制定者、数据文化的营造者、数据资产的所有者和数据争议的裁决者，拥有公司数据日常管理的最高决策权p各级流程Owner就是该流程域的数据Owner，在公司数据Owner的统筹下负责所管理流程域的数据管理体系的建设和优化。各业务部门是执行规则，保证数据质量，进而推动规则优化的关键环节。通过主管机构正式任命各数据主题域和业务对象的数据Owner和数据管家 组织保障公司级数据管理部（没有）数据治理部产品域数据治理组（IT内已发文）业务域数据管理组（没有）业务系统责任部门（包干产品线）业务责任部门（数据OWNER）IPMT或TMT决策层管理层执行层管理推动、监督评估对齐数据管理需求赋能战略绩效部管理推动横向协同纵向赋能管理配合协作数据管控平台运维部门推动、协调技术支撑技术支撑配合协作虚拟组织实体组织数据管理决策主体（CTO/业务副总）裁决流程管理部科技驱动IT侧业务侧推动、协调裁决配合协作总结：数据治理变革推进组织是数据管理组织成功开展并保证治理工作持续运营的重中之重，是治理工作开展的前提保障。数据治理的开展需要数据治理变革推进组织的推动：1)数据来源于业务，而IT侧只能提供技术支持; 2)IT与业务需要高效协同，缺乏协同机制；3)数据管理是变革型项目，需自上而下推进数治理开展。 流程梳理数字化基础软件自主创新分享周数据标准管理流程概念数据模型管理流程开发企业级资产目录流程数据质量度量公司数据湖建设非正常后台数据修改申请流程数据解决方案开发与验证流程数据管理管理数据资产管理数据分析管理数据质量数据服务管理数据源认证基础数据维护流程_试行数据质量改进管理数据分析流程（自助分析场景）管理数据分析业务数据后台例外提取流程业务数据标准创建、变更、审批及发布流程，提升数据标准质量及重用度在设计阶段进行概念模型设计及评审，指导开发，提高数据模型质量数据服务识别与定义、设计及交付运营的管理，提高数据服务重用度、减少重复建设数据源认证准确(数据字典、数据流向及数据责任)，保证IT系统集成高效企业级资产目录创建、变更、发布及交付，厘清数据资产，实现分层管理基础数据创建、变更、发布，规范和管理基础数据的维护过程及相关影响分析，确保数据标准落地制定数据质量水平衡量标准，对齐业务目标，识别数据质量问题与风险，指导数据质量度量工作开展识别数据质量问题、设计问题解决方案和观测、执行测评和确认问题解决，形成数据质量问题解决闭环入湖需求分析及管理、检查数据入湖条件、执行入湖标准、实施数据入湖、元数据注册基于数据服务之上，进行自助分析报表的开发业务驱动的分析需求由数据分析师识别，并提供数据分析服务全流程信息架构、数据质量、数据分析的相关方案的设计和验证对非正常后台修改业务数据申请和审批环节进行规范，保证数据安全对业务数据后台从申请到执行，使数据资产得到合理保护和共享流程简单说明 线上化管理数字化基础软件自主创新分享周数据管理全流程：通过网易数帆，可以实现从需求到上线的全流程进行管理，指标管理、模型设计、元数据查询、血缘分析及数据质量监控，提升整体研发效率，并结合数据质量监控，实现全链路数据监控并实时播报预警，全方位保障数据服务。需求开发设计测试上线指标管理：德邦指标库，统一管理、统一定义、统一口径。模型设计：德邦数仓，规范化、统一化模型建设，数据复用，提升研发效率。数据质量：提供数据测试的能力，数据比对、数据形态探查。数据质量提供全链路结果可量化的质量监控，质量大屏、质量监控。数据地图提供数据血缘查询快速进行问题定位。离线开发：提交上线的CI/CD流程控制能力，包括代码扫描、形态探查、数据比对、节点测试检测、产出影响检测、质量监控规则配置检测等。数据地图：德邦数据导航，数据血缘、数据资产检索、预览，快速定位自己需要的数据。 解决方案及效果——指标系统数字化基础软件自主创新分享周Ø通过指标中心结合指标管理制度实现指标增、删、改、查线上化操作，并实现指标与模型的绑定关系，打通指标共享壁垒，提高指标复用度。指标基本信息指标血缘查询指标名称/指标类型/指标域/责任部门等计算指标依赖基础指标等，指标树的整理。指标口径定义技术口径/业务口径等内容支持自定义制度保障体系化管理德邦快递指标管理制度 解决方案及效果——指标系统数字化基础软件自主创新分享周系统使用情况Ø在指标中心结合指标管理制度的管理需求，自定义设计指标录入模板，由产品经理在需求阶段进行指标信息录入，提供给ETL开发人员进行指标开发，指标上线后，可通过数据地图进行指标信息的查看，同时在页面前端指标数据展示时调用指标定义查询接口进行指标口径的查询。 解决方案及效果——模型中心数字化基础软件自主创新分享周Ø通过模型中心查看各层模型建设情况，模型设计时进行指标关系维护，提高设计效率。 跨ODS层依赖的下游表数682被跨层依赖的ODS表数量318有下游ODS表被跨层依赖率28.65%总ODS表被跨层依赖率10.95%模型复用度：DWD一级下游表数量平均值2.92DIM一级下游表数量平均值16.60DWS一级下游表数量平均值2.00表总量31955张模型16231个 解决方案及效果——模型中心数字化基础软件自主创新分享周系统使用情况Ø在模型设计中心进行分层模型的设计及维护，DWD层维护表与源表的映射及加工逻辑映射，DWS层与指标进行绑定关系，同时通过模型设计中心结合数据血缘进行模型使用及复用度的监控，进行模型使用的监管及治理。 解决方案及效果分析——数据标准数字化基础软件自主创新分享周Ø在数据入湖时，推动源端系统进行模型的数
