快狗打车数据仓库建设与演进之路

快狗打车数据仓库建设与演进之路演讲人：申琦 申琦技术的变革，一定是思想先行数据仓库架构师现就职于快狗打车数据智能部，数据仓库团队负责人、数据仓库架构师。经历过互联网广告平台、电商平台、自营电商等，不同业务主体、不同发展阶段的数据仓库建设，积累有丰富的数据仓库建设实践经验。 目录数据仓库数据仓库背景与挑战数据仓库架构数据管理与运营数据仓库建设思考 数据仓库背景掌舵业务方向制定业务目标制定业绩目标执行业务动作操作执行层基础管理层决策管理商务克服管理层之间的通信障碍连通管理层次 数据仓库背景 数据仓库挑战任 务 增 长 造 成 资 源 挤 占 、 修 改 上 线 造成 任 务 报 错 、 逻 辑 变 更 导 致 数 据 失 真数 千 个 数 据 表 选 择 困 难 、 插 入 需 求 频繁打断需 求 资 源 大 于 可 用 资 源 、 核 心 任 务 分配 不 到 资 源 、 任 务 排 布 造 成 资 源 峰 谷有限的资源无限的需求成本挑战 数据仓库挑战应对策略01完善数据平台工具，减少人为不稳定因素02分类分级任务治理，提高资源利用率03低效任务自动化处理，聚焦价值能力输出 数据仓库架构-应对挑战问题 稳定性、效率、成本下的数据管理与运营 稳定性保障解决思路尽量不出错误出错及时发现发现快速恢复 稳定性保障：上线流程标准化1修改保存3提交5发布4代码评审语法错误检查添加任务依赖配置任务参数配置重试策略新 老 版 本 代 码 对 照 ，高亮不一致部分发 布 后 ， 可 线 执 行 补数 据 操 作 刷 新 线 上 数据2测试执行逻 辑 是 否 正 常 运 行验 证 数 据 是 否 正 确与线上1:1测 试 环 境完成 稳定性保障：异常快速发现报警接收方值 班 表 、 任 务 责 任 人 、 指定接收人报警方式短 信 、 电 话 、 邮 件 、webhook监控对象任 务 节 点 、 工 作 空 间 、 基线 、 资 源 组疲劳度控制报警次数报警间隔免打扰时段触发条件完 成 、 未 完 成 、 出 错 、 超时监控规则 稳定性保障：异常快速恢复一键重跑下游一键版本回滚 效率提升解决思路减少重复计算快速查找数据表 效率提升：自助在线分析 效率提升：快速检索数据表 成本优化解决思路合理利用每一滴资源 成本优化：任务分类分级排布基于叶子任务节点倒推出任务分类及优先级别 思考：数据仓库的核心是什么？ 数据仓库演变史信 息 时 代 来 临 ， 企业 拥 有 大 量 业 务 数据 待 挖 掘 利 用 。信 息 系 统 库 ， 业 务相 互 独 立 ， 跨 库 场景 统 计 乏 力启蒙期辅 助 决 策 系 统 ， 帮助 企 业 基 于 数 据 统计 分 析 做 出 科 学 宏观决策成长期成熟期大 数 据 处 理 技 术 体系 成 熟 ， 帮 助 企 业精 细 化 管 理 企 业 海量数据黄金期云 原 生 时 代 来 临 ，基 于 多 年 沉 淀 ， 已有 可 以 一 键 启 动 的商 用 决 策 系 统数 据 湖 仓 ， 流 批 一体未来时期 数据仓库核心：数据全景 数据主题数据仓库可能是第二懂业务的人 数据模型组织数据呈现业务模样 思考：未来数据仓库会是什么样子？ 未来？流批一体化分析与事务引擎统一 THANKYOU!