ataOps - 数据运营的文化和素养

DAMA数据管理马欢 目录Contents 01什么是DataOps DataOps概念的提出的提出什么是数据运营 Data 数据：泛指一切有价值的数据 Operations 运营：产品生产和服务提供过程中的各类活动 DataOperations 是 指 通 过 数 据 来 分 析 活 动 和 解 决 问 题 ， 利用 各 种 数 据 科 学 技 术 挖 掘 数 据 价 值 ， 帮 助企 业 优 化 业 务 管 理 和 提 升 决 策 效 率 的 活 动 DataOps概念的提出的提出数据战略范围-图2.2分析的4钟类型P33数据运营走向深水区 •随着数字化转型越来越深入人心，越来越多的企业开始加大数据科学的投入，建设各种大数据系统、高薪聘请博士组建团队，来进行数据科学和数据分析的研究。一组数据如下： n国 际 数 据 公 司( I D C )预 计 ， 到2 0 2 2年 ， 大 数 据 和 业 务 分 析 解 决 方 案 的 全 球 收 入 将 达 到2 6 0 0亿 美 元 ， 相 比2 0 1 7 - 2 0 2 2年 期间 的 复 合 年 增 长 率 达 到1 1 . 9 %。 n领 英 （L i n ke d I n） 的 新 兴 就 业 报 告 显 示 ，2 0 1 2年 至2 0 1 7年 期 间 美 国 四 大 增 长 行 业 岗 位 是 机 器 学 习 工 程 师 、 数 据 科 学 家和 大 数 据 工 程 师 ， 由 其 是 数 据 科 学 家 的 需 求 暴 增 了6 5 0 %以 上 ！ DataOps概念的提出的提出数据战略范围-图2.2分析的4钟类型P33数据运营存在的问题 •投入越来越高，收益却不尽人意： n2 0 1 6年 ， 加 特 纳 （G a r t n e r） 估 计6 0 %的 大 数 据 项 目 会 失 败 ， 情 况 会 变 得 更 糟 。n2 0 1 7年 ， 加 特 纳（G a r t n e r）的 尼 克·赫 德 克 发 布 了 一 篇 文 章 批 判6 0 %的 估 计“过 于 保 守”， 实 际 的 失 败 率 接 近8 5 %！ 数据工作协作难 数据生产力不足 数据治理难见效 数 据 需 求 数 量 激 增数 据 需 求 交 付 迫 切数 据 需 求 高 频 密 集 管 理 与 效 率 难 以 平 衡数 据 标 准 贯 彻 落 标 难事 后 治 理 模 式 难 治 本 数 据 工 具 链 条 长数 据 团 队 职 能 多 样团 队 协 作 依 赖 性 强 数 据 人 才 培 养 周 期 长数 据 基 础 设 施 费 用 高数 据 资 源 存 在 浪 费 DataOps概念的提出的提出问题出在哪里呢？ 系 统 性 解 决 问 题 整个组织数据运营能力的提升是一个系统性的工程，需要从组织，人员，技术，流程、资产管理等诸多方面进行系统性的解决。 DataOps概念的提出的提出DataOps概念的提出什么是DataOps •莱 尼·利 伯 曼在2014年的一篇题为“DataOps对大数据成功至关重要的三个原因”的博客文章中首次介绍。•安迪·帕默2015年的博客发表“从DevOps到DataOps”，这个词才得以普及。 G a r t n e r 一种协作式数据管理实践，专注于改善整个组织中数据管理者和消费者之间数据流的通信、集成和自动化水平。 DataOps即是把数据分析和精益思维、敏捷实践以及DevOps等理念结合的数据管理实践。 DataOps概念的提出的提出DataOps的文化和素养 文 化-组 织 的 共 识 素 养-个 人 的 知 识 文化，广义指人类在社会实践过程中所获得的物质、精神的生产能力和创造的物质、精神财富的总和，狭义指精神生产能力和精神产品，包括一切社会意识形式：自然科学、技术科学、社会意识形态，有时又专指教育、科学、艺术等方面的知识与设施。简单的说，文化是一种共识，产生一个组织共识和凝聚的力量。 素养是指一个人的修养，从广义上讲，包括道德品质、外表形象、知识水平与能力等各个方面。如今，素养的含意大为扩展，它包括思想政治素养、文化素养、业务素养、身心素养、数据素养等各个方面。简 单 地 说 ， 素 养 指 的 是 沉 淀 在 人 身 上 的 对 人 的 发 展 、 生 活 、 学习 有 价 值 、 有 意 义 的 东 西 。 02DataOps的文化 DataOps概念的提出的提出DataOps的文化 1.精益思维 精 益 思 维 的 起 源 于 日 报 的 丰 田 公 司 ， 后 来 在 软 件 开 发 过 程也 得 到 了 很 好 的 应 用 。 丰 田 公 司 在 精 益 制 造 总 结 中 经 典 的7大 浪 费 现 象 ，在 数 据 运 营 中 也 是 普 遍 存 在 ，数 据 运 营 也 亟需 借 鉴 并 实 践 精 益 思 维 。 DataOps概念的提出的提出1.精益的起源-丰田生产方式 •麻省理工《国际汽车计划》研究团队主要成员、《改变世界的机器》作者沃麦克，在他与琼斯合著的《精益思想》中说；《改变世界的机器》提供了丰富的标杆数据，介绍了由日本丰田公司首先推出的，在生产组织、管理方面的一种好方式。我们称这种方式为精益生产方式（简称精 益 生 产），因为用这种方式能以越来越少的投入获取越来越多的产出 DataOps概念的提出的提出1.精益软件的起源 •精益思维变得越来越流行，并开始超越制造业的范畴，推广到包括精益供应链、精益订单处理、精益医疗、精益航空公司（低成本航空）等，以及与数据分析高度相关的精益软件开发。 •玛丽和汤姆一起写编写《精益软件开发：敏捷工具包4》，他们认识到，尽管存在一些差异，但软件开发过程类似于制造业产品开发和丰田产品开发系统。但是有一个最显著的区别在于，与制造汽车不同，软件不仅开发一次，而且预计在其生命周期中会多次修改。因此，易于更改是重中之重。 DataOps概念的提出的提出1.精益软件-七大原则 •精益生产方式的中心思想是消除浪费，透过消除浪费达到发挥资源的效率。 •客户对于产品感觉不是只有产品本身，而是使用产品的整体经验。 •精益生产非常重视员工的培训，培训方式主要是透过做中学习进行的。 •让客户在还没清楚信息做正确决定前，延后"定型"，保持设计弹性。 •越短的开发周期，能越快让开发团队从市场获得实时信息，应变市场的变化 •团队成员不应该被当成资源看待，激励知道为什么而做，让成员知道所有相关工作的全貌 •精益生产鼓励沟通，促进团队从不同面向去探讨整体产生最好的产品和服务呈献给客户 DataOps概念的提出的提出1.DataOps的精益要求 •源自制造、软件开发的精益原则，与数据分析和科学高度相关。 •差异是在创建数据分析解决方案时，差异是不能只是在技术和功能单个面层单独的思考，而是考虑整个数 据 流。 DataOps概念的提出的提出1.DataOps的5个精益理念 拉 动 式 生 产 价 值 流 图 根 因 分 析 价 值 流 图 是 一 种 用 于 在流 程 中 进 行 浪 费 可 视 化的 精 益 工 具 。 01 03 02 快 速 交 付 DataOps概念的提出的提出1.价值流图-识别浪费的工具 DataOps概念的提出的提出2.什么是敏捷 瀑布项目总是在最后阶段才交付可工作的软件。然而，世界无时无刻不在发展变化中，所以最初的需求通常在交付时已经过时。传统软件开发方法难以应对不确定性，作为对它的反应，敏捷软件开发运动于2001年兴起。该运动的创始人选择“敏捷”一词例证他们的观点，即软件开发必须具有适应性并响应变化。 DataOps概念的提出的提出2.敏捷的宣言的价值观和原则 2001年2月11日到13日，17位软件开发领域的领军人物聚集在美国犹他州的滑雪胜地雪鸟（Snowbird）雪场。经过两天的讨论，“敏捷”（Agile）这个词为全体聚会者所接受，用以概括一套全新的软件开发价值观。这套价值观，通过一份简明扼要的《敏捷宣言》传递给世界，同时即宣告了敏捷开发运动的开始。《敏捷宣言》规定了指导高效软件产品开发的四项价值观和12项原则。 DataOps概念的提出的提出常见的敏捷框架-适合于数据分析和数据科学 敏捷框架：•Scrum •XP•看板方法•Scrumban•大规模敏捷•SoS•规范敏捷交付•规模化敏捷框架 DataOps概念的提出的提出2.数据分析和数据科学的双重不确定性 •与软件开发一样，数 据 科 学 和 分 析也必须应对巨大的不确定性。该不确定性超出了软件开发所需的技术工作。数据科学是对不断变化的数据进行应用研究，需要采取迭代的方式来交付成果，但迭代工作量却难以估算。 •软件开发应对的是需求的不确定性，而数 据 科 学面对的是需求的不确定性+数据本身的不确定性，是双 重 不 确定 性 。敏捷方法也是非常适用于数据科学和分析。 DataOps概念的提出的提出2.DataOps宣言 •为了解决软件开发和数据分析之间的差异，克 里 斯 托 弗·伯 格（Christopher Bergh）、吉尔·本加特（GilBengiat）和埃兰·斯特罗德（Eran Strod）发布了DataOps宣言。可用的分析取代了敏捷软件价值观的工作的软件，迭代和反馈取代了响应变化，跨职能所有权是一个新的价值观，反映了开发和维护数据管道对多种技能的需求。DataOps宣言也提出了18条DataOps原则。 •个体与互动高于流程与工具（*）•可用的分析高于详尽的文件（*）•客户合作高于合同谈判（*）•实验、迭代以及反馈高于大量的前期设计（*）•跨职能的运营所有权高于孤立的责任 DataOps概念的提出的提出2.DataOps的18原则 拥 抱 变 化* 持 续 满 足 客 户 需 求* 有 价 值 且 可 用 的 分 析* 我 们 欢 迎 不 断 变 化 的 客 户 需 求 ， 事实 上 ， 我 们 拥 抱 变 化 以 创 造 竞 争 优势 。 我 们 相 信 ， 与 客 户 沟 通 最 有 效 、最 灵 活 的 方 法 是 面 对 面 交 谈 。 我 们 最 优 先 考 虑 的 是 通 过 在 几 分 钟到 几 周 内 尽 早 、 持 续 地 交 付 有 价 值的 分 析 洞 察 来 满 足 客 户 需 求 。 我 们 相 信 衡 量 数 据 分 析 成 效 的 主 要指 标 为 ： 在 健 壮 的 架 构 与 系 统 之 上 ，提 供 具 洞 察 力 和 准 确 的 数 据 分 析 。 自 组 织* 团 队 运 动* 每 日 互 动* 我 们 相 信 最 好 的 分 析 洞 察 、 算 法 、架 构 、 需 求 与 设 计 皆 来 自 自 组 织 的团 队 。 数 据 分 析 团 队 是 拥 有 各 种 角 色 、 技能 、 喜 欢 的 工 具 和 头 衔 的 组 织 。 客 户 、 分 析 团 队 与 运 营 人 员 每 天 必须 在 项 目 中 一 起 工 作 。 减 少 英 雄 主 义* 反 省* 分 析 即 代 码 随 着 分 析 洞 察 需 求 在 深 度 和 广 度 上的 不 断 增 加 ， 我 们 相 信 分 析 团 队 应努 力 减 少 英 雄 主 义 ， 并 建 立 可 持 续 、可 扩 展 的 数 据 分 析 团 队 和 流 程 。 分 析 团 队 应 该 对 来 自 客 户 、 团 队 本身 及 运 营 统 计 数 据 的 回 馈 ， 定 期 自我 反 省 以 优 化 运 营 效 能 。 分 析 团 队 使 用 不 同 的 工 具 来 访 问 、整 合 、 建 模 以 及 把 数 据 可 视 化 。 可 再 制 的 结 果* 可 抛 弃 的 环 境 编 排 协 作 为 分 析