DataOps概述
什么是DataOps
DataOps是指通过数据分析和精益思维、敏捷实践以及DevOps等理念结合的数据管理实践,专注于改善整个组织中数据管理者和消费者之间数据流的通信、集成和自动化水平。DataOps的核心是通过管道式、全生命周期的运营过程,对数据产品和服务的计划、组织、实施和控制进行优化。
DataOps的文化
DataOps强调精益思维和敏捷实践:
- 精益思维:源自丰田生产方式,强调消除浪费,提升资源效率。DataOps中的精益要求包括拉动式生产、价值流图、根因分析等,旨在识别和消除数据流程中的浪费。
- 敏捷:应对软件开发和数据分析中的不确定性,强调迭代和反馈。DataOps宣言提出了18条原则,包括拥抱变化、持续满足客户需求、自组织、减少英雄主义等。
DataOps的素养
DataOps要求个人和组织具备一定的素养:
- 建立信任:通过自动执行数据的识别、分类、安全、供应、质量评估和清理,建立对数据用户的信任。
- DevOps:DevOps的关键要素包括工具和技术,如持续集成、持续交付等,DataOps借鉴DevOps实践提高数据分析交付的速度和规模。
- 组织:DataOps组织最佳实践包括卓越中心团队维护团队间的连接,以及团队需要自助访问所需数据。
DataOps展望
信通院提出了DataOps评估标准,包括8项标准、25大能力和70+能力项,并推出了“谷雨生态”计划,包括谷雨创新实验室、谷雨专家社区和谷雨灯塔计划,共同探讨DataOps创新理念,孵化前沿实践。
核心观点
- DataOps是融合精益思维、敏捷实践和DevOps等理念的数据管理实践。
- DataOps强调消除浪费、持续改进和客户合作。
- DataOps要求个人和组织具备数据管理知识、自动化工具平台和业务参与能力。
- 信通院的DataOps评估标准和谷雨生态为DataOps的落地提供了参考和平台。