趣丸数据架构的演进之路——Data Mesh 的架构实践

DataMesh架构范式实践趣丸数据架构的演进之路 / 许汝全 关于我•软件技术和工商管理MBA双专业•12年技术架构，8年技术管理经验•数据架构负责人兼技术委员会委员 Contents目录回顾历史理论与实践展望未来 回顾历史 面临的挑战1.数据含义不清晰2.数据质量难保障3.数据引擎能力有限 DataMesh理论1.面向领域的数据所有权2.数据即产品3.自助数据基础设施4.联合计算治理 面向领域的数据所有权 面向领域的数据所有权要求一谁生产，谁负责 数据即产品1.明确数据所有者2.明确数据定义3.明确数据安全等级4.制定数据质量方案5.制定数据隐私方案可发现可触达安全有价值可关联查询本地可访问可信赖易理解 数据即产品 数据即产品要求二一切以治理平台为准 自助数据基础设施让技术人员可以轻松、便捷地共享、访问和使用数据，这是数据网格的技术关键需求阶段开发阶段运维阶段探索分析挖掘开发测试发布运行链路监控告警迭代数据开发业务分析师 自助数据基础设施 联合计算治理①数据消费者制定数据期望②数据生产者制定数据承诺③嵌入计算单元实现质量治理 趣丸的新架构 趣丸的新架构 总结和展望1.数据含义不清晰2.数据质量难保障3.数据引擎能力有限 总结和展望1.数据含义不清晰2.数据质量难保障3.数据引擎能力有限要求：一．谁生产，谁负责二．一切以治理平台为准工具：三．数据平台四．数据治理平台 总结和展望数据资产能力资产创新共赢兴趣创造价值 现场交流1.理念如何深入一线2.传统数仓和DataMesh的适配3.虚拟入湖隐藏着跨集群数据加载的IO压力