趣丸数据架构的演进之路——Data Mesh 的架构实践

趣丸数据架构的演进之路 / 许汝全 关于我 •软件技术和工商管理MBA双专业•12年技术架构，8年技术管理经验•数据架构负责人兼技术委员会委员 目录 回顾历史 理论与实践 Contents 展望未来 回顾历史 面临的挑战 1.数据含义不清晰2.数据质量难保障3.数据引擎能力有限 DataMesh理论 1.面向领域的数据所有权 2.数据即产品 3.自助数据基础设施 4.联合计算治理 面向领域的数据所有权 面向领域的数据所有权 要求一谁生产，谁负责 数据即产品 1.明确数据所有者2.明确数据定义3.明确数据安全等级4.制定数据质量方案5.制定数据隐私方案 数据即产品 数据即产品 要求二一切以治理平台为准 自助数据基础设施 让技术人员可以轻松、便捷地共享、访问和使用数据，这是数据网格的技术关键 自助数据基础设施 联合计算治理 ① 数据消费者制定数据期望② 数据生产者制定数据承诺③ 嵌入计算单元实现质量治理 趣丸的新架构 趣丸的新架构 总结和展望 1.数据含义不清晰2.数据质量难保障3.数据引擎能力有限 总结和展望 要求： 一．谁生产，谁负责二．一切以治理平台为准工具：三．数据平台四．数据治理平台 1.数据含义不清晰2.数据质量难保障3.数据引擎能力有限 总结和展望 兴趣创造价值 现场交流 1.理念如何深入一线2.传统数仓和DataMesh的适配3.虚拟入湖隐藏着跨集群数据加载的IO压力