引言
数据编织（Data Fabric）作为一种新兴的数据管理架构理念，近年来获得广泛关注。Gartner 多次提及数据编织，并预测其在未来 2-5 年内会获得广泛应用。企业也在积极探索数据编织，寻求在“数据中台”之外的另一种数据管理架构。
为什么需要关注数据编织
回顾过去 10 年企业数据中台建设的经验，可以发现数据中台存在以下问题：
- 技术业务匹配度不足：数据中台的开发模式适合业务模式相对稳定的场景，对于业务变化快、需求不明确的情况，容易导致前期数据模型建设成本的浪费。
- 技术组织就绪度不足：数据中台的开发和管理需要大量专业团队，人力成本高昂。同时，数据中台强调数据的“应存尽存”，导致数据快速膨胀，成本投入也随之增加。
- 技术 ROI 不明确：传统数据中台建设是一个 IT 先行投资、持续投入，但收益不确定的模式。
数据编织通过优化跨源异构数据的发现与访问，将可信数据以灵活且业务可理解的方式交付给所有相关数据消费者，具有以下优势：
- 提高数据访问效率
- 提高数据交付效率
- 降低数据存算成本
- 降低数据运维成本
- 增强数据管控能力
数据编织价值实现机制
数据编织通过数据虚拟化技术实现价值，其关键技术特性包括：
- 数据更新方式不同：数据编织通过数据投影技术将数据更新过程隐性化，简化了 ETL 运维过程。
- 智能查询下推，数据就近计算：数据虚拟化引擎具备更灵活的下推策略，可以将查询下推到数据源端就近计算，提升查询性能。
- 数据变更方式不同：数据编织支持数据变更的周期短、成本低。
数据虚拟化的关键技术包括：
- 数据投影技术：通过预先计算的方式保存某些耗时操作的结果，避免重复执行这些耗时操作，最终实现加速查询的目的。
- 智能查询加速，透明查询改写：数据虚拟化引擎可以自动识别和改写查询 SQL，将其转换为直接从本地存储的数据投影中查询，从而极大提升数据查询的性能。
数据编织体系可以实现传统数据仓库中分层分域的数据管理架构，通过逻辑数据视图定义和数据投影技术实现数据流动。
数据编织价值评估方法
评估数据编织的价值，需要紧紧围绕“让业务及时用上好数据”这一点进行评估，可以从以下 3 个维度进行评估：
- 提升数据交付效率：端到端地提升数据集成、整合到服务的交付效率，把数据需求的响应周期从周提升到天。
- 降低数据膨胀系数：从机制设计上系统化地减少数据拷贝，节省存算资源，提升存算的有效性和经济性。
- 减少数据管理成本：简化系统技术概念，降低数据平台的上手门槛和减少日常运维成本，并提升数据管理的自动化水平。
可以用以下 2 个指标进行衡量：
- 当天需求满足率：对“TimeToValue”理念的量化，是站在业务方视角评估和感受数据平台能力和价值的唯一核心指标。
- 数据动销率：对存算资源是否合理使用的量化指标，即当天有更新的数据在当天或未来一段时间内（比如 30 天内）的使用率。
数据编织价值案例介绍
Aloudata AIR 逻辑数据编织平台和 Aloudata CAN 自动化指标平台是数据编织的典型案例，具有以下特性：
- Aloudata AIR
- 零搬运
- 秒级数据集成
- 逻辑建模
- 定义即研发，变更即发布
- OneSQL
- 自适应查询加速
- 自治理
- Aloudata CAN
- 改变指标管理模式
- 改变指标开发模式
- 改变指标消费模式
Aloudata 同银行、证券、能源、制造、医疗等行业客户通过项目合作，摸索出数据编织的一系列最佳实践案例，例如：
- 首创证券 NoETL 敏捷数据分析实践
- 某头部车企全域数据逻辑整合实践
- 某跨国企业跨境合规数据查询实践
总结与展望
数据编织作为一种创新数据管理架构，将会对企业的数字化转型产生深远的影响。Aloudata 作为国内 Data Fabric 架构理念与实践引领者，致力于消除数据管理技术瓶颈，提升 ETL 工程自动化水平，助力企业平滑升级至下一代大数据基础设施。
