基于统一语义层的data agent实践

研报总结

挑战与应对架构

主要挑战

• 技术路径局限性：Text-to-API、Text-to-SQL、Text-to-Code等技术存在局限，如API层设计限制、SQL准确性问题、代码解释器交互困难等；LLM存在不确定性与幻觉问题；构建AI就绪数据涉及复杂流程，元数据管理困难；业务部门与技术团队间存在理解鸿沟，缺乏数据共识。
• 数据语义层挑战：数据分散、结构复杂，难以直接应用于业务决策；业务与技术理解存在鸿沟，阻碍高价值用例识别和解决方案实施。

解题思路

• 数据语义层与Data Agent：数据语义层作为连接底层数据与业务用户的桥梁，将技术数据转化为业务概念；Data Agent基于多智能体协作，具备数据开发、治理、分析等能力，协同数据语义层实现数据互联互通和高效共享。
• 整体架构：包括数据源层、数据集成层、统一数据存储层、数据语义层、Data Agent层和应用层。Data Agent层包含专家Agent（数据开发、智能运维、数据分析、行业报告等）；语义建模层进行元数据管理、业务术语定义、维度建模、指标建模；自适应加速层基于HBO、CBO实现自动化、自助化加速；数据编织层组织跨源异构数据，形成统一数据逻辑图。

构建AI-Ready的数据

语义模型的重要性

• 理想“库”的缺失：现有数据表交付方式复杂，用户难以找到、理解和使用数据，缺乏一致性、可分析性。
• 语义增强的影响：通过在逻辑宽表上增加度量、维度虚拟字段等语义增强，提升数据的可分析性和易用性。
• 用户期望的交付：数据应可立即分析、维度定义清晰一致、口径统一、易于查找、有质量保证。

全域统一语义层（Unity Semantics）

• 语义模型定义：知识工程方法，表达、共享、重用知识，可同时被人和机器理解的信息表达方式，包括概念关系、指标、维度等。
• 人与机器都能理解的语义：通过会员分析主题、会员充值、会员消费等业务场景示例，展示语义模型如何支持业务分析。
• 核心能力：SemQL（类SQL语义层查询）、MetaRAG（基于元数据知识索引、多路召回、混合排序）、语义建模表达能力、自动加速（多级缓存、自适应CTE提取合并IO、谓词下推、自动物化视图推荐和合并）。

构建Agent理解的知识

元数据知识索引

• 元数据序列化：将业务主题、数据模型、指标、维度等元数据序列化，用于Query意图识别、改写、分解。
• 混合检索：通过元数据序列表示，进行混合检索，定位目标指标、维度。

FlattenedRAG（F-RAG）与StructuredRAG（S-RAG）

• FlattenedRAG：通过枚举元数据组合，将元数据所对应的数据集转化为问答知识库，实现结构化元数据的非结构化表示。
• StructuredRAG：利用元数据的结构特性，先召回核心数据需求，再进行过滤召回修饰条件，解决长尾问题。

MetaRAG（F-RAG+StructuredRAG）

• 离线知识库生成：人工标注所需支持的指标、维度及Query模板，枚举元数据组合方式，生成离线知识库。
• 在线元数据检索增强：基于用户Query，从知识库中多路召回相似Query，进行匹配程度打分，增强元数据检索。
• Structured Meta RAG召回：多路召回核心候选实体，围绕核心实体召回相关维度，利用知识库信息构建样本训练模型，进行在线scoring和排序。

总结及未来思考

Data Agent

• 接入层级：Agent底座、专家Agent、Data Agent智能体。
• 应用场景：智能分析、数据工程、智能问数、多维分析、AI检索、归因洞察分析预测、代码助手、运维诊断等。
• Agent生命周期管理：认知引擎、意图拆解、任务规划与执行、MCP封装、知识库记忆管理、Prompt工程、Agent运维。
• 数据治理Agent：成本诊断、安全诊断、元数据增强、分类分级、质量诊断、AI盘点、SQL纠错。
• 可迭代进化的数据智能体：数据语义层连接底层数据与业务用户，Data Agent具备数据开发、治理、分析等能力，通过WeData API、轻联插件、GUI、LUI、SDK、A2A协议等方式，实现无处不在的数据智能体。
• 个人的Data Agent：自定义知识、自定义工具、多渠道分享、自主优化，针对特定场景和插件，提升agent准确度和效率。