DataWorks Data Agent：面向Flink实时数据工程的智能开发与治理实践

一条主线：DataWorks全域Data Agent落到Flink 从Flink痛点，到Copilot、Agent、DataClaw，都基于全域数据智能 Flink在Agent阶段的痛点：不只是SQL SQL是入口，实时工程还要面对状态、时间、资源、上下游和治理 SQL Draft-> Flink Runtime Context-> Engineering RiskAgent要理解作业图、时间语义、状态、资源、上下游与治理约束 Copilot：先把入口SQL这层做扎实 Copilot = DataWorks代码编程助手：在SQL为主、兼及UDF / DataStream上做补全、解释、纠错、优化 Intent->Copilot辅助->可校验代码 Agent：端到端自动化+多引擎 覆盖SQL之外的部分：需求→代码→工作流→发布全流程，经MCP调多引擎 DataClaw：从IM入口到全链路诊断 Flink运维不是看一个Job，而是同时看Source、自身资源和Sink IM Request->Diagnosis Plan->Evidence Chain->Controlled Action 全域数据智能：跨引擎的事实与上下文 离线维表、实时计算、分析结果共同决定任务质量 Offline Dim / Source->Flink Job->Hologres / Analysis一个实时任务的质量，取决于上游事实、自身运行信号、下游验证 全域数据智能：一份上下文·三类执行器 Copilot / Agent负责开发，DataClaw负责运维，共享同一份全域上下文与治理边界 Copilot · Agent <->全域上下文+治理<-> DataClaw同一份DataWorks上下文，支撑开发态生成与运维态诊断 DataWorks治理：把Flink放进生产边界 权限、质量、血缘、发布、审计不是外挂，而是实时任务生命周期的一部分 Flink需要全域Data Agent不是SQLBot：Copilot增强、Agent自主+多引擎、DataClaw运维，都基于全域数据智能 从规则到Agent Plugin：B站Flink智能诊断体系的演进实践让Agent在正确的诊断轨道上工作 演讲人 Plugin解决方案 落地实践与展望 待解决的核心问题 背景与现状 Flink运维规模与挑战 Ø业务复杂度和对性能要求持续增长：多源合流/维表Join / UDF混合 Ø问题链路级复合化：单一故障跨日志/指标/Runtime/外部系统传播Ø同一现象背后可能有多种根因（CK timeout至少4种原因：反压/ State过大/存储降级/ IO异常） 运维形态的三次演进 待解决的核心问题 规则与Agent的双重困境 1.0规则体系的局限能力边界 2.0Agent的四种典型失控Ø症状当根因—CancelTaskException是连锁反应， 不是根因Ø过度泛化—Wiki案例缺少上下文匹配直接套用Ø证据不足下结论—单一指标排除整类可能性Ø跳过确认直接执行—高风险变更无根因校验 p90+日志规则（AND/OR组合匹配）p指标检测→Resolver → Executor流水线 p场景化自动处理（资源调优、节点自愈）✓擅长：确定性强、单一信号源的问题 ✗无法覆盖 l链路级问题—需跨日志/指标/机器/Runtime关联l多根因问题—同一现象对应不同原因 l用户咨询—非规则可穷举的自然语言场景 诊断效率与经验复用的双重困境 运维经验难以沉淀和复用•专家经验分散在Wiki、工单、排障记录中 诊断效率与质量难兼顾•全量排查成本高（多数据源） •经验进RAG只是知识问答，不是可执行诊断流程 •同一Tool重复查询，9步碎片执行无结论•日志噪声多：传播信号非根因 •诊断方法（取证链路） •证据边界（何时停止）•修复边界（风险与回滚）案例缺少完整证据链就无法沉淀为规则 Agent Plugin解决方案 为什么是Plugin ? 体系架构：从场景到证据链到执行闭环 路径A（多数场景） 触发条件：根因未确认或场景未适配输出：诊断报告+证据链+边界声明（专家接手） 分层设计：Router + Skill + Tool +Evidence + Knowledge + Review 关键约束：每一层都有边界，Agent在轨道上推理，不是自由发挥 关键机制1: Evidence Chain（证据链强制） 关键机制2：Red Flags（30+条规则） Red Flags：诊断推理的负向约束30+条规则，覆盖10类场景，阻止已知的"危险捷径" 关键机制4：工具设计符合模型行为 变更执行实操：configScope+ operation configScope枚举（配置存储位置） 已适配4类执行策略 (parallelism /taskManagerMemory)•custom_cluster_config:mainArgs--customClusterConfig(execution.checkpointing.interval)•flink_tag:mainArgs--flinkTag(flinkTag) 流程优化：从失控到可控 流程约束 前置规划取证链、执行不可跳步、条件触发 工具边界去冗余 度量闭环 Improve：人工决策（高频violation →改Skill、工具成功率低→改tool、路由偏差→改router）Measure：下次诊断会话重新采集，验证改进效果 高效诊断模式：从9+次到3-5次 2.0 Agent碎片执行（9+次调用）berserker → log →发现缺指标→手写脚本→又缺配置→REST API→ • 1. berserker×1—获取实例历史（内联resource_config+ tm_overview→ overview → vertices → ... evidence_window）• 2. log-query×1—一次聚合ERROR查询• 3. log-query×0-1—首尾实例签名验证（条件触发）• 4. job-metrics×0-1—按失败类型选择性查询• 5. machine-metrics×0-1—条件触发（仅主机级症状） 落地实践与展望 案例实践及执行流程解析某高优作业突然重启根因分析-JM被OOMKill 案例实践及执行流程解析某高优作业未做过变更多次出现失败异常-外部redis集群导致 THANK YOU谢 谢 观 看 大模型时代的运维新范式：面向大数据产品的诊断Agent实战面向大数据产品的异常发现、定界定位、根因分析与知识自进化实践。 演讲人 核心架构与技术全链路智能定位与自进化闭环 背景与挑战运维之痛与范式转移 总结与展望模态拓展与自主修复 背景与挑战 大数据云产品运维背景 大数据云产品运维的核心挑战 为什么需要运维新范式 问题背景 核心结论 •产品规模持续扩大，异常链路更长、更复杂•异常不再局限于单点故障，而是多信号耦合、多域传播•告警、指标、日志、事件、变更、工单分散在不同系统•传统人工分析难以满足分钟级定界和快速恢复需求 “系统复杂度变高，传统运维效率难以处置。” 与知识沉淀 核心架构与技术 Agent + Skills + Tools闭环体系 核心理念 将专家经验转化为标准化的Skills，通过Tools获取实时数据，由Agent进行逻辑推理 •自动定位：联动多源数据，输出根因候选与排序。•持续进化：通过工单闭环，实现知识体系的自动沉淀。 精准定界能力建设 将异常检测与指标下钻算法技能化，让Agent看到“关键异常”而不是“海量噪声” 自动定位能力建设 专家经验标准化，自动串联多源信息完成深度诊断 Agent自进化能力建设 总结与展望 THANK YOU谢 谢 观 看 AI Agent-Driven AutomatedConstruction of Hologres + FlinkReal-Time Data Warehouse 演讲人 Hologres走向AI的发展之路 The History of Hologres从分析服务一体化（HybridServing/Analytics Processing，HSAP 1.0）到分析检索一体化（HybridSearch/Analytics Processing，HSAP 2.0），打造一站式的AI数据分析平台 Hologres：多模融合的一站式AI数据分析平台 Multimodal One-stop AI Data Analytics Platform 多模态分析检索all-in-one，实现“一份数据、一份计算、多模分析”统一SQL 整体架构：连接Agent与数仓的桥梁 核心理念：让Hologres成为AI Agent最顺手的数据仓库。通过工具化与知识化，实现从“人机交互”到“机机交互”的平滑演进，满足AI可以安全，高效，可控的操控数据仓库。 •Hologres CLI（执行层）：Agent "双手"，安全地执行数据库操作 JSON-First安全护栏资源隔离： 领域知识注入：内置8大专家级技能包—Hologres 自主调优：自动分析执行计划并给出优化建议Schema设计：基于业务描述自动生成生产级DDL 六层安全护栏/ 6-LAYER SECURITY 动态表全生命周期管理：AI时代的实时数据编排 "帮我基于orders表建一个按区域汇总的实时销售看板，5分钟刷新一次" 动态表全生命周期管理：AI时代的实时数据编排 Agent同样可以自然语言管理整个生命周期： 时数据管道——而用户只需要用自然语言描述需求。 AI Function：SQL原生驱动AIGC内容生产 Hologres CLI首创数据仓库原生AI创作能力——用SQL调用大模型生成文本、图片、视频，配合Volume存储实现全链路资产管理： GUC参数管理：数据库调优的"旋钮" 官网27个常用Hologres参数，分类管理，--help即查即用： GUC参数管理：数据库调优的"旋钮" 官网27个常用Hologres参数，分类管理，--help即查即用： Hologres知识技能AgentSkill CLI即统一数据平面 lSQL执行均通过hologres-cli，Skill内部不直接使用psycopg/JDBC。l由此免费获得：安全护栏（DML二次确认、SELECT行数限制）、凭据脱敏、结构化JSON输出、瞬时错误自动重试、双连接模式（JDBC + ExecuteStatement API）。 lSKILL.md仅承载工作流、决策树和触发短语。 l诊断类Skill（cpu/ health / slow-query）均输出固定章节的 lreferences/*.md存放大体量参考资料（SQL模板、错误码表、设计模式），按需加载，避免污染Prompt上下文。 Markdown报告，便于上层Agent、看板或聚合器二次消费。 生态集成：适配8大主流AI IDE / ECOSYSTEM Hologres AI Plugins深度适配主流AI开发工具，让开发者在熟悉的IDE环境中，通过Agent直接操控数仓资源，实现“所思即所得”的开发体验。 基于Agent搭建Flink+Hologres的实时数仓Skill 效率提升 THANK YOU谢 谢 观 看 从结构化到多模态Dataphin基于Flink实时非结构化实践 目录 01 数据爆发×LLM机遇×实时新命题 Dataphin + Flink：机遇与挑战双底座融合×客户诉求×技术挑战 02 平台抽象×统一框架×治理一体化 03 04总体架构×关键技术×解法实践 业务效果总结与