张尧 AI Agents在On-call助手场景中的探索与实践

张尧博士/算法研究员 DataFunSummit#2024 背景介绍相关工作调研方案介绍未来展望 01 背景介绍 eBaySherlock.io监控平台 能力 信号 方案 •指标•日志•追踪•事件 •BCD•Groot•Exemplar•Remediation •多维分析•告警规则•异常检测•追踪分析 On-call日常工作 •endpoints/API/...是什么？•我的PromQL/LogQL/...写的不对，可以帮我修改吗？•我的指标/日志/事件/追踪/...数据怎么不见了？•我设置的告警怎么不触发/反复触发/触发晚了/...？•我的quota不够，可以帮我增加吗？•… 02 相关工作调研 检索增强生成RAG 智能体AIAgents ReAct 反思Reflection Shinn et al., 2023,Reflexion: Language Agents with Verbal Reinforcement Learning.Zhao et al., 2023,ExpeL: LLM Agents Are Experiential Learners. 思维树ToT 树搜索LLMAgents +MCTS Zhou et al., 2024, Language Agent Tree Search Unifies Reasoning Acting and Planning in Language Models.Puttaet al., 2024, Agent Q: Advanced Reasoning and Learning for Autonomous AI Agents. 性价比？ 03 方案介绍 Le Penseur 意图识别Intent Recognition Hi，@sherlock-oncall，我的Raptor应用怎么platformmetrics没有了？ -Sherlock：eBay的监控平台…-Raptor: eBay基于JavaSpring/Springboot的技术栈…-platformmetrics:一种特殊类型的指标… 路由Routing •endpoints/API/...是什么？•我的PromQL/LogQL/...写的不对，可以帮我修改吗？•我的指标/日志/事件/追踪/...数据怎么不见了？•我设置的告警怎么不触发/反复触发/触发晚了/...？•我的quota不够，可以帮我增加吗？•可以zoom帮我看下这个问题吗？•… TriageAgent Hierachical + Dynamic few-shot examples + Ensemble 重路由Re-routing 1.用户无法清晰描述问题2.用户追问(QA-> Triage)3.第一轮路由错了4.… 智能规划Intelligent Planning 我的指标数据怎么不见了？ Cause：没有onboardAction：检测Onboard状态Cause：rate-limitedAction：检查使用量Cause：PromQL写错Action：检测PromQL 1.检查用户提供的PromQL2.检查Onboard状态3.检查…4.…5.Escalate to Human on-call 受控执行Controlled Execution 1.ReAct2.Single-Path Best First Search 平衡效果与花销 04 未来展望 评估方案 难点： 1.多轮2.对话式3.时间敏感 多Agents系统 THANKS