原玉娇-大模型在端到端交互测试的探索与实践

大模型在端到端交互测试的探索与实践 原玉娇贝壳找房 演讲嘉宾 原玉娇 贝壳找房技术效能-质量架构团队负责人 北京理工大学硕士毕业，曾就职于滴滴，目前在贝壳担任架构师，负责大模型技术在测试域企业级的工程化探索和应用，基于“产研域提效场景+领域知识+AI agent”在垂直域实现大模型能力延伸，包括测试需求分析、测试用例自动生成、缺陷追踪和智能定位等，优化协同流程机制、助力业务快速迭代从而提升自动化产能。 1.背景2.问题/痛点3.解决思路/整体方案4.具体实现/技术实践5.总结与展望 目 录 CONTENTS 背景介绍PART 01 业务介绍 一站式居住服务平台，涵盖二手房、新房、租赁及家居装修等业务 问题和痛点分析PART 02 痛点分析-传统 AI提效应用难点分析 问题：质量域工具有细分，多类别多领域，覆盖前端、后端、环境、数据、自动化等业务多元化导致工具实现比较复杂，工具&人的维护成本都很高 大模型在端到端测试探索进阶之路PART 03 演进过程 AI加持下，个人效率提升到协同成本降低的路径 copilot方式-实现个人提效极致应用 【解决方案】CUI\对话、多入口、agent化的形式即时触达，和测试行为紧密结合，利用模型意图识别能力和决策执行的能力完成各类各项测试任务 对话交互式应用举例 数据提效 自动化提效 与之而来的新挑战 AI工具那么多，我该用哪个？【单点提效-->交付提效】 演进-agent模式驱动全流程协同增效 需求驱动测试，通过多个智能代理（Agent）的合作，基于自然语言描述，自动化的进行从交互到检查的全链路测试过程 整体方案设计思路 技术实践PART 04 实现核心技术点 agent智能体 创建助手（Assistant）✓给它特定场景的工具创建助手（Assistant）✓给它特定场景的工具（Tools） （Tools）✓提示它如何使用工具&如何思考执行（Prompt）✓提示它如何使用工具&如何思考执行（Prompt） ✓然后就可以把问题丢给提问（Question） 建立模型工程标准化基建，重塑测试工作流程 需求端|测试策略生成实现测试分析和设计标准化 agent模式+开放能力基于assistantApi，以需求作为原点，实现测试策略生成，包括需求澄清、风险关注、测试建议等，沉淀领 域工具先提供全景画像辅助用户选择用什么、指导测试实践、加速岗位认知，同时通过开放能力实现业务小工具开源共建，旨在构建一个更加高效、协同的测试知识生态 服务端|与传统工具深度融合 服务端|端到端智能化能力迭代 碎片化工具（精准、用例生成、环境部署、覆盖率收集）&工作协同流程的结合 AI能力&现有测试工具的结合 服务端|建立与研发工具协同的应用双通道 效果展示 用户交付端|智能化测试能力迭代 核心设计思路 用户交互端多模态+Prompts+知识库--->制造出业务大脑 建立贝壳领域知识工程和产品化，辅助prompt分层设计，持续提升效果 难点-端到端链路数据服务基础能力 关键：后端服务间链路采用环境平台+trace互相补充，前端-后端链路refer + AI补全 业务场景实际应用 业务背景：提佣推城项目，涉及到全国多个城市不同岗位角色的佣金方案线上化改造，项目今年会一直持续进行。 业务问题：推城项目持续周期长、需求多；当前交付流程长、耗时长、需要多个角色介入。耗费大量人力、实践。 流程变化 总结展望PART 05 总结展望 模型工程能力 关注原子能力深耕，包括prompt模式的构建、聚焦传统方法和大模型方法融合（断言智能生成等） 特定领域模型能力 知识化沉淀、知识图谱等能力融合、规模化和结构化进行数据体系的管理 可持续 “知识+场景+agent”，在垂直领域下将传统技术经验融合创新思维不断探索和尝试测试领域的场景和问题，在更上层测试设计和前置阶段发挥大模型的能力，最终带来效率提升。 丰富应用场景 关注全流程提效，从产品到开发到测试的严谨和高效，在垂直场景下做细做透持续深入，测试和agent协同测试的习惯 总结展望 提升核心能力 一岗多能持续发展 THANKS