发现报告 - 测试Agent和Agent测试

一、两者核心定义

1. 测试Agent

它是一类专门承担测试相关工作的AI智能体，本质是面向测试场景的自动化执行主体，核心目标是替代传统人工完成各类测试环节的工作，提升测试效率与质量。
目前行业内典型的落地案例是蚂蚁集团CodeFuse团队推出的开源项目Test-Agent，它将大语言模型与代码语义分析能力结合，可在分钟级完成传统人工数小时甚至数天的测试设计与实现工作，支持单元测试、接口测试、UI自动化等多种测试类型的用例生成与执行，为研发团队落地“测试左移”“质量内建”提供技术支撑【4】。
除此之外，不少AI编程工具也内置了测试Agent能力：比如GitHub Copilot的Agent模式可自动执行测试生成、运行、bug修复等动作；Cursor、通义灵码的智能体模式也支持自动生成测试用例、执行测试校验等操作【9】。

2. Agent测试

它是针对AI Agent系统这类特殊对象的测试活动的统称，核心目标是验证AI Agent的功能、性能、安全性等维度是否符合预期，保障Agent在实际场景中稳定可靠运行。
和传统软件测试有本质区别：传统软件的输出是确定性的，测试断言简单易实现；但Agent系统依托大模型生成内容，输出具备概率性，相同输入可能得到不同结果，同时还存在答案质量难量化、多组件交互复杂、LLM调用成本高等独特挑战【2】。

二、Agent测试的主流实践框架与方法

目前行业已经形成了相对体系化的Agent测试落地路径：

基础测试维度
覆盖四大核心基础测试方向：验证各项功能是否符合需求的Agent功能测试；评估响应时间、吞吐量、并发能力的Agent性能测试；排查数据泄露、恶意攻击风险的Agent安全性测试；收集真实用户反馈优化交互与设计的Agent用户体验测试【1】。除此之外还可补充兼容性测试，保障Agent在不同设备、操作系统、网络环境下都能正常工作【3】。
分层测试金字塔
从下到上分为三层：最底层是单元测试，聚焦Prompt测试、工具函数测试、LLM输出评估；中间层是集成测试，聚焦组件交互验证、工具调用合理性校验；最上层是端到端E2E测试，完成完整工作流校验、真实用户场景模拟【2】。
评测与打分方案
分为人工评估和自动评估两类：人工评估由人类按照预定义标准直接打分，结果全面但成本高、耗时长；自动评估依托程序规则、基准数据集完成自动评分，效率更高【10】。目前也衍生出了更贴近真实场景的评测套件，比如Claw-Eval端到端评测套件，不再只关注最终输出结果，还会追踪执行轨迹、环境快照、服务端审计日志三类证据，避免“终态导向过强、过程感知不足”带来的安全漏洞、越权调用等隐患【12】。
行业专项基准
针对不同领域的Agent，已经有多个成熟的专项测试基准：比如面向代码Agent的Terminal-Bench2.1、SWE-benchPro；覆盖全行业的Agents'last exam，由伯克利RDI联合300+行业专家打造，横跨55个子行业，已有1500+可验证的高价值测试任务【14】。

三、两者的核心关联

测试Agent是落地Agent测试的重要工具载体，用自动化的智能测试主体，解决Agent测试里传统人工效率低、成本高的痛点。不过要注意避免普通Agent“自己写代码、自己测试、自己判断结果合格”的“运动员自己吹哨”问题，需要引入独立的外部验证器，通过自动运行测试、校验代码规范、验证接口返回、核查性能指标等方式，把“AI自证完成”转化为“系统证明任务达标”，规避结果失真的风险【6】。