A2--杨萍--浅谈基于大模型的智能测试技术

智能测试技术现状

• AI for SE的研究：涵盖测试、分析、代码生成与理解等领域，包括NLP、CV、知识图谱等技术。
• 热门话题：
  • AI for Testing：25篇
  • Testing AI：34篇
  • 领域特定测试：48篇
  • 嵌入式系统：14篇
  • 移动App：21篇
  • 并行系统：8篇
  • 云服务：3篇
  • 区块链：3篇

LLM技术快速兴起

• 关键词：LLM/AIGC/AIGA、ChatGPT/Code Interpreter/Copilot
• 趋势：
  • 数据质量越来越重要
  • 垂直场景（Domain）的应用前景光明
  • 应用领域：应用开发、BI、营销
• 挑战：
  • Transformer的有限视野
  • 过时和矛盾的输出结果
  • 顽固的幻觉问题
  • Prompt Engineering
  • In-Context Learning
  • Fine-Tuning
  • Autonomous Agents

LLMforTesting典型场景

单测生成

• 优势：降维突破语言之间的壁垒，利用传统方法为LLM生成提供大量训练数据
• 示例：
  • CodaMOSA (ICSE 2023)
  • ChatTester (ArXiv 2023)

GUI测试

• 优势：从非结构化的GUI页面中提取有意义的信息，生成具有语义相关性的输入
• 相关工作：
  • Qtypist
  • LIBRO

自动程序修复

• 优势：生成更加多样性的补丁
• 相关工作：
  • Xia C S, Wei Y, Zhang L (ICSE 2023)

字节的探索与实践

单测生成

• 模型：Bart、CodeT5、Vicuna、Bloomz、StartCoder、PolyCoder
• 微调：函数级Fine-Tune，文件级Fine-Tune
• 数据增强：传统工具先生成
• 评估指标：CodeCoverage，可用性，正确性

识别与修复风险代码

• 风险代码：缺少必要合法性检查的代码
• 常见类型：校验缺失
• 技术挑战：
  • 如何利用LLM解决不同类型的风险代码
  • 如何利用LLM自身语言逻辑解释SFT任务

未来展望

• TestPilot：接管大量测试活动
• Te stCopilot：改变现有用例生产模式
• 提升效率：提升现有测试活动效率
• 大模型应用：处于初期阶段，将继续围绕“改造存量工具平台”与“完成更复杂的软件活动”演进
• 质量领域：需要更加准确和可靠
• 合规与安全：将促使SE/ST在大模型的应用中扮演更加重要的角色