王俊杰-基于多模态大模型的用户界面交互和测试

用户界面测试现状和挑战

• 现有测试工具（如Monkey、Fastbot2等）面临挑战，包括合适文本输入、连续长串操作、复合操作、页面功能理解及逻辑错误的发现。
• 成果：相关研究发表在ICSE、TSE、CHI等旗舰会议/期刊，并在贝壳找房、抖音、华为鸿蒙生态等应用中验证。

测试输入生成技术

• 通过设定语言模式生成提示，基于当前页面内容生成文本输入。
• 评估：通过率0.87，显著提升活动量和错误检测（122%），应用于GUI测试工具。

面向测试路径规划的自动化GUI测试技术

• GPTDroid：将自动GUI测试问题转化为交互式问答任务，让LLM理解GUI语义信息并自动推断操作步骤。
  • 核心技术：GUI上下文提取、GUI提示和执行命令生成、功能感知记忆提示。
  • 评估：平均活动覆盖率75%，检测错误数比最佳基线高32%。
• VisionDroid：视觉驱动、多智能体协作的自动化GUI测试方法，用于检测非崩溃功能错误。
  • 智能体分工：
    • 探索器：导航应用、捕获视图层次和截图，引导探索。
    • 监督器：记录探索历史，触发检测器。
    • 检测器：通过GUI页面变化逻辑判断潜在功能错误。
  • 挑战与解决方案：
    • 视觉和文本对齐：集成文本属性与视觉上下文，标注可操作组件。
    • 功能导向探索：从详细探索序列中抽象功能，避免超限。
    • 测试预言推断：功能感知链式思维，先推断预言再检测错误。
  • 评估：精度50%-72%，召回率42%-65%，平均召回和精度提升显著。

针对文本输入的模糊测试技术

• Unusual Text Inputs Generation：通过LLM生成异常文本输入，检测崩溃错误。
  • 生成规则：插入特殊字符等。
  • 评估：发现率72%-78%，显著高于基线。

面向文本输入组件的交互提升技术

• HintDroid：预测文本输入的提示文本。
  • 核心模块：
    • GUI实体提取和提示。
    • 示例丰富提示。
    • 反馈提取和提示。
  • 评估：
    • 准确性：优于所有基线。
    • 有效性：帮助视障用户填写输入，提升输入准确率。
    • 用途：生成高质量提示文本。

总结和展望

• 挑战：测试覆盖率不足、页面元素复杂、描述模糊、大模型输出标号和描述对不上。
• 展望：进一步优化功能导向探索、视觉与文本对齐、测试预言推断等技术。