陈磊-接口测试遇见大模型：难点，弯路与实践指南

陈磊京东前测试架构师 陈磊 公司职位京东前测试架构师 •阿⾥云MVP、华为云MVP•《接⼝测试⽅法论》、《持续测试》、《软件研发效能权威指南》《京东质量团队转型实践：从测试到测试开发的蜕变》、《软件研发⾏业创新实战案例解析》•极客时间专栏“接⼝测试⼊⻔课” 大 模 型 时 代 下 测 试 技 术 的 困 境 测 试 和 大 模 型 落 地 走 过 的 弯 路 目录 提 示 词 工 程 和 软 件 测 试 技 术 大 模 型 驱 动 下 的 接 口 测 试 本 地 大 模 型 驱 动 下 的 接 口 测 试 技 术 选 择 的 教 训 大模型下测试技术的困境和选择 大模型时代下测试技术的困境 人工智能驱动测试，就是研究如何使用计算机去做过去只有人能够做的智能的测试工作内容。测试工程师在这个工程承重变成了决策者和工具链的维护和创造者。 大模型时代下测试技术的困境 惊艳的能力 文生图 文生文 DALL-E 2、Midjourney、Stable Diffusion 输入提示词，生成内容 输入提示词，生成内容 输入提示词，生成图片 大模型应用技术的选择：想用大模型 微调 训练 就像小狗要被选拔为救生犬，除了简单的指令之外还需要学会特殊的搜救技能 就像小狗学会坐下，反复给它指令和奖励，直到它自己能听懂命令并做出反应。 提示词工程 RAG 就像是训练一只小狗捡球，先让它学会找到球（检索信息），然后再教它如何把球带到你面前（生成回答），通过这样的组合训练，让小狗（模型）更聪明，能更好地完成任务。 就像你让已经训练好的小狗去完成帮你把拖鞋拿过来一样。 测试和大模型落地走过的弯路 测试和大模型落地走过的弯路 训练模型 测试和大模型落地走过的弯路：LoRA PEFT的LoRA： 提示词工程和软件测试技术 提示词工程 CoT下的测试用例生产 l若投⼊5元纸币，并选择购买5元⾯值票，完成后出票，提示购票成功。l若投⼊5元纸币，并选择购买10元⾯值票，提示⾦额不⾜，并退回5元纸币。l若投⼊10元纸币，并选择购买5元⾯值票，完成后出票，提示购票成功，并找零5元。l若投⼊10元纸币，并选择购买10元⾯值票，完成购买后出票，提示购买成功。l若输⼊纸币后在规定时间内不选择票种类的按钮，退回的纸币，提示错误。l若选择购票按钮后不投⼊纸币，提示错误 等价类测试用例设计方法是把输入的参数域划分成若等价类,这些等价类包含了有效等价类和无效等价类，有效等价类是指对于程序的规格说明来说是合理的,有意义的输入数据构成的集合，利用有效等价类可检验程序是否实现了规格说明中所规定的功能。无效等价类是指对于程序的规格说明来说是不合理的,无意义的输入数据构成的集合，利用无效等价类可检验程序是否有效的避免了规格说明中所规定的功能以外的内容。然后从每个等价类中选取少数代表性数据作为测试用例，每一类的代表性数据在测试中的作用等价于这一类中的其他值。特别注意，一条测试用例可以覆盖多个有效等价类，一条测试用例只能覆盖一个无效等价类####使用等价类测试用例设计方法需要经过如下几步：#### step1：对输入的参数进行等价类划分，在划分等价类的时候，应该遵从如下的一些原则：####在输入条件规定了输入值的集合或者规定了必须满足的条件的情况下,可确立一个有效等价类和一个无效等价类。在输入条件是一个布尔量的情况下,可确定一个有效等价类和一个无效等价类。布尔量是一个二值枚举类型,一个布尔量具有两种状态: true和false。在规定了输入数据的一组值（假定n个）,并且程序要对每一个输入值分别处理的情况下,可确立n个有效等价类和一个无效等价类.例：输入条件说明输入字符为:中文、英文、阿拉伯文三种之一，则分别取这三种这三个值作为三个有效等价类，另外把三种字符之外的任何字符作为无效等价类。在规定了输入数据必须遵守的规则的情况下,可确立一个有效等价类（符合规则）和若干个无效等价类（从不同角度违反规则）。在确知已划分的等价类中各元素在程序处理中的方式不同的情况下,则应再将该等价类进一步的划分为更小的等价类####step2：####将等价类转化成测试用例，按照[输入条件][有效等价类][无效等价类]建立等价类表,等价表可以用 输出按照如下步骤输出：####step1:#### <step 1 reasoning >step2:#### <step 2 reasoning >测试用例：#### <response to customer>最后一定要输出一个markdown的表格形式测试用例，其他都不用了。 Prompt模板 G O P S全 球 运 维 大 会 暨X O p s技 术 创 新 峰 会2 0 2 4·北 京 站 CoT下的测试用例生产 G O P S全 球 运 维 大 会 暨X O p s技 术 创 新 峰 会2 0 2 4·北 京 站 大模型驱动下的接口测试 本地大模型驱动下的接口测试 技术选择的教训 高效运维社区DevOps时代 感谢大家观看