2024年欧洲数字质量状况

数字质量状况在欧洲 执行摘要 作为全球领先的测试和数字质量公司，Applause具有独特的视角。我们的团队成员深入参与了全球领先技术和创新者的测试及测试策略。《数字质量现状报告》借鉴了部分我们的研究成果，旨在帮助组织提高整体数字质量、加快产品发布速度并提升效率。 可访问性与包容性设计、支付、本地化——如今还包括用户 Experience（用户体验，UX）和人工智能（AI）。 这些框架为组织和团队提供了一种方法来基准其当前能力，并规划改进方案。虽然某些团队在某些领域已经取得了卓越的成绩，但只有少数团队能够在其数字体验的各个方面全面嵌入质量文化。这是一个艰巨的目标，更难的是保持这种状态——每次发布都会带来新的代码需要测试，需要编写文档，更新并执行测试案例，还需要做出各种决策。这始终是一个不断变化的目标。而 Applause 的团队——以及大多数最终用户——都相信这个目标是值得追求的。 在过去三年中，Applause分析软件开发、测试和质量保证的趋势，以衡量数字质量的状态。除了挖掘我们crowdtesting平台的数据外，我们还对社区和企业客户进行了调查，以便更好地了解开发组织在数字质量连续体中的位置。 去年，我们引入了框架以帮助组织评估其向实现全面数字质量迈进的进展，包括它们应采用的核心能力、实践和流程。这些框架涵盖了功能测试等方面的内容。 今年报告的要点 将无障碍性视为组织的首要优先事项，仍有29%的受访者表示没有直接让残疾人（PWD）参与设计或测试过程。此外，46%的受访者表示他们缺乏内部资源进行无障碍性测试——这一事实似乎与将无障碍性视为首要优先事项的事实相矛盾。 衡量成功仍然是一个挑战。欧洲 组织依赖多种衡量标准和KPI来从多个维度评估数字质量，以客户为中心的指标是最常见的成功指标。尽管依赖多种KPI，许多团队仍然缺乏对其表现完整情况的理解。 Ǫ高质量的用户体验决定了生成式AI（Gen AI）的成功与否。尽管生成式AI在未来具有高度个性化的能力，但目前组织要想让客户感到满意和被重视，最好的方法是专注于用户体验（UX），提供能够考虑到不同市场和人口统计学群体偏好的体验。我们的AI调研发现，27%的Gen AI用户因用户体验和性能问题而更换了服务。在市场上，只有无情地追求令人愉悦的机会并持续致力于消除缺陷、摩擦和偏见，才能脱颖而出，因为每个竞争者都在争夺市场份额。 Ǫ流程和文档往往因紧迫的截止日期而被忽视。在欧洲，少于三分之一的受访者表示其组织拥有全面的测试案例和测试计划文档。尽管大多数团队认识到清晰定义的测试方法论、准确的文档记录以及在整个软件开发生命周期（SDLC）中进行测试和反馈的基本价值，这些战略重点往往为了速度而被牺牲。 Ǫ尽管数字 Accessibility 资源是一项优先事项，但实际上仍然缺乏。根据我们2024年的 Accessibility 和包容性设计调查，欧洲受访者中有26%的人表示缺乏相关资源。 Methodology 我们分析了2023年执行的一份代表性样本封闭测试周期的结果。一个测试周期是Applause定义的每一套独特测试：客户向我们提供测试参数——构建、范围、覆盖率等——然后我们创建一个包含特定测试案例和场景的测试周期。此外，我们在全年对uTest社区和Applause客户进行了多次调查，以识别不同类型的数字体验在开发、测试和消费者偏好方面的趋势。 160机顶盒 / 流媒体设备 79移动制造 1,266移动模型 34游戏控制台 12移动操作系统 1,450智能电视 385移动操作系统版本 63电视提供商 59ISPs 225移动运营商 该数据涵盖多个行业、测试类别和区域，包含超过748,000次测试运行、成千上万的设备，以及数千种设备/操作系统/浏览器组合。测试包括现实场景中的网站、物联网设备、移动网页和移动应用。 763信用卡 / 借记卡 27桌面 Web 浏览器 43电子钱包 功能测试 往往，组织过于专注于快速发布，而忽略了为长期成功做好准备。保持代码整洁、编写良好的测试用例、记录测试运行结果以及利用数据来集中努力，可以使得开发和质量保证团队both更加有效率和高效。这些任务还为他们后续的扩展打下了基础，使其能够在最小化成长痛苦的情况下实现规模扩张。 欧洲功能测试的代表性样本 去年，Applause测试人员在全球范围内执行了近75万个测试案例。尽管大约有80%的测试案例通过，但剩余未通过的20%测试案例反映了各种严重程度和范围的缺陷，从毁灭声誉的重大灾难到细微的可用性挑战。这一比率在各行业中相对平均，通常被视为一个良好的比率。由于功能基础和代码的变化，每次发布和测试周期都有改进的空间。没有人期望完美——然而，团队仍然继续寻找并解决严重影响用户体验的问题。 12.1 K 试验循环 43 个国家 理想情况下，数字质量应更加注重于预防而不是查找缺陷，在整个开发阶段创建系统和过程以防止缺陷的发生。所有框架都假设对应功能测试框架的许多/大多数元素已经在位。 功能测试框架 数字质量的出现 ： 数字质量要点 ： 数字质量扩展 ： 数字质量卓越 ： 初步定义和记录流程与程序；在测试工作方面建立一定的一致性和结构。尽管团队可能拥有自己独特的流程，但努力仍可能被孤立。 清晰的流程和广泛的测试类型已到位。部分报告机制已建立。重点在于组织范围内覆盖范围、可扩展性和效率。 缺乏一致的系统、流程和文档——虽然个人可能有自己的方法和文档，但组织并没有一致的质量方法或做法。 质量嵌入公司的 DNA 中 ， 并从端到端的所有产品和体验中。 测试活动和流程示例 ： 测试活动和流程示例 ： Ǫ在整个 SDLC 、冲刺 (in - sprint) 和分期 / 预生产中进行测试Ǫ将客户的声音融入产品设计和开发Ǫ跨所有接触点提供卓越的 UXǪ维护强大的测试用例管理流程Ǫ自动化所有人类无法做得更好的重复测试Ǫ定期审查和完善测试流程Ǫ主动平衡手动功能测试、探索性测试和自动化测试的使用；记录各种测试类型的应用场景。Ǫ探索新的测试流程 ， 以保持高水平的质量、效率和覆盖范围Ǫ推动整个 SDLC 的创新Ǫ使用报告分析趋势并确定需要改进的领域 Ǫ根据有关网站 / 应用程序使用情况的数据维护定义的设备覆盖矩阵Ǫ对所有工作流进行回归测试Ǫ针对新功能 / 应用程序更改测试用户接受度和 UXǪ利用测试自动化进行重复性测试 ； 定期审查和更新自动化脚本Ǫ记录所有功能的测试用例 / 套件Ǫ通过数据和报告衡量质量 KPI Ǫ记录基于特性的测试的测试用例Ǫ确保测试用例编写清晰Ǫ定义设备覆盖矩阵Ǫ维护已知问题 / bug 积压列表Ǫ测试发布预生产Ǫ对主要应用程序组件或工作流程进行单元、烟雾和回归测试Ǫ对新功能 / 应用程序更改执行探索性测试Ǫ记录测试运行结果Ǫ自动执行频繁 / 很少更改的测试 ǪDogfoodingǪ开发后进行反应性测试Ǫ不记录测试案例或测试运行结果而进行测试；或者记录质量差——基于 Bug 报告可能无法重现缺陷。Ǫ运行测试用例不一致Ǫ跳过测试用例文档或以使它们难以遵循或重现的方式编写测试用例Ǫ实践一些探索性测试Ǫ使用不同的环境进行开发、测试和生产 为了确定大多数组织在该框架中的位置，Applause 对欧洲地区的软件开发和质量专业人士进行了调查。以下是部分调查发现。 虽然有24.5%的欧洲受访者表示其组织拥有全面的端到端测试流程和文档，并且这些流程和文档在组织内所有产品中一致使用，但仍有11.7%的受访者仍处于建立数字质量计划的最早阶段。最多比例的受访者（41.7%）已经有一些明确的测试流程、文档和报告，并正在努力在整个组织范围内推广这些流程，而其余的受访者虽然已有部分基础元素，但仍需进一步巩固质量计划的其他关键要素。 在数字质量方面 ， 您会如何对组织的结构和一致性进行排名？ 数字质量不仅仅是打勾或进行某些活动那么简单。那么不同群体是如何定义质量和监控其进展的呢？组织机构正在使用多种指标来评估数字质量。 大多数组织也在进行各种类型的测试。尽管大多数欧洲组织主要侧重于功能测试，我们发现许多公司正在增加对非功能测试的投资以提高竞争力。 最常见的质量指标 尽管在整个软件开发生命周期（SDLC）中进行测试是最佳实践，许多欧洲组织并未实施。在今年的调查中，36.8%的受访者表示他们的组织仅在SDLC的测试阶段进行测试；另有6.7%的受访者表示仅在部署阶段进行测试。 当被问及团队在开发过程中执行哪些类型的测试和质量控制程序时，受访者报告采用了各种不同的方法。最常见的活动包括： 59.0%单元测试 55.0%检查暂存中的 Bug 30.0%静态代码审查 如何定义探索性测试 ？ 将近60%的欧洲基于团队在每次发布中都会纳入探索性测试，并且相似比例的团队表示他们在更改功能或工作流程时会进行探索性测试。 同时进行学习、测试设计和执行。它侧重于发现，并依赖于个体测试员的指导来发现其他测试范围之外不易覆盖的缺陷。 让测试人员花一些时间探索应用程序中发生变化的部分，可以提供一种简便的方法，在客户在典型使用模式中遇到这些问题之前发现其中的缺陷。特别是在创意测试人员手中，集中进行探索性测试可以迅速发现潜在问题并确保更好的发布版本。 探索性测试是一种非正式的测试方法，其中测试人员动态地探索软件、设计并执行测试用例，并根据即时反馈调整测试策略。该方法强调了解系统、发现缺陷，并在测试过程中不断优化测试场景。 您多久进行一次探索性测试 ？ n = 381 47.2%每当我们推出一个新功能 53.0%每当我们改变功能或工作流 60.9%每一次释放 灵活进行测试， tester 的技能和经验至关重要。这些测试使我们能够发现最初未被考虑的缺陷。 大多数欧洲组织报告称，质量保证（QA）团队进行测试（占比78.8%），而有38.1%的受访者表示只有QA成员参与测试。通常，在某些阶段会有多个团队提供测试支持，其中29.7%的受访者提到工程人员进行测试，15.3%的受访者包括DevOps团队参与测试。 无论由谁进行测试，确保工作人员有机会测试应用程序的不同部分或执行各种类型的测试，以保持新的视角并减少盲点或测试疲劳的可能性。 您的团队如何使用测试报告和指标 ？ 功能测试建议 将变化作为持续改进过程的一部分。而 一致性是质量的一部分，适应性也是如此。定期回顾每个流程，审查其存在的原因，是否仍然必要，以及是否有更好的方法来实现相同的目标。根据需要调整组织执行某些任务的方式，以更好地利用可用资源、消除低效并减少覆盖面的缺口。 在整个设计、开发和 部署。尽早开始这一过程可以使调整、适应和演变变得更加容易，从而节省时间和资金。这些关键资源为企业提供了竞争优势，使企业在努力推出更优质、更快捷的产品的同时最大化利润。 专注于建立可重复且可扩展的系统和流程，作为卓越数字质量的基础。当开发和测试的所有相关人员都明确了解各自的角色、责任、需求和测试程序时，更容易识别并填补漏洞。让数据引导你。利用现有报告来确定哪些领域需要最的关注，以便改进组织内的覆盖面、一致性和代码质量。 可访问性和包容性设计 数据集 欧洲可达性测试的代表性样本 尽管访问性通常始于符合性和合规性，一旦组织接纳以同理心为基础的设计和开发，用户体验将显著提升。我们的客户表示，转向包容性设计后，这种转变创造了一种持续创新的循环，惠及所有用户，而不仅仅是残疾人。 随着欧盟无障碍法案（EAA）于2025年6月正式生效，全球组织对无障碍和包容性设计的关注显著增强，提高了所有应用程序开发人员和技术团队的标准。 10 个国家 无障碍框架 数字质量卓越 ： 数字质量要点 ： 该组织有一套明确的流程以确保无障碍功能到位，并采用多种测试类型。部分报告已经建立。重点在于整个组织范围内覆盖范围、可扩展性和效率。 对适用法律和监管要求的理解有限。缺乏正式的系统、流程和文件记录，没