2023年数字质量报告

数字质量状况 Contents 03执行摘要04Methodology05功能测试11可访问性测试17本地化测试22客户旅程测试25付款测试29Conclusion 执行摘要 →训练和测试支持更高个性化的AI和机器学习(ML)引擎需要专门的数据和许多企业没有的知识-并且很难找到。掌声的AI和语音调查发现，86%的受访者担心人工智能的偏见，公司必须解决这些偏见，以保持客户的信任和忠诚度。 今年报告的一些亮点： →数字质量是一个交叉的学科。功能，本地化，可访问性，付款，客户体验和UX相互渗透。从整体上而不是孤立地评估应用程序或数字体验的不同组件，以真正了解客户与您的品牌的接触。掌声测试人员去年发现了200, 000多个缺陷，很明显，开发组织在追求卓越方面还有很长的路要走。 →Applause的2023年可访问性和包容性设计调查发现，43%的受访者将可访问性列为他们的组织。近四分之三- 72％-报告说他们的公司有专门的员工无障碍专家。产品设计师和工程师正在更快地将可访问性构建到产品和代码中而且比过去更频繁。→随着更个性化的体验成为常态，组织必须评估更多设备的功能和UX组合、配置、工作流和维度。测试矩阵和应用程序本身变得越来越复杂更难管理。 第二年，掌声分析了我们的测试数据的代表性样本 ，以确定和分析最常见的 我们评估了超过16, 000个个人移动设备、1, 000个独特桌面和500个操作系统版本的体验，以评估网络、浏览器、 →虽然公司采取了许多不同的数字质量的方法和沿着不同路径的进步，我们已经观察到与承诺的不同阶段相对应的一些共性-和我们提供了一些简单的框架，而不是正式的成熟度模型，组织可以使用这些框架来衡量不同维度的数字质量工作的结构，效率，有效性和可扩展性。虽然文化，流程和成熟度水平是动态的，并且在一个阶段结束和另一个阶段开始时并不总是有明确的界限，但诚实地看待现状可以突出哪些努力将对数字质量产生最大的影响。 全球的支付工具和一体化。基于我们与不同行业和地区的公司的合作，我们对数字质量状况拥有独特的洞察力技术成熟度级别，他们正在创建广泛的应用程序类型。 今年，我们包括了有关不同地区最频繁测试的设备，配置和支付工具的其他数据 and industries, as well as the average number ofconfigures tested. We also shared observations on thecore capabilities, practices and processes in place at对数字质量的不同程度的承诺。 Methodology 设备覆盖范围 我们分析了2022年1月1日至2022年12月31日之间执行的封闭测试周期的代表性样本的结果。测试周期是掌声如何定义每个独特的集合 本报告中的数字反映了全球范围内以下范围的测试： 测试：客户端向我们发送测试参数-构建，范围，覆盖率等-我们创建一个测试周期，其中包括要测试的特定测试用例和场景。 我们分析了跨行业、测试类别和地区的数据，这些数据涵盖了超过200, 000个Bug、数万个设备和数千个设备/操作系统/浏览器组合。 测试包括现实世界中的网站，应用程序，物联网设备，移动Web和移动应用程序场景。 功能测试 从长远来看是有效的。如果你推迟了测试套件的维护，请举手， 数据集 询问开发人员，QA工程师和用户应用程序是否有效，您可能会得到三个截然不同的答案。 在测试进行时发布，从其他部门获得帮助以完成测试，或者因为没有时间而带着风险发布。 功能测试的代表性样本。 个人用户确定每个应用程序是否运行良好，足以让他们采用它。从基础知识开始-从确保用户可以下载和安装应用程序，到验证更复杂的工作流程和集成，包括API， -组织必须在向客户发布应用程序之前确保基本功能......这并不总是开始解决UX问题。 虽然功能测试本身通常并不困难，但在必要的时间范围内进行所需的测试数量，跨越所需的设备和操作系统配置，对许多QA和开发构成了挑战此外，团队通常优先考虑测试，而不是开发测试策略或做日常工作，使测试更有效 Bug类型故障 Bug类型定义 查看我们分析的数据中每种类型的错误的患病率： 17.8%Content4.8%碰撞49%Functional3.9%滞后和延迟24.5%视觉 尽管崩溃是最严重的缺陷,但它们继续困扰着应用程序,没有任何逐年改进的迹象。 有关功能测试器件覆盖率比较和测试的最受欢迎器件，请参见附录A. 金融科技如何确保创新和卓越 功能测试框架：核心能力和实践 如果您的组织正在建立或增强系统以确保质量，使用本报告作为制定计划的指南，涵盖最常见的设备，新兴的支付形式，以及围绕可访问性和本地化，因为这些是趋势。掌声看到组织在提高质量和用户体验时拥抱。 拥有领先金融交易平台的掌声全球金融科技客户面临着保持质量，创新和人员管理的挑战。数百种应用程序需要在高风险平台内无缝运行，但该公司正在努力发布新功能，同时维护大量回归测试套件。此外，所有测试人员都必须训练有素的金融交易。 在我们与全球客户的互动中，掌声看到了各种各样的数字质量方法。我们的新框架详细说明了我们通常观察到的阶段，随着公司迈向数字卓越，完整 带有组织类型的示例 金融科技与掌声合作监督全面交付和参与管理，从70多个国家/地区招募一支由50多名具有金融服务经验的高级测试人员组成的团队，在18个工程团队中工作。掌声拥有QA职能在金融科技合作伙伴，并提供最好的关于测试策略的实践和指导。金融科技通过最大限度地减少泄漏到生产中的错误来防止收入损失，对常见的功能问题有更深入的了解，并且拥有可以根据需要扩展的QA团队。 capabilities and activities that characterize stage. Whilemost companies and teams mix practices from differentstages in the following table, a single stage typicallydefined the 企业对质量的普遍态度。 尽管级别之间似乎没有明确的界限，但最接近该过程的人会在某个时候意识到从一个点到下一个点的转变已经发生。 该框架可以作为一个有价值的起点，帮助您了解组织在数字质量方面的进展以及如何升级以获得与提高质量和可用性相关的竞争优势。 功能测试框架 数字质量要点： 数字质量的出现： 数字质量卓越： 数字质量扩展： 缺乏正式的系统，流程和文档-而个人可能有自己的方法和文档，组织没有一致的质量方法或方法。 定义和记录过程和程序的早期阶段；围绕测试工作建立一些一致性和结构。团队可能有自己独特的过程，工作可能仍然是孤立的。 质量嵌入到公司的DNA中，并从端到端的所有产品和体验中，并在整个SDLC中进行测试和反馈。 该组织有明确的流程，并使用了广泛的测试类型。一些报告已经到位。关注整个组织的覆盖范围、可扩展性和效率。 典型的测试活动和流程示例： 典型的测试活动和流程示例： 典型的测试活动和流程示例： 典型的测试活动和流程示例： →开发后进行反应性测试→在不记录测试用例或测试运行结果的情况下运行测试；或记录不佳→不一致地运行测试用例→跳过测试用例文档或编写测试用例，使它们难以遵循或重现→练习一些探索性测试和dogfooding→使用不同的环境开发、测试和生产 →整个SDLC的测试，包括预生产中的冲刺测试→将客户的声音融入产品设计→在所有接触点提供卓越的UX和体验→保持强大的测试用例管理流程自动化所有人类无法做得更好的重复测试→定期审查和完善测试流程→主动平衡手册功能性、探索性和自动测试；记录何时使用每种测试类型探索新的测试流程以提高质量、效率和覆盖面→推动整个SDLC的创新→使用报告分析趋势并确定需要改进的领域 →记录基于功能的测试的测试用例→确保测试用例编写清晰→定义设备覆盖矩阵→维护已知问题/ bug积压列表→生产前测试发布→对主要应用程序组件或工作流程进行单元、烟雾和回归测试→执行新功能/应用程序更改的探索性测试→记录测试运行结果→自动化频繁执行/很少更改的测试 →维护已定义的设备基于有关网站/应用程序使用情况的数据的覆盖率矩阵→对所有工作流进行回归测试→测试用户接受度和UX以获取新功能/应用程序更改→利用测试自动化进行重复性测试；审查和定期更新自动化脚本→记录所有功能的测试用例/套件→通过数据和报告测量质量KPI 功能测试建议 不必要的时间让新的团队成员加快速度，试图确定哪些测试是运行的，是如何运行的，并且绝望地回溯以找到缺陷何时以及如何溜走，没有预防措施来防止系统故障再次发生。 主动检查您的测试实践如何为您的组织服务，最重要的是，为您的最终用户和客户服务。要真正改进，你需要了解你的 当前状态，这可能是孤立的或不一致的不同团队，产品，组，甚至个人团队成员。工作和复制，以及什么是不工作，需要解决。如果你的组织已经取得了卓越，认为关于你需要做些什么来保持它职位以及如何为其他团队和企业提供榜样。 认识到实现卓越并不意味着工作已经完成。理想情况下，作为您的QA 实践的改进，你会发现问题在开发周期的早期，当他们更容易，更便宜地修复，而不是当他们达到生产。如果你没有发现缺陷在测试过程中，这很好-但这并不意味着您应该停止测试。它只需要一个缺陷就可以达到生产客户体验，并根据严重程度影响收入。卓越是一种持续的随着新技术和创新进入市场，移动目标。虽然你可能会高度自动化和成熟的一些应用程序，以保持竞争优势，你可能需要开发新的功能，你的客户需求。保持对质量的投资至关重要。快速适应和扩展的能力取决于保持您构建的功能。保护他们，以降低风险，保持你的竞争优势。 卓越的质量不仅仅需要测试时间；它需要管理测试策略以及捕获和评估数据的时间。及时为开发人员和测试人员构建文档流程，审查 与团队合作，并定期更新以确保他们仍然工作，并且每个人都遵循这些流程。不投资于质量计划的基本要素的组织，包括记录过程，管理测试用例和记录测试运行结果，将花费 测试自动化的作用 此外，您的团队采用的自动化方法，例如脚本测试与低代码/无代码解决方案，会影响哪些测试是自动化的最佳候选。 QA的所有方面都不可能自动化。然而，有效的测试自动化策略是 这是实现DevOps和卓越数字质量的关键组成部分。不幸的是，太多的组织难以建立、维护和扩展测试自动化当团队了解自动化的目的，目标和局限性时，就有可能开发出一种策略，该策略可以轻松扩展并释放人类测试人员来完成自动化无法处理的任务。 自动化的前5项测试 我们对自动化的前5项测试的建议分为以下几类，并且经常重复并易于编写脚本： 投入时间和精力的团队定义战略、选择和 1.单元测试 实现工具和开发自动化脚本库可以改善覆盖范围，并摆脱单调。 2.回归测试 经常运行具有可重复步骤和预期结果的测试为自动化投资提供了最大的回报。需要复杂设置的测试也是强大的候选人对于自动化，因为错误设置测试可能在测试时间方面代价高昂，并且可能导致发布失败。但是，创建假阳性和定期中断的自动化测试会给团队带来问题，而不是减轻负担。 3.烟雾测试 4.集成测试 5.性能测试 可访问性测试 仍然是，组织必须满足全球无障碍法规遵从性national accessibility laws around the world, as not doso creates legal exposure. In fact, in the 2022, in the U.S., there were 2, 387 web accessibility laws filed, whichincluding an收到多起诉讼的公司同比增长143%。3 数据集 世界卫生组织的最新估计是，六分之一的人，即全球人口的16%，患有某种形式的残