应对人工智能在系统文献评论中用于数据提取的挑战

应对人工智能在系统文献评论中用于数据提取的挑战Rito Bergemann卫生经济学和结果研究副总裁 Parexel Access Consulting© 2023 Parexel 国际 （ MA ） 公司。 前言系统的、符合 HTA 标准的文献综述是卫生经济学和结果研究 (HEOR) 的一个基本方面。此过程的组成部分是系统文献综述 （ SLR ） 中的数据提取，以及随后的评估，以用作数据驱动的证据包的一部分。利用人工智能 (AI) 来提高 SLR 流程的效率、有效性和准确性，可以在证据评估阶段提供增加和扩展时间和资源分配的机会，从而为证据包提供潜在的更多见解。然而，这个机会带来了挑战和考虑，需要监督和能够利用技术的有经验的从业者的密切参与。通过 Parexel 在 SLR 流程中实施 AI 的经验，我们确定了五个重点领域，这些领域对于解决在 SLR 中使用 AI 进行数据提取至关重要，并确保将其用作综合和评估特定证据的有价值和道德的工具。- Wyatt Gotbetter ， 高级副总裁和全球负责人 Parexel Access ConsultingSummary人工智能 （ AI ） 具有显着提高系统评价 （ SLR ） 数据提取效率的潜力，这对于综合医疗保健干预措施的有效性和安全性的证据至关重要。但是，使用 AI 从 SLR 的科学文献中提取临床数据也带来了一些挑战，需要仔细考虑并整合到经验丰富的专家的实践中，这些专家精通证据评估的最佳实践。在 SLR 中使用 AI 的挑战数据质量如果用于训练 AI 的数据质量差或有偏见 ， AI 可能会做出不正确或有偏见的决定缺乏透明度人类可能很难完全理解人工智能算法是如何做出决定的 ， 导致提取过程缺乏透明度。有限的覆盖范围人工智能系统可能无法从所有类型的科学文献中提取数据 ，数据提取人工智能系统可能很难准确捕获所有相关信息伦理考虑系统评价中的人工智能提出了道德方面的考虑 ， 例如潜在的偏见和决策过程中透明度的需要Conclusion人工智能具有显着提高系统评论数据提取效率和准确性的潜力，这给它的使用带来了挑战。为了应对这些挑战，并确保在系统评价中负责任和透明地使用人工智能，必须仔细设计和测试人工智能算法，使用多样化和代表性的数据样本，并考虑在这种情况下使用人工智能的道德含义。人类智能，人类主题专家在数据提取中仍然扮演着最重要的角色，没有仔细和周到的人类监督就无法使用 AI 工具。2© 2023 Parexel 国际 （ MA ） 公司。 IntroductionSLR 是合成和评估特定主题证据的既定方法。它们涉及一个系统和透明的过程，用于从相关研究中识别，选择和提取数据，并综合和分析数据以得出有关所研究主题的结论。数据提取是 SLR 过程中的关键步骤，因为它涉及以标准化格式从每项研究中识别和提取相关数据。数据提取可能是一个耗时的过程，手动完成时会出错，特别是对于大型和复杂的评论。它需要熟练的审稿人仔细阅读和解释每一项研究，并准确识别和提取相关数据。这可能是具有挑战性的，因为研究可能以各种格式呈现数据，包括表格，图形和文本，并且可能难以准确捕获所有相关信息。此外，大型 SLR 中可能包含的大量研究可能使手动数据提取成为一项压倒性的劳动密集型任务。为了应对这些挑战，研究人员越来越多地将 AI 作为 SLR 中数据提取的工具。人工智能算法可以被训练来识别和提取特定类型的数据，并以标准化的格式准确地解释和组织数据。这可以大大减少数据提取所需的时间和精力，并有助于最大程度地减少错误和遗漏，但只能与研究人员应用的策略，专业知识和观点一样好。人工智能使用的五个维度及其面临的挑战1: 数据质量挑战数据质量是使用人工智能从科学文献中提取临床数据进行系统评价的关键因素。系统评价是综合医疗保健干预措施有效性和安全性证据的重要工具 ， 从文献中提取的数据的准确性和可靠性表明了评价的有效性。如果用于训练人工智能的数据质量差或有偏见，人工智能可能会做出不正确或有偏见的决定，这可能会导致系统审查的结果不准确或误导性。质量差的数据可能包括不完整、不明确或不可靠的数据。当用于训练人工智能的数据不能代表感兴趣的人群时，或者当数据反映了收集或记录它的人的偏好或偏见时，就会出现偏见。© 2023 Parexel International (MA) Corporation. 3 解决方案为了确保用于培训 AI 的数据的质量 ， 必须仔细选择和预处理数据。这可以包括验证数据的准确性和完整性 ， 删除重复或不相关的数据以及标准化数据以确保其格式一致等步骤。使用多样化和代表性的数据样本也很重要 ， 以确保 AI 接受广泛的数据培训 ， 以反映感兴趣人群的多样性。确保用于训练 AI 的数据的质量对于确保 AI 进行的数据提取的准确性和可靠性至关重要。这可以帮助确保系统审查基于高质量的证据 ， 这对于为临床实践和政策提供信息至关重要。2. 缺乏透明度挑战当使用人工智能从科学文献中提取临床数据进行系统评价时 ， 人工智能算法的决策过程缺乏透明度可能是一个挑战。人类可能很难完全理解人工智能算法是如何做出决策的 ， 导致提取过程缺乏透明度。这种缺乏透明度可能是有问题的，原因有几个。首先，审稿人很难理解所做决策的基础，因此很难确定人工智能是否正在进行准确可靠的提取。这可能会影响系统评价的可靠性和有效性，因为可能很难识别和纠正数据提取中的任何错误或偏见。其次 ， 缺乏透明度也会引起人们对提取过程的问责制和公平性的担忧。如果审稿人无法理解人工智能是如何做出决定的 ， 那么它可能很难让人工智能对提取中的任何错误或偏见负责。如果人工智能做出对患者或其他利益相关者有重大影响的决策 ， 这可能会特别有问题。Third, it is important for an SLR to be reproductic using the approach used by the reviewer. This can be challenging if the decision - making process of the AI algorithms is not transparent.4 © 2023 Parexel 国际 （ MA ） 公司。 解决方案使用可解释的 AI 算法 ， 旨在以人类可以理解的方式为其决策提供解释 ， 可以确保系统评论中使用的 AI 算法是透明的。审阅者可以更好地理解 AI 决策的基础 ， 这可以帮助提高提取过程的透明度和问责制。3 ： 有限的覆盖范围挑战人工智能系统可能无法从所有类型的科学文献中提取数据 ， 例如非英语语言文章或格式为图形、图像和非标准化表格的数据。这可能会限制系统综述的覆盖范围 ， 并可能排除重要证据。解决方案为了应对这一挑战，可能需要结合使用人工智能和人类审查，以确保所有相关文献都包含在系统审查中。这可能涉及使用 AI 从标准格式的文章中提取数据，并使用人工审阅者从非标准格式或非英语语言的文章中提取数据，并验证提取的准确性和完整性。这可以帮助确保提取是准确和可靠的，并且所有相关数据都包括在审查中。另一种方法是使用 AI 从标准格式的文章中提取数据 ， 并使用人工审核人员来验证提取的准确性和完整性。这可以帮助确保提取的准确性和可靠性 ， 并且所有相关数据都包含在审核中。4 ： 数据提取挑战从科学文献中提取临床数据可能是一项复杂的任务 ， 因为它涉及从大量文本中识别和提取特定的信息。当使用人工智能提取数据进行系统评价时 ， 这种复杂性可能会带来挑战 ， 因为人工智能系统可能难以准确识别和捕获所有相关信息。© 2023 Parexel International (MA) Corporation. 5 这种复杂性的一个方面是可能需要提取各种数据以进行系统审查。临床数据可能包括有关正在研究的干预措施，研究设计和人群，测量结果和研究结果的信息。提取这种不同范围的数据需要 AI 从大量的文本 / 表格 / 图像甚至补充材料中准确识别和提取特定的信息。复杂性的另一个方面是信息在科学文献中的呈现方式可能存在差异。不同的作者可能会使用不同的术语 ， 格式或结构来呈现相同的信息 ， 这可能使 AI 难以准确识别和提取相关数据。解决方案为了解决这些挑战并确保数据提取的准确性和可靠性 ， 必须精心设计和测试提取过程中使用的 AI 算法。这包括为任务选择合适的 AI 算法 ， 并确保对代表性数据样本进行适当的训练和测试。可能还需要微调 AI 算法以提高其性能和准确性。结合使用人工智能和人工审查可以帮助确保系统审查是全面的 ， 并包括所有相关证据。它还可以帮助减轻与单独使用人工智能相关的风险 ， 例如提取过程中可能存在偏见或缺乏透明度。5 ： 道德挑战除了对偏见和透明度的担忧之外，人工智能用于决策支持也引发了关于责任和问责制的问题。谁对 AI 做出的决定负责和负责 ？ 重要的是要仔细考虑这些问题，并确保清楚了解谁对 AI 做出的决定负责和负责。6 © 2023 Parexel 国际 （ MA ） 公司。 如果用于训练 AI 算法的数据有偏差，或者算法以偏差的方式设计或实现，则 AI 算法可能会有偏差。这可能导致 AI 做出有偏见或歧视性的决策，这可能会对受这些决策影响的个人造成严重后果。例如，如果用于制定招聘决策的人工智能算法对某些人群有偏见，这可能会导致工作场所的歧视。为了解决这一伦理问题，重要的是要确保用于训练人工智能的数据是多样化和代表性的，并设计和测试人工智能算法以最大限度地减少偏差。另一个道德问题是人工智能算法的决策过程缺乏透明度。人类可能很难完全理解人工智能算法是如何做出决策的，导致决策过程缺乏透明度。这可能是有问题的，因为个人可能很难理解人工智能做出的决策的基础，也很难确定人工智能是否正在做出准确可靠的决策。为了解决这种道德问题，重要的是确保用于决策支持的 AI 算法是透明和可解释的，以便个人能够理解 AI 决策的基础。解决方案总体而言，使用人工智能进行决策支持提出了几个道德考虑因素，包括潜在的偏见、透明度的需要以及责任和问责问题。解决这些伦理问题的一种方法是确保用于决策支持的 AI 算法以透明和可解释的方式设计和实施，以便个人能够理解 AI 决策的基础。此外，考虑基于人工智能的决策对不同群体的潜在影响，以确保人工智能算法不会永久存在。或加剧现有的不平等或偏见。此外 ， 在人工智能的决策产生负面后果的情况下 ， 建立明确的问责和追索权机制非常重要。通过仔细考虑这些道德因素 ， 我们可以确保负责任地和道德地使用人工智能进行决策支持。© 2023 Parexel International (MA) Corporation. 7 人类智慧人工智能机器学习深度学习人类智能优于 AI 、 ML 和 DLConclusion在 SLR 中使用 AI 进行数据提取有可能显着提高过程的效率和准确性。借助自动化和减少手动审核的需求，AI 可以帮助减少时间和精力，并有助于最大限度地减少错误和遗漏。然而，在这种情况下使用人工智能也带来了挑战和道德考虑，需要仔细考虑。为了确保在 SLR 中使用 AI 进行数据提取是一种有价值的道德工具，用于综合和评估特定主题的证据，我们必须解决这些挑战和道德考虑。人类智能，人类主题专家在数据提取中仍然扮演着最重要的角色，没有我们的仔细监督，人工智能工具就无法使用。8 © 2023 Parexel 国际 （ MA ） 公司。 我们总是可以交谈Parexel 国际公司2520 Meridian Pkwy, 达勒姆, NC 27713, 美国+1 919 544-3170遍布欧洲、亚洲和美洲的办事处© 2023 Parexel International (MA) Corporation