欧盟人工智能法案如何重塑欧洲、中东和非洲地区的医疗科技

里面是什么 1 简介 3第一章需要新规则 5第二章理解人工智能法案 7第三章《人工智能法案下的风险分类》 11第四章现有法规与法案存在重叠 15 第五章用AlphaSense把握不断发展的AI格局 引言 自新冠疫情席卷全球以来，全球医疗市场不得不进行大幅度的自我革新，以应对一系列不可预测且动荡的事件。2020年，曾经牢不可破的供应链效率在全球封锁的背景下陷入停滞。疫情发生后出现的新的地缘政治冲突（例如，俄乌战争、以色列巴勒斯坦冲突等）给在战争中提供救命医疗服务带来了挑战。同样，慢性病治疗的需求数量激增。底线是：医疗保健领域的创新迫在眉睫，因为传统的或现有的医疗干预措施已力不从心。 提示人工智能（AI）和生成式人工智能（genAI）快速部署。仅几个月，这项技术重新构想了解决方案如何更高效、更有效地进行药物发现、研发、大规模数据分析、疫苗开发等。研究人员和医疗器械开发人员使用genAI来履行曾经繁琐、耗时的流程，对此仍充满兴奋。然而，这种兴奋已导致一些关于这项技术可能对整个行业造成问题的猜测。 为了规范人工智能在医疗保健领域的使用，消除潜在的有偏见的歧视或与其相关的隐私风险，欧盟最近引入了《人工智能法案》（AI法案），“世界上第一部综合人工智能法律。”该法案于今年5月由欧盟理事会通过，正促使医疗技术领域的领导者不仅要质疑这些规定如何影响已经存在的 医疗保健体系内的流通，但它对AI成为产业根基的未来意味着什么。 利用AlphaSense平台，我们揭示人工智能法案将如何在未来的几个月和几年中重塑医疗科技发展。发现能为您配备所需智慧，以保持在医疗科技行业前沿并灵活应对新兴技术和新法规的洞见。 第一章 需要新规则 简而言之，《人工智能法案》旨在建立欧洲人对人工智能好处的信任。尽管许多人工智能系统风险很小甚至没有风险，并且有潜力解决各种社会挑战，但有些人工智能技术带来风险那些需要被管理以防止负面后果的事项。 欧盟委员会声明, “通常无法作为找出人工智能系统为何做出决策或预测并采取特定行动的原因。因此，在评估某人是否因不公而受到不利对待时可能会变得困难，例如在招聘决策或申请公共福利计划时。尽管现有立法提供了一些保护，但这不足以应对人工智能系统可能带来的具体挑战。 该法案旨在完成以下事项： 解除带来不可接受风险的 AI 实践 为高风险人工智能应用的部署者和提供者设定具体义务 在给定人工智能系统投入服务或进入市场之前实施符合性评估 在人工智能系统进入市场后实施立法 在欧洲和国家层面建立治理结构 但这种影响如何体现在医疗科技公司身上？ 本质上，它影响了他们的合规责任，并保护了他们的经济利益。任何其AI系统的输出在欧盟使用的业务都必须遵守这项法律，无论公司或系统的位置如何。 在那意义上，真的没有办法了，他们会. 它开发者必须遵守本法确实将是一个针对这些特定AI产品的新监管空间，唯一的例外是这仅适用于高风险AI产品，这是大部分的.医疗保健领域使用的产品具有高风险 ，例如，如果它只是产品也可以是低风险在医院管理流程中使用，并不直接与患者接触，那么你就没有，你只需要遵守人工智能法案的每一部分为了表明它是一款安全的产品，就像你们会投放市场的任何其他产品一样。” — 行业专家 | 专家访谈文本 而对于医疗科技公司来说，现在是熟悉法案并采用负责任的AI实践的时候了。根据世界经济论坛实施负责任的AI流程通常需要大约三年时间。尽早开始的公司将在合规、获得利益相关者信任、优化AI的商业优势等方面处于更有利的位置。 第二章 理解人工智能法案 通用人工智能的广泛分布及其应用于今天几乎所有专业人士使用工具（即）律师使用ChatGPT为法庭引用案例）仅关注了这项技术的局限性— —或者缺乏局限性。在医疗保健行业，许多怀疑论者对患者信息、有偏见或歧视性的算法以及基因人工智能的不当使用表示担忧，这促使欧盟制定了一个立法框架，以保护患者和提供者。 在最根本的层面上，《人工智能法案》设定了如何利用人工智能和生成式人工智能的参数国家分散在医疗保健部门。 医学图书馆声明指出该法案“旨在（a）以促进“以人为本且值得信赖的 人工智能”和（c）“确保健康、安全和基本权利得到高水平保护”的方式，制定（b）“适用于人工智能的开发、投放市场、投入使用和使用”的统一内部市场规则”。 在其颁布的第一年，该法案将首先改革通用人工智能系统，在两年后，扩展到包含人工智能赋能的数字健康工具（DHTs），最终涵盖高风险人工智能系统（即DHTs）。 介绍了一系列新的义务它同时面向开发者、部署者、通知机构以及监管者，特别是与新建的AI办公室和欧盟委员会合作的人员。与其他欧盟法规一样，它涉及在市场上销售和使用的DHTs所开发的。 在欧盟之外，或者更具体地说，“专门为科学研究和发展而开发和投入服务的AI系统和模型。” 监管机构和医疗器械巨头们同样对法案的确切和明确的参数感到困惑。根据自然医学由于医疗保健人工智能具有横向性、广泛范围和快速变化的特性，因此其与现有法律的模糊和不明确交叉将产生许多问题。在这里，包括委员会、欧盟人工智能办公室、在MDR下负责制定医疗器械软件指南的委员会以及法院在内的责任机构的灵活性和智慧对于实现人工智能法案中提出的促进而非扼杀人工智能行业创业活动和创新的目标至关重要。 第三章 根据法案的风险分类 不可接受的风险 社会评分，人脸识别，暗黑模式AI，操控 高风险 关键基础设施中的安全组件，工作中的就业和绩效，获得教育，获得公共服务，保险使用，信用评分，边境控制，司法系统 有限风险 通用人工智能和具有特定透明度要求的人工智能系统，如聊天机器人、情感识别系统 最小风险 人工智能赋能视频游戏，垃圾邮件过滤器 不可接受的风险 将违反核心欧洲联盟原则的AI系统，包括尊重人的尊严、自由、平等、民主和法治，以及联盟承认的基本权利，归为不可接受的风险。因此，属于这种风险的AI系统被禁止。 换句话说，这些系统以下列方式开展流程、利用或生产委员会认定为非法的信息： 操控个人从事危险或不经意的行动，或做出他们原本不会做的决定的AI系统是有问题的。 此外，利用某些群体（例如基于年龄、残疾或特定的社会或经济条件）的漏洞的系统也引发伦理问题。 生物特征分类系统，它们分析像面部特征或指纹这样的数据来推断政治观点、宗教信仰或性取向等特征，也会引发问题。 同样地，在公共场所为执法目的使用实时生物识别技术，尽管存在一些例外情况，也是有争议的。 基于社交行为随时间对人进行分类的体系，即社会评分，是另一个担忧。此外，为评估工作场所或教育环境中的情绪状态而设计的AI技术应当被禁止。 高风险 这些人工智能系统通常具有高影响能力，因此可能带来系统性风险，这些风险可能影响联盟内人员的健康、安全和基本权利。 高风险系统用于与医疗保健技术行业相关的各种工具中，包括医疗设备（即任何作为IIa类或更高级别医疗器械或使用AI作为安全组件的AI系统）、用于紧急患者分诊治疗或手术的紧急分诊AI系统，以及用于监控或评估情绪识别的AI系统。 这些系统的更具体的例子包括： 人工智能辅助X射线诊断庇护健康风险筛查 医疗培训评估AI软件 医疗人力管理系统AI 高风险人工智能系统必须在进入市场前遵守委员会规定的义务。为了确保这些系统的有效性和可靠性，开发人员必须整合充分的风险评估和缓解系统，以及高质量参考数据集，以最大程度地降低风险和歧视性结果。 为问责目的，系统必须记录所有活动以确保其结果的可追溯性，同时开发者必须向当局提供关于系统及其目的的详细文档以评估合规性。在涉及消费者或最终用户保护方面，需要对接收系统采取适当的人工监督措施以最大限度地降低风险，并与高水平的鲁棒性、安全性和准确性相结合。 有限风险 有限风险指的是缺乏其人工智能使用透明度的系统。该法案规定了透明度义务，以确保消费者在必要时得到通知，从而与人工智能系统（例如聊天机器人）建立信任。例如，最终用户应被告知他们正在与机器互动，以便他们可以就如何评估所呈现的信息做出明智的决定。 提供商也必须确保人工智能生成的内容是可识别的。任何旨在就公共利益问题提供信息的、发布的人工智能生成文本都必须被标记为人工生成，包括构成深度伪造的音频和视频内容。 极小或无风险 处于最低风险下的AI系统没有任何限制或强制义务。最低风险或无风险的AI系统示例包括垃圾邮件过滤器以及具备AI功能的电子游戏。根据欧盟“目前欧盟使用的绝大多数人工智能系统都属于此类。”然而，委员会和理事会鼓励制定行为准则，旨在促进对低风险人工智能系统的自愿应用相关要求。 最终，委员会的风险导向策略要求组织评估其当前使用或计划实施的AI系统，并确定每个系统所呈现的风险等级。创建AI系统清单可作为此过程的一步初始步骤。一旦确定了风险等级，针对AI法案进行差距评估有助于组织评估其当前实践如何才能调整以满足合规要求，从而制定出结构化的计划。此外，公共部门实体必须考虑政府发布的关于AI技术伦理和负责任应用指南。 第四章 现有法规与法案存在重叠 尽管《人工智能法案》提出了保护社会免受潜在人工智能错误的崇高目标，但医疗技术专业人士之间对拟议的综合性《人工智能法案》以及它将如何共存或与现有立法协同工作——而不是阻碍生产和创新——的困惑并非新近出现。 该人工智能法案广泛适用于利用人工智能和生成式人工智能进行消费者使用的公司，它设定了参数根据欧盟政策为“保护和改善健康，确保所有欧洲人都能平等获得现 代高效的医疗保健，并协调涉及多个欧盟国家任何严重的健康威胁。” 然而，许多专家和业内人士认为，与其采取一刀切的方法，不如现有的部门 (MDR)和体外诊断法规 (IVDR)—可以被修改以应对人工智能技术的细微差别。 目前，这些特定领域的法律将人工智能驱动的医疗设备如果它是设计来作为辅助医疗决策的一种类型。这包括与 诊断、预防、监测、预测、预后、治疗或缓解健康状况相关的功能，以及支持与健康状况相关的生活方式改变。 该法案纳入了许多与 MDR 和 EU IVDR 中发现的规定相呼应的规定，例如对质量管理体系、技术文件和使用的要求医疗器械制造商已经说明。根据欧盟MDR和IVDR获得认证的公司可 能需要更新其技术文档，以符合欧盟人工智能法案的新规定。 除现有的欧盟MDR和IVDR要求外，该法案还针对人工智能系统引入了若干新规定，包括： 训练和测试数据集的治理与数据管理协议 增强的记录保存实践，例如在整个系统生命周期中进行自动事件记录 设计透明度，以确保用户能够理解并正确使用系统的输出 对设计中人工监督的要求 精度与网络安全标准 但医疗技术行业抱怨的是 MDR 和 IVDR 认证耗时且昂贵的负担，以及全球AI法案可能会使这个过程变得复杂。律师事务所Logan Hovell: 在mdr或ivdr项下，医疗器械的符合性评估可能是一个漫长（且昂贵）的过程（平均需要18个月或更长时间）。虽然行业正关注欧盟监管机构，以寻找使当前的ce标志过程更高效的方法，但人们也担心人工智能法案的应用可能会给通知机构的事务审查增加额外负担，并负面影响将ce标志贴在欧盟医疗器械上所需的时间。考虑到某些mdr/ivdr通知机构目前的工作量，这种潜在风险不能被忽视。 虽然人工智能法案的目标是在促进创新和保护用户免受人工智能带来的潜在风险之间取得平衡，但它在其风险分类中也为人工智能法案、MDR和IVDR之间的设备遗留了一个灰色地带 基于人工智能的医疗设备，如果它们作为产品的安全组件发挥作用，或者如果它们在联盟中被视为产品本身，则可能被归类为高风险人工智能系统 人工智能法案第一附件. 这协调法，如概述中所包含的，包括例如 MDR 和 IVDR 的法规，尤其是在需要第三方评估的情况下。在这种情况下，AI 医疗设备必须随后同时符合 AI 法和 MDR 或 IVDR。 尽管立法者努力精简重叠的法规，但仍有许多问题悬而未决。例如，AI法案