医疗健康大模型伦理与安全白皮书

出版单位/组织名称： 上海交通大学复旦大学上海交通大学医学院附属瑞金医院蚂蚁集团 Editor 编 写 工 作 组 专 家 委 员 会（ 按 照 姓 氏 首 字 母 排 序 ） 吴 梦 玥 上 海 交 通 大 学徐 汉 辉 复 旦 大 学杨舟 蚂 蚁 集 团徐 宇 辰 上 海 交 通 大 学 医 学 院 附 属 瑞 金 医 院黄 飞 跃 上 海 交 通 大 学 医 学 院 附 属 瑞 金 医 院王烁 上 海 交 通 大 学金 豪 桉 上 海 交 通 大 学应瀚 蚂 蚁 集 团季 嘉 程 复 旦 大 学石 佳 成 蚂 蚁 集 团 陈震 复 旦 大 学 附 属 肿 瘤 医 院程 晓 博 复 旦 大 学 附 属 中 山 医 院睢 素 利 北 京 协 和 医 学 院刘 月 树 天 津 中 医 药 大 学刘乐 天 津 医 科 大 学 附 属 第 二 医 院吕 宝 粮 上 海 交 通 大 学上 海 交 通 大 学 医 学 院 附 属 瑞 金 医 院 马 永 慧 厦 门 大 学孙 晓 宁 上 海 交 通 大 学唐健 天 津 医 科 大 学王玥 西 安 交 通 大 学俞凯 上 海 交 通 大 学张 新 庆 北 京 协 和 医 学 院张 海 洪 北 京 大 学 医 学 部张 洳 源 上 海 交 通 大 学 Ab 随 着 人 工 智 能 技 术 发 展 ，医 疗 健 康 大 模 型 兴 起 ，但 在 应 用 中 面 临 诸 多 问 题 。本 白 皮 书 旨 在 全 面 剖 析 医 疗 健 康 大 模 型 应 用 的 各 方 面 情 况 ， 包 括 技 术 分 析 、伦 理 法 律 评 测 、模 型 评 测 及 提 升 措 施 等 ，为 其 安 全 、有 效 、合 规 应 用 提 供 指 导 ，促 进 医 疗 行 业 智 能 化 发 展 ， 保 障 患 者 权 益 与 医 疗 质 量 。《 医 疗 健 康 大 模 型 应 用伦 理 与 安 全 白 皮 书 》 围 绕 医 疗 健 康 大 模 型 展 开 多 方 面 探 讨 ， 对 推 动 其 在 医 疗领 域 的 合 理 应 用 意 义 重 大 。 本 白 皮 书 主 要 内 容 主 要 包 含 一 下 四 个 方 面 ： 首 先 是 医 疗 大 模 型 应 用 技 术 分 析 ， 阐 述 医 疗 健 康 行 业 现 状 及 大 模 型 应 用 场景 ， 如 疾 病 诊 断 、 个 性 化 治 疗 等 ， 同 时 指 出 其 面 临 的 数 据 隐 私 安 全 、 质 量 一致 性 、 伦 理 问 题 、 技 术 基 础 设 施 及 法 规 合 规 等 挑 战 ； 介 绍 开 发 技 术 框 架 及 数据 收 集 、 训 练 、 部 署 、 推 理 应 用 等 环 节 的 技 术 要 点 ； 说 明 行 业 大 模 型 在 医 疗领 域 应 用 框 架 的 各 组 件 功 能 ； 通 过 实 例 给 出 大 模 型 最 佳 实 践 建 议 。 其 二 ， 介 绍 通 用 大 模 型 评 测 框 架 的 任 务 定 义 、 数 据 准 备 和 评 测 方 法 ； 概 述医 疗 健 康 领 域 大 模 型 评 测 的 科 学 性 、 安 全 性 、 合 规 性 、 伦 理 道 德 等 方 面 ， 并列 举 中 文 医 疗 健 康 评 测 集 ； 以 M e d B e n c h 和 M e d E t h i c E v a l 为 例 展 示 评 测实 践 过 程 。 其 三 ， 聚 焦 于 医 疗 健 康 大 模 型 伦 理 与 法 律 评 测 框 架 ， 分 析 大 模 型 应 用 中 的伦 理 法 律 风 险 ，如 知 情 同 意 、隐 私 、歧 视 、不 透 明 性 等 问 题；构 建 包 含 应 用 场 景 、伦 理 规 范 与 法 规 数 据 集 、 评 测 考 点 数 据 集 及 主 观 题 类 型 与 评 测 标 准 的 评 测 框架 。 最 后 ， 对 于 大 模 型 伦 理 与 安 全 提 升 措 施 做 出 建 议 。 从 数 据 安 全 防 控 、 伦 理合 规 建 设 、 技 术 可 靠 性 与 风 险 监 控 、 监 管 与 评 估 体 系 建 设 等 方 面 提 出 风 险 防控 措 施 ； 阐 述 提 升 医 疗 健 康 行 业 大 模 型 专 业 性 的 多 种 方 式 ； 说 明 大 模 型 伦 理与 法 规 对 齐 的 方 法 ； 强 调 行 业 人 才 在 大 模 型 能 力 提 升 和 风 险 防 控 中 的 重 要 作用 及 相 关 培 养 措 施 。  n t e n t s 12封面摘要 概述 1.1 大语言模型技术发展概述1.2 医疗健康大模型概述56 大模型应用技术分析 2.1 大模型在医疗健康领域应用的机遇与挑战7 2.1.1.医疗健康行业现状以及大模型应用场景2.1.2.大模型在医疗健康领域应用的挑战78 2.2 医疗健康行业大模型开发技术9 2.2.1.开发技术框架2.2.2.数据收集和构建2.2.3.训练2.2.4.部署2.2.5.推理应用910121213 2.3 行业大模型在医疗领域的应用框架14 2.3.1.意图识别组件2.3.2.RAG组件2.3.3.工具库组件2.3.4.安全风控组件15151718 2.4 医疗大模型应用实践案例18 2.4.1.小瑞健康2.4.2.夸克健康助手2.4.3.AI健康管家AQ192021 医疗大模型评测 3.1 通用大模型评测框架25 3.1.1.任务定义3.1.2.数据准备3.1.3.评测方法252729 3.2 大模型在医疗健康领域的评测概述31 3.2.1.科学性：从通用能力到医学专业能力的提升3.2.2.安全性：从潜在风险识别到安全输出保障3.2.3.合规性：确保法律与行业标准的严格遵守3.2.4.伦理道德：从责任性到文化适配的全面评估3.2.5.中文医疗健康评测集3131313233 3.3 大模型在医疗健康领域的评测实践37 3.3.上海AI Lab医疗健康数据集MedBench37 医疗健康大模型伦理与法律评测框架 4.1 医疗健康大模型应用中的伦理法律风险39 4.1.医疗健康大模型应用中的伦理法律风险4.1.1.知情同意4.1.2.用户隐私4.1.3.数据歧视4.1.4.不透明性4.1.5.幻觉与错误信息4.1.6.违反伦理及法律规定39393939394040 4.2 医疗健康大模型伦理与法律评测框架41 4.2.1.应用场景4.2.2.医学伦理规范与卫生法规数据集4.2.3.评测考点数据集4.2.4.主观题类型及评测标准42424343 4.3 医疗伦理MedEthicEval评测数据集43 大模型伦理与安全提升措施 5.1 大模型应用的风险防控措施45 5.1.1.数据安全防控5.1.2.伦理合规建设5.1.3.技术可靠性与风险监控5.1.4.监管与评估体系建设45464646 5.2 医疗健康行业大模型专业性的提升方式48 5.2.1.医疗数据的微调与任务定向优化5.2.2.意图识别与分发优化5.2.3.RAG技术的应用5.2.4.多轮对话与上下文管理机制5.2.5.内容生成的精准与个性化5.2.6.后台运营干预与人机协同5.2.7.架构协同优化48494950505050 5.3 医疗健康行业大模型伦理与法规对齐方式51 5.3.1.医疗伦理与法规准则嵌入5.3.2.伦理对齐微调与动态反馈5.3.3.内容生成风险分级与安全管理5.3.4.日常伦理治理与持续评估51515152 5.4 行业人才在大模型能力提升和风险防控重点重要作用52 5.4.1.医疗健康领域的人才需求分析5.4.2.人才教育体系的调整与创新5.4.3.界合作与持续学习机制5.4.4.人才评估与认证体系52535454 参考文献 参考文献55 附录59 概述SUMMARY 近年来人工智能（AI）技术的飞速发展，各行各业正在经历一场颠覆式的科技革命，早期的模型以判别式为主，主要通过大量的自然语言预训练语料，来让模型学习词句的语意，从而实现文本分类、命名实体识别（NER）、关系抽取等偏向于理解的任务，此类判别式模型也通常只能解决该场景下的特定任务，迁移性和可扩展性较为有限。自2017年由Google团队提出的Transformer[1]模型架构以来，模型的参数规模和理解能力得到了大幅度的提升，同时GPT（Generative Pre-trainedTransformer）[2]这种生成式预训练架构的出现，为文本生成领域带来了革命性的进展[3]。GPT及其后续版本（如GPT-2、GPT-3等）采用了基于自回归（Autoregressive）的生成方法，即根据已有的前文信息逐词预测下一个词语的概率分布，从而实现高质量的文本生成。与传统的监督学习方法相比，生成式预训练模型的优势在于它们可以在大规模未标注语料库上进行预训练，然后通过少量有标签数据的微调来适应特定任务。这种方法极大地降低了对大量人工标注数据的依赖，同时也加速了模型的迭代更新过程。 随着时间的推移，模型的规模得到了快速的膨胀，参数量从最初的数亿增长至如今的数千亿，从而人工智能的发展迈入了大语言模型时代。这些大语言模型不仅可以用于经典的NLP任务，还在多轮对话、文案生成、编程辅助、多模态交互等新兴应用场景中展现出巨大的潜力。越来越多的领域如医疗、媒体、艺术、金融等[4]，都在积极采用大语言模型，以提升效率、促进创新和优化决策。 在众多应用领域中，医疗行业尤其展现了大语言模型的巨大潜力和重要性。截至2023年12月，我国互联网医疗用户规模已达3.94亿人，占网民整体的33.8%，研究报告指出预计未来几年内,中国互联网医疗市场的规模将保持高速增长态势，用户对互联网医疗服务有着迫切和强烈的需求[5]。随着医疗数据的快速增长和诊疗需求的日益复杂，大语言模型凭借其强大的自然语言处理能力，成为这一行业中不可忽视的技术力量。它能够高效整合和分析海量医疗文献、研究数据和患者记录，为医疗行业提供更多的智能化支持工具。然而，医疗行业在引入大语言模型时面临着独特的挑战。与其他行业相比，医疗领域对答案的严谨性、安全性以及合伦理性有着更高的要求[6]。任何错误的诊断或决策都可能直接影响患者的健康和生命，因此，如何确保大语言模型在医疗应用中的正确性、可靠性和符合伦理，是这一技术应用中的关键问题。 医疗健康大模型概述 医 疗 健 康 大 模 型 是 一 种 结 合 了 大 语 言 模 型 的 强 大 交 互 能 力 和 海 量 的 医 疗 专 业 知 识 的 智 能 系 统，专门 用 于 解 决 医 疗 和 健 康 领 域 中 的 各 种 问 题。这 些 智 能 利 用 海 量 专 业 医 疗 文 献 和 问 诊 数 据 进 行 训 练 了基 座 大 模 型，外 接 了 专 业 的 医 疗 相 关 知 识 库 用 于 补 充 推 理 时 的 知 识 依 据，涵 盖 了 包 括 疾 病 诊 断、个性化治疗、药物发现、医学影像分析等诸多方面。 得益于多年以来的医疗数字化的数据积累，这些大模型拥有全面的医学知识覆盖，通过不断整合和学习最新的医疗知识，模型涵盖了从基础医学、临床医学到公共卫生等各个领域。无论是疾病的病理机制、药物的作用机理，还是最新的治疗指南，模型都能提供详尽的信息。其次通过达模型强大的自然语言处理和交互能力，医疗健康大模型可以理解和生成高质量的医学文本，与医护人员和患者进行自然流畅的交流。此外，利用医疗健康大模型高效的数据处理与分析能力，能够快速分析大量的医疗数据，发现有价值的医学信息和趋势。这种能力不仅有助于疾病的早期发现和精准诊断，还可以辅助临床决策，提高医疗服务的整体效率。 大模型应用技术分析ANALYSIS 在 本 章 中