核心观点
QuarkMed 是由阿里巴巴集团 Quark Medical 团队开发的一款针对医疗领域的大型语言模型(LLM),旨在解决通用 LLM 在医疗应用中的局限性。该模型通过整合精心策划的医疗数据、先进的检索增强生成(RAG)技术和多阶段强化学习训练,实现了在医疗领域的专业知识和准确性。
数据来源
QuarkMed 的训练数据主要来源于三个方面:
- 医疗材料:包括教科书、临床指南、共识声明、学术文献、药品说明书、医学百科全书和临床路径等,涵盖了事实性、概念性和程序性知识。
- 医疗知识:通过知识转换技术将结构化数据(如知识图谱)转换为自然语言数据,增强模型的知识应用能力。
- 医疗记录:包括公开的在线医疗咨询对话和去识别化的电子健康记录(EHR),提供真实的临床叙事、诊断推理和治疗计划。
训练方法
QuarkMed 的训练过程分为三个阶段:
- 指令微调(IFT):通过构建包含数百个核心任务和超过 40 万个高质量样本的指令数据集,提升模型理解和执行专业医疗任务的能力。
- 监督微调(SFT):利用合成数据和真实在线数据,训练模型进行高级理解和推理,并增强其安全性和准确性。
- 强化学习(RL):分为两个阶段,第一阶段专注于推理任务,提升模型在疾病诊断、合理用药和检验选择等方面的推理能力;第二阶段则通过多维度的奖励机制,使模型的行为与人类偏好和价值观保持一致。
评估结果
QuarkMed 在多个公开和内部医疗基准测试中表现出色,包括:
- 医疗问答(QA):在 MedQA、MedMCQA、PubMedQA、CMExam 和 AfriMed-QA 等数据集上取得了优异的成绩。
- 医疗推理:在 MedXpertQA、DiagnosisArena、RareBench 等数据集上表现出强大的推理能力,仅次于一些闭源模型。
- 基础医疗能力:在 MMLU 和 MedCalc 等基准测试中展现了出色的临床计算能力。
研究结论
QuarkMed 是一款功能强大且通用的个人医疗 AI 解决方案,已在数百万用户中提供服务。该模型的出现标志着医疗 AI 领域的一个重要里程碑,为开发更可靠和有效的医疗 AI 工具提供了新的思路。未来,QuarkMed 将继续发展,朝着多模态、实时个性化等方向发展,为全球医疗健康事业做出更大的贡献。