大语言模型威胁分类

人工智能控制框架工作组的永久和官方访问地址为：https://cloudsecurityalliance.org/research/working-groups/ai-controls ©2024云安全联盟-版权所有。您可以下载、存储、在您的计算机上显示、查看、打印并链接到云安全联盟网站https://cloudsecurityalliance.org，但须遵循以下规定：(a)该草案仅供个人及非商业性用途使用；(b)不得以任何形式修改或更改该草案内容；（c）不得重新分发该草案；(d)商标、版权或其他声明不得被移除。您可以根据美国版权法的合理使用条款引用草案的部分内容，但需注明出处。 致谢 报告中文版支持单位 中国移动云能力中心，注册名称为中移(苏州)软件技术有限公司，是中国移动通信集团于2014年3月在苏州成立的全资子公司。云能力中心主要承担中国移动云的技术研发、资源建设、业务运营、服务支撑等相关业务，自研了弹性计算、数据库、云存储、云网络、云安全等200余款覆盖云计算全产业链的产品，产品丰富度行业第二，为全国的工业、政务、医疗、教育、交通、金融等行业提供云计算、大数据及各类信息化解决方案。 参与本次报告的专家： 王浩硕，云能力中心安全产品部负责人赵玲玲，云能力中心安全产品部研发管理专员付怀勇，云能力中心安全产品部产品经理李雨含，云能力中心安全产品部产品经理薛四青，云能力中心安全产品部软件开发工程师吴云飞，云能力中心安全产品部综合管理专员 中国移动云能力中心作为云安全联盟大中华区（CSAGCR）的理事单位，为该报告的翻译工作提供了必要的支持。这种支持并不涉及对CSA在研究内容开发和编辑方面的决策权和控制权，确保了CSA在这些核心领域的独立性和自主性。 报告英文版编写专家 主要作者 审稿人 PhilAlgerIlangoAllikuzhiBakrAbdouhVinayBansalVijayBolinaBrianBrinkleyAnupamChatterjeeJasonClintonAlanCurranSandyDunnDavidGeeZackHamiltonVicHargraveJerryHuangRajeshKambleGianKapoorRicoKomendaVaniMittalJasonMortonAmeyaNaikGabrielNwajiakuMeghanaParwatePrabalPathakRuchirPatwaBrianPendletonKunalPradhanDr.MattRoldanOmarSantosDr.JoshuaScarpinoNataliaSemenovaBhuvaneswariSelvaduraiJamillahShakoorTalShapiraAkramSheriffSrinivasTatipamulaMaria(MJ)SchwengerMahmoudZamaniRaphaelZimme SiahBurkeMarcoCapotondiDanieleCattedduKenHuang 贡献者 MarinaBregkouSanitraS.AngramVidyaBalasubramanianAvishayBarMonicaChakrabortyRicardoFerreirAntonChuvakinAlessandroGrecoKrystalJacksonGianKapoorKushalKumarAnkitaKumariYutaoMaDannyManimboVishwasManralJesusLunaMichaelRozaLarsRuddigheitDorSarigAmitSharmaRakeshSharmaKurtSeifriedCalebSimaEricTierlingJenniferTorenRobvanderVeerAshishVashishthaSounilYuDennisXu 序言 在人工智能技术迅速发展的背景下，大语言模型（LLM）已成为推动技术创新和业务转型的核心力量。其在自然语言理解、生成与处理方面的强大能力，正深刻改变着人与信息、技术的互动方式。然而，随着LLM应用的广泛推广，伴随而来的是一系列复杂的风险和挑战，尤其是在安全性、隐私保护和合规性方面，全球范围内的应对压力愈加凸显。 为应对这些挑战，CSA大中华区发布《大语言模型威胁分类》报告，旨在为行业提供一个全面的风险管理框架，帮助各行业识别、评估和管理LLM应用过程中可能遇到的风险。本报告详尽地分析了LLM的关键资产、服务生命周期、影响类别和威胁类别，为政策制定者、技术专家和行业决策者提供了一个清晰的理解和应对LLM相关风险的框架。报告的主要内容包括LLM资产的分类，详细描述了从数据资产到模型参数的各个方面；LLM服务生命周期的管理，涵盖了从准备到退役的各个阶段；以及LLM服务的影响和威胁类别，包括数据泄露、模型操纵、供应链安全等关键领域。 希望这份报告能成为LLM风险管理和安全控制领域的关键参考资料，帮助各界在应对LLM带来的技术挑战时做出更明智的决策，为未来的研究、政策制定以及行业发展提供坚实的理论支撑。 李雨航YaleLiCSA大中华区主席兼研究院院长 目录 目标与范围.......................................................................................................................12与CSAAI控制框架的关系.....................................................................................141.大语言模型概述............................................................................................................121.1.数据资产............................................................................................................151.2.云上大语言模型运维环境................................................................................171.3.模型....................................................................................................................181.4.服务编排............................................................................................................201.5.AI应用............................................................................................................222.LLM服务的生命周期....................................................................................................242.1准备.....................................................................................................................252.2开发.....................................................................................................................272.2.1设计阶段...................................................................................................272.2.2发展供应链...............................................................................................282.2.3训练阶段...................................................................................................282.2.4开发过程中的关键考量...........................................................................292.3评估与确认.........................................................................................................292.3.1评估...........................................................................................................292.3.2验证/红队.................................................................................................302.3.3重新评估...................................................................................................302.3.4评估/验证过程中的主要考量.................................................................312.4部署.....................................................................................................................312.4.1编排...........................................................................................................322.4.2AI服务供应链...........................................................................................322.4.3应用...........................................................................................................322.4.4部署过程关键因素...................................................................................33 2.5交付........