LLM驱动数字安全——2024年AI安全系列报告

LLM-Driven Digital Security 报告信息 报鲁方向：AI安全报告类型：研究报告报告名称：LLM驱动数字安全报告编号：DWC_20240507 主笔分析师：新鹭量（战略分析师&合伙人）分析团风：数世咨询-数字安全研究院智库支持：效字安全百人会报告审核：李少腾（首常分析师&创始人) 阅读须知 >本报告的研究方向案焦于如何通过LLM（LargeLsnguageModel）齐紧载我国效字安全，以及怎样应用效字安全这一重直额域的各类LLMs齐初实提升我国数字安全能力，关于LLM自身的安全性，以及如何保障各类LLMS乐和应用的实全并不是本报告创的克间，相关内弃款请关注数世管询后续AI安全（LLM基仙安全，AI治理等方向）相关研究. >本报告分析使用的相关数据（载止日期2024年4月7日）以两方面获取一是公开信息的收集，二是相关供应商的沟通， >据数世咨询组略统计，现阶段国内兵备LLM研发或应用能力的数字安全供应商有28家左右，本次人选报告的有17家，有些具备LLM相关应用能方的供应商并未出现在本报告中，是国为通过课人的沟通后，自于供应商经营战略以及品库建设和产品规划的原因，等不添合参与本次报告。 >本报告谢研的供应商包措两类，一和数世咨询保持有效沟通的，二是通过公开信息搜寻的，如果有具备L山LM相关的安全应用能力但并未收到数世咨研邀请的供应商，欢迎联系本报告主笔分新师（16601182683微信同号）进行交流 本报告入选标准 >具有LLM驱动数字安全的自主研发能力， >投人了一定规模的资源，如算力，人力等， >产品具备商业化能力，已有真实落地或试用案例。 >接受数世咨沟的谢研与访液，并承诺美供数器的真实性。 安全大模型卓越能力供应商 （孩品牌字母排序字） 关键发现 一虽然“安全大模型”(LLM驱动的安全能力）的应用还处在早期阶段，但用户方面已经展现出较强的采购意惠，这样的现发主要来源于LLM通现出的新兴能力在安全运营中实现降本增效的合理预期，以及用户内部创新研究的资效率引.一LLM提升了交互性并较大的增加了可部释性和推理能力，“安全大模型的出现有助于安全价值可视化与用户体验两方面实现质的飞联慎仿人的思维两方面，在单纯的攻防技术层面，尚末发理期覆性的创新与应用，高投人服务于高价值，现阶段由于我国数字化程度的不充分以及安全工作价值的不直观，高投人的L山LM并不运用于所有安全场景，较高的投入产出比和较多的适川方间为“大型+小模型”，即“安全度宫”。“要全大实型”的应用主要集中在攻防对抗驾能化，政脉将深度化，安全势识科普化和安全运营效率化4个方面，少量安全专项能力应用，集中在数据分析和代码应用2个方面，9）中展现出强大的能力，有效降低了数据打标过程中的资源投人，基本替代了人力劳动，极大缩短了项目实能时间。从全球范国来看，由于效字化建设程度和治理模式的区别，我国“安全大模，全大模型”的资源投人，算力雷求和应用性能之间作出权衡，但这也以侧面激励了其应商对原训练数据和指令读整的质量进行不斯免化，来减少训练计算量和推连算力，现阶段我国“安全大模型”的发展主要受制十算力资源聚张，长久齐看则取决于安全法治、AI基础研究和科技治理（开案、开改）的发展， “安全大模型”未来的发展方向是能解决多场景的关联任务，即“安全指挥官”，高领形态需具备多模态和多类型安全逐辑的“安全AGI”能力 第1部分LLM与数字安全的关系 如说军事实力、经济实力是全球范田内大国博奔所使用的一对翠头，那么在世界格局动幕百年术有之大变局中，抢占AI(ArtificialLntelligece，人工智能）高地就是额主之争的战略目标，因为AI可以让孕头打得更准、打得更疼。 1950年，艾伦·图灵提出了图灵测试的低念，指出如果一个机器能够在人类无密区分的程变上模货人美的对话，那久款可以说这个机器具有智能，由此开始专家系统、神经网路直到领度学习的兴起，一次次的推动誉AI浪剂。 2016年，AlphaGo击败了臣祺世界冠军李世石，AI一石激起千层浪引起了全现范E内对AI应用的广泛讨论，发展至今，AI已经利用机器学习，自然语言处担、计算机视党，人机交互等核心能力对人类生产和生括方式造行了诺多期覆性的改造，包括但不限于：(以下回客由“豆包”提供) AI在一整领确实具有限量性的作用，可能会能读改变人们的生活和工作方式，以下量一些可能妥男重大影响的领减 +自动驾较：A驱动的自动驾波技术有可能改变文酒运编行业，超高交通安全和效率。，医疗保建：A可以辑结获病诊断、药物好发，基至退供个性化的医疗方案，+金需服务：A可以用于风险管湿、信用评估和投要建议，可能改查全融行业的运作方式。+教育：个性化学习、智常辅导和数学评估等A安用可常会重塑教育损式，+制造业：智能工厂和自动化生产可能会提高制造主的效军和灵活性，艺求与娱乐：A生成的内客，如音乐，给通和文学作器，可能会就或传统的创作损式 当然，这叠领域的资革并非一鼠西就，还需要技水的适一少发展相相关法律、伦理等问题的解决。你觉得恶个领的题量性作用最让你感到慢还更 自2022年开始，在自然语言处理舒中的LM(Largo Language Model）的突装性进展文一次路人炎带来了巨大的冲击，以ChatGpt3，DALL，E3，Son为代表的研究成果使得人类距高实现AGI[Artificial General Intelligence，通用人工智能)更进一步，而最近Derin和Figure-1的发布，将“硅基生命”的未齐再一次清围 的展现在“碳基生命”眼前， 加LLM在实能各产业的同时也在逐彩成自身的产业生志，我国巨经在国家层面确立了LLM发展的战略高度。同吋，国内文心一言。通义千间，虽火、盘古、云案.混元.360奇元，智请清言，百川，MaanshetAI等LLM也在不断的成长着，毫搭社区中更总浓现出个人开发者在LM应用上的百花齐放. 回到数字安全领域，有关LLM的研究和讨论主要包含LLM安全（AI治理，AI安全防护方向）和LLM驱动安全两类 LLM安全方面，除AI基础设链.款件供应链，社会工程与现有数字安全技术 解决方案具有高的四配性外，其他方向的数字安全技术，群决方案均雷根据A工理和1M原理进行升级以人根本上解缺安全间题，才第体现出令人意的效果，） 数世咨询认为，在AI治理以及相关算法和数损安全这几个细分赛道，术米会谢4一批以LLM研发为核心能力的新兴数学安全供应商，并成长为传统数学安全供定我的主要觉争者 LLM驱动安全方面，是数字安全供应商创新能力和技术沉淀的最佳战场，也悬本次报告的核心关注点，利用LLM对安全能力进行改造以及各类安全项章账能是现阶段最其技术可行性和应用落地性的方式 效世咨询认为，通过LLM的账能，可以有效提升各类安全场景中的工作效率造应并匹配新质牛产力的特性要求，真正实现高质量发展和高水平安全的目标更为重要的是，只有LI.M驱动的数字安全才能对抗利用II.M的数字协。 1.1LLM的新兴能力 作为自然语言处理领城的重大突被，LLM革新了人机交互，知识获取、内容生或方式，这些变车的产生，主要源于LLM新兴能力的涌现，而数字变全也止是利月这些新共能力，改变了用户的体验， LLM的新兴能力是在小型模型中不存在但在大型膜型中出现的能力、这是区分LLM与以前的PLM（跌训练语育要型）收显著的特点之一，主要表现为当概型规慢送到一定水平时，性能显蓄高于通凯情说，很多人习慎用复款系统中出现的念亲理解， 》上下文学习（in-contextLeaming.ICL）：在提示中为语言恢型提供自然语指令和多个任务示例，无需显式的训练或梯度更新，仅输入文本的单词序列就能为溯试样本生成预期的输出， >指令募括(lrstuctianFollowing）：通过使用自然语言描述的多任务示例数据 集进行索谢（措令激词或益督微词），大讲言模型可以在没有使用显式示例的情况下接照任务措令完成新任务，有效提升了模型的泛化能力， 逐步推理（Stcop-by-stcpRcasoning）：对于小型语言模型而言，通常很难解决涉及多个推理步聚的复杂任务【如效学应用医），而大语言模型则可以利用思维链（Chain-of-Thought,CoT）提示策略来加强理性能，其体齐说大语言模型可以在提示中引人任务相关的中间推理步需来加强复杂任务的求年，从而获得更为可靠的答案 1.2什么是数字安全大模型 1.2.1数字安全大模型定义WTT（WTT）， 额域的应月， 财于数字安全领锁 >专业能力包后：案码学，社会工程学和攻防对抗知识，以改专业级变会数括（或助情报、安全运营信息等）和实网作股经验【实网攻防能力、应急处骨能力等），专业能力的造弱决定了“安全大英型的应用效果>法律适应性（或者人类价值观对齐）特点：由于“安全人模型”和递用大慎型在受众（如安全运营人员），使用范函（如内网）方面的差异，在对齐调整上可以采取一些简单粗旷的方法（例如输人控制，敏感间过端等）齐减少整体资源投人，在现阶段基至可以屏蔽非数字安全相关内容的输出， 12.2数字安全大模型的构成 效字安全大模型由基础能力（通川模型，美供基础知识和LM新兴能方）、专业留方（安全领域的知识和群决间题的逆辑）、扩能力（利川辅助工其和可视化）三方面构成 对于道川模墨，现阶段大部分效字安全供应商都运择开源LLM(LLa和Qwe居多），少部分规模较大的企业会完全自主训练，对于一定规模之内（例划10B)的LL.M来说，自主训练的模型可能在安全知识的理解和问答上其备一定优势，固为读训额数据中安全效据的占比会比一般通用模型高，但模型规模较大（例如 IB以上）时，因为用于锁训练的安全知识以及安全数据自身数量有限，自主训练的慢垂优办几乎不复存在，反而会出现资遵消耗过大的负而影前，除非数效学安全供应商随够自主开发出针对安全知识和逐辑的专用算法，模型架构，否则只第使月开源适月LLM. 对于安全数据，精雅的样本。广泛的情报，具体的方法，这些都是在安全大模型读训练过程中决定“安全大榜型”召商的关键所在，也是实现“安全大慎型”在具体使月过程中提质增效的重点， 对于安全经验，掌损相关算法和架构的知识，才能训练或讲整基仙模型，其到模需解缺了人机交互和逆辑提理的能力问送，其备数字安全实战经验的专家将自牙经验转化成词整代码学习实例，才能解决安全专业额域的问题，人的创造力和应月方解决安全大慎型可持续发展和落地的问， 对于工具用，出于LLM知识的更新存在落后性，分折数据缺乏实时性，要想在用户真实环境中实现较好的应用效果，协问工其的效量和融合数据的第力就是"安全大型”效用延伸和价值提升的核心， 对于可视化，通过准理能力和上下文关联能力，不仅可以将减持影明和风险程度分析并量现，还可以增加安全分析的可解释性，提升处置建设的接纳程度。这种可视化能力将扭转安全工作价值难以餐量和可见性差的局面， 第2部分卓越供应商&雷达图 由十安全大模型属于新兴技术，尤其在我国效字安全产业中智未形成现模化市场，故本报告中所有市均方面的榴述，是在综台考广已等单和试川项目对供应直的影明后，加权综合计算得出的。 效世咨即认为，对于安全大模型，现在是一个深索大于应用的阶段，不适合以点体整的力式为各供应商排序，本投告的核心目的是间行业用户展示变全大模型的可行性以及供应商在各力面的能力，散通过雷达图的形式将供应商所涉及的变会大模整的8个方向做出微示，以供行业用户参考， >预训练与基础慎型：安全大模型对数字安全知识的储备和超解能力，》泛化能力：安全大模型处理数字安全问题的准确性。>理论与基础研究：供应商在AI，尤其是LLM的资源投人和研发能力>业务场量化与技术需合度：安全大型对安全始最赋能的多样性>产品工程化！安全大奠型产品的成熟度和客户体验。>市场营收：供应商的市场执行能力。>市场港透度：其应商客户的多样性和规膜，》品影响力：安全大滤型在行业和用户焦的从年程度 本章所有关于供应商的现膜序全部根