安全运维新范式 DevSecOps 结合 LLM、RAG 和Agent的创新实践 - 黄帅

DevSecOps结合LLM、RAG和Agent的创新实践 ⚡➃皍➝ 랕 䋔 幊 尕 䊨 玐 爢 ⼓ 䋒 麤 䋗 㖈鲱⟝灇〄곭㚖䭆剣⼧❀䎃⚪㺢絑낉⚁Ɤ✵卹匬霃雦ծⴔ䋒䒭禹絡珘㹁䚍䒊霃ծ㸝Ⰼ鵘絶ㄤ㔙ꢭ盗椚կ荈2018䎃饰➭荝⸂✵Ⰼ椕幊尕䊨玐㹊騨涸䋒麤ㄤ衅㖑僽շ幊尕䊨玐㢕勇禹絡꯸䚍㹊梡⛓麤ո♧⛼涸ざ霖罏կ鵛䎃勻Ⱒ岤㣐垷㘗곭㚖獤匧䱲程鴪垷㘗䪮助㖈㸝Ⰼ㹊騨⚥涸⴯倝䎾欽傋㖈輑ざ⵸屠䪮助♸⠛絡鲱⟝䊨玐剒⢕㹊騨⟄䲿⼮禹絡〳ꬑ䚍ծ㸝Ⰼ䚍ㄤ佪桧կ 㣐垷㘗傞➿㸝Ⰼ鵘絶倝䮋䧶 㣐垷㘗㖈㸝Ⰼ鵘絶涸倝錭蒀 湡䔶 劢勻㾝劅♸〄㾝䒊雳 㣐垷㘗傞➿㸝Ⰼ鵘絶倝䮋䧶 㣐垷㘗傞➿㸝Ⰼ鵘絶倝䮋䧶 存在问题的开源软件比例 开源软件的使用率 软件供应链事件增长率 Synopsys,2022OpenSourceSecurityandRiskAnalysisReport,https://bit.ly/3ctqHMp TheLinuxFoundation,SoftwareBillofMaterials(SBOM)andCybersecurityReadiness,2021,https://bit.ly/3yYeGpP Sonatype,2021StateoftheSoftwareSupplyChain,https://bit.ly/3ooE5UJ ♧⚡溫㹊涸㸝Ⰼ✲⟝♧ 赏金猎人 鲱⟝⣘䎾Ꝇ余ⴁ涸䌢錛㪭胇垷䒭 ♧⚡溫㹊涸㸝Ⰼ✲⟝✳ 䧮⟌涸䮋䧶♧ 残酷的现实-资源规模爆炸 䧮⟌涸䮋䧶✳ 根 据G A R T N E R , I N C. 到2026年企业将使用生成式AIAPI或部署支持生成式AI的应用程序 Gartner匊ⴀⶰ䚪鄪ⴔ區䋗Arun邍爙 欰䧭䒭AI䊺䧭⚹剒넞盗椚㽻涸껷銳⟣⸉䎇䒸〄✫㛇炄垷㘗⛓㢪涸倝䊨Ⱘ涸⴯倝կ ⼕毫⥂⨴ծ欰ㄐ猰㷖ծ岁䖒ծꆄ輑剪⸉ㄤⰖⰟ鿈꡶瘝雽㢴遤⚌㼆欰䧭䒭AI涸꨽宠㼜♶倗㟞⸈կ 䧮⟌涸䮋䧶♲ 䝠㖈ㆭ⚡꣌媯蔄䱈✫剒㢴涸傞ꢂ䝠劍劅㖈ㆭ❈꣌媯〳⟄䲿넞佪桧 䧮⟌涸䮋䧶䚪絕 4 1 3 2 䘯鸟鶛➿餘ꆀ⥂霆濨湽⸈ⶢ 䚍腊⠏⻊餴彂盗椚ꦼ䏞⸈㣐 ⠛絡䊨Ⱘㄤ倰岁ꦼ⟄鷓䎾AI禹絡暵䚍 㸝Ⰼ굥ꤗ㢕勇䚍㟞⸈♶〳곫崵䚍㟞⸈ 㣐垷㘗㖈㸝Ⰼ鵘絶涸倝錭蒀 02 问：什么是生成式人工智能？ •⴯鸣倝涸ⰻ㺂ㄤ䟝岁⺫䭍㼆霢ծ佦✲ծ㕃⫸ծ錠곸ㄤ갉⛙•歋㖈㣐ꆀ侨䰘♳곫⯓雲絅涸㣐㘗垷㘗䲿⣘佅䭯鵯❈垷㘗鸑䌢獦⚹㛇炄垷㘗(FM) 㛇炄垷㘗♸Ⱖ➭ML垷㘗剣⡦♶ず 㛇炄垷㘗涸鳕Ⰶㄤ鳕ⴀ僽➊⛎ 䧮⟌㥵⡦㹁ⵖ㛇炄垷㘗 ⥌䜂唬程RAG 㛇✵䭷⟁涸䗎靈 곭㚖鷓ꂁ ⠏挿넞佪緃挿㽷ꣳ䚍 RAG涸䊨⡲⾲椚 LangChain僽➊⛎♶僽➊⛎ LLM僽LangChain涸㛇炄絆䧭鿈ⴔկ㸐劥餘♳僽㣐㘗露鎊垷㘗涸⺫鄳㐼䌐⸔⢪欽暵㹁㣐㘗露鎊垷㘗涸⸆腊ㄤ腊⸂կ LLM(㣐露鎊垷㘗):僽LangChain涸㛇劥⽀⯋կ Prompts:㹁⛐䲿爙霒垷晜,ⰻ縨QA/QuestionGenerator垷晜(薉俒ⰻ縨) DocumentLoadersㄤUtil:皍⻊✫侨䰘霄꡼ㄤ雦皾կ俒咓⸈鲿㐼㼜♶ず涸侨䰘彂鲮䰃⚹俒劥鵳遤㢅椚罜utils垷㗌ⴭ䲿⣘❜✽䒭禹絡⠔霢ㄤ欽✵侨㷖雦皾涸去瀦晙媯կ Vectorstores(ぢꆀ侨䰘䎽):䲿⣘䊨Ⱘ佅䭯ぢꆀ㶸⪰ㄤ叅霧涸㶸⪰䊨Ⱘ,〳⟄僽PG,OpenSearch瘝䌢錛涸侨䰘䎽剪⸉. LangChain䲿⣘✫倰岁⿡⢪欽垷㘗腊⸂⣘俒劥Embedding䎇Ⰶ䎽模䧭鍒區. Chains:匬䒊靈欽Ꝇ勵,㼜ぐ⚡垷㗌⚮饰勻. Agents:Agent僽♧⚡垷㘗涸㼓鄳㐼㸐鸑鵂䱹佐欽䨪涸鳕Ⰶ⥌䜂鵥㔐♧⚡湱䎾涸⸓⡲ㄤ⸓⡲䨾꨽銳涸鳕Ⰶ⥌䜂 G O P S全 球 运 维 大 会 暨研 运 数 智 化 技 术峰 会2 0 2 4·上 海站 RAG⿬罌卹匬 㣐垷㘗㖈㸝Ⰼ鵘絶涸倝錭蒀 •欽皍⽀助露鍒ꅺ㢕勇涸㸝Ⰼ怩峯㥵呔䒭㶶痗⚮怩峯ծㄐ⟁岤Ⰶ瘝•ⴔ區➿瀦晙媯䲿⣘悶㖈怩峯爙⢾ㄤ⥝㢕䒊雳•荈⸓欰䧭⺫ゎ䒊雳➿瀦」刿涸ざ䎇霼宠皍⻊⥝㢕崨玐 1 •佖鵳梡剣㸝Ⰼ䪊䲽䊨Ⱘ涸佪卓•䲿⣘刿帿Ⰶ涸怩峯峯㻋ㄤ副♴俒•⼸⸔낉霆⥝㢕僽や剣佪 2 •ⴔ區䒓彂絆⟝涸⣜饆Ⱒ禹•霋ⵆ悶㖈涸㸝Ⰼ굥ꤗ•䲿⣘鲱⟝暟俱幡⽀(SBOM)湱Ⱒ䒊雳 3 㣐垷㘗㖈㸝Ⰼ鵘絶涸倝錭蒀 •䘯鸟ⴔ區傈䘋ㄤ✲⟝侨䰘•䲿⣘聊㔔ⴔ區ㄤ⥝㢕䒊雳•皍⻊✲佦靈叅鵂玐 4 ✲⟝ㆇ䎾 •䚪絕ㄤ絆絉㸝Ⰼ剒⢕㹊騨•⚹㔙ꢭ䲿⣘㹁ⵖ⻊涸㸝Ⰼ㛆雲ⰻ㺂•⴯䒊ㄤ絶䫡㸝Ⰼ濼霋䎽 5 㸝Ⰼ濼霋盗椚 •䚪絕ㄤ絆絉㸝Ⰼ剒⢕㹊騨•⚹㔙ꢭ䲿⣘㹁ⵖ⻊涸㸝Ⰼ㛆雲ⰻ㺂•⴯䒊ㄤ絶䫡㸝Ⰼ濼霋䎽 6 •宨䚪ㄤⴔ區㢴彂㪭胇䞔䫣•䲿⣘㹁ⵖ⻊涸㪭胇霉⠮䫣デ•곫崵悶㖈涸㸝Ⰼ馋⸷ㄤ倝Ⱓ㪭胇 7 㪭胇䞔䫣ⴔ區 㸝Ⰼ兰腊鵘絶涸⴯倝ⴲ䱲 03 䔲♴涸DevSecOps僽や⧩䖤⦶⸔㣐垷㘗 >䲿넞䒓〄佪桧>㟞䔂㸝Ⰼ䚍>佖鵳鵘蠒崨玐 ⚺銳䎾欽곭㚖•➿瀦欰䧭ㄤ邉Ⰼ •➿瀦㹎叅•㸝Ⰼ怩峯唬崵•崵霚欽⢾欰䧭•俒咓綘ⱗ•傈䘋ⴔ區ㄤ꡼곿䱗叅 㹊倶瘻殜•➢㼭錞垷霚挿고湡䒓㨤 •鷶姿的㣐䎾欽薴㔵•䭯絯霉⠮ㄤ⠏⻊ 䔲♴涸DevSecOps僽や⧩䖤⦶⸔㣐垷㘗 Ⱒꝶ罌贊㔔稇 •侨䰘㸝Ⰼㄤꥧ猙⥂䫡•AI垷㘗涸ⲥ烁䚍ㄤ〳ꬑ䚍•♸梡剣䊨Ⱘㄤ崨玐涸꧋䧭 䮋䧶 •䎂邂AI⢪欽♸➃䊨港漛•盗椚AI欰䧭ⰻ㺂涸餘ꆀ•烁⥂ざ錞䚍ㄤ麤䗞⢪欽 剒⢕㹊騨 •䒊用幡兠涸AI⢪欽佟瘻•䲿⣘プ䊨㛆雲ㄤ佅䭯•㹁劍㹎呍AI禹絡䚍腊 㣐垷㘗끮⸓涸➿瀦䒊雳ㄤ欰䧭⸆腊 皍⻊䊨⡲崨玐㼆✵佪桧ㄤ䧭⸆荛Ⱒꅾ銳 㣐垷㘗腊㢿ꅾ絆䊨⡲倰䒭 •䲿넞佪桧•Ⲹ㼱蔄㖈ꅾ㢕⟣⸉副涸傞ꢂ•㟞䔂㼆➿瀦涸椚鍒•⸈䔂⼸⡲ㄤ濼霋Ⱏ❧•皍⻊副䩛崨玐 㣐垷㘗끮⸓涸➿瀦䒊雳ㄤ欰䧭⸆腊 •荈⸓模䧭ㄤ霋ⵆ緃㣟⣜饆고•䲿⣘➿瀦鍒ꅺ•䚪絕皾岁•䲿ⴀ䚍腊佖鵳䒊雳•㼜Ɤ➿瀦ꅾ匬⚹꬗ぢ㼆韌涸垷䒭䧴♶ず涸露鎊 G O P S全 球 运 维 大 会 暨研 运 数 智 化 技 术峰 会2 0 2 4·上 海站 㣐垷㘗끮⸓涸➿瀦䒊雳ㄤ欰䧭⸆腊 皍⻊䊨⡲崨玐㼆✵佪桧ㄤ䧭⸆荛Ⱒꅾ銳 㣐垷㘗腊㢿ꅾ絆䊨⡲倰䒭 •䲿넞佪桧•Ⲹ㼱蔄㖈ꅾ㢕⟣⸉副涸傞ꢂ•㟞䔂㼆➿瀦涸椚鍒•⸈䔂⼸⡲ㄤ濼霋Ⱏ❧•皍⻊副䩛崨玐 㣐垷㘗끮⸓涸➿瀦䒊雳ㄤ欰䧭⸆腊 •荈⸓模䧭ㄤ霋ⵆ緃㣟⣜饆고•䲿⣘➿瀦鍒ꅺ•䚪絕皾岁•䲿ⴀ䚍腊佖鵳䒊雳•㼜Ɤ➿瀦ꅾ匬⚹꬗ぢ㼆韌涸垷䒭䧴♶ず涸露鎊 G O P S全 球 运 维 大 会 暨研 运 数 智 化 技 术峰 会2 0 2 4·上 海站 㣐垷㘗끮⸓涸➿瀦䒊雳ㄤ欰䧭⸆腊 皍⻊䊨⡲崨玐㼆✵佪桧ㄤ䧭⸆荛Ⱒꅾ銳 㣐垷㘗腊㢿ꅾ絆䊨⡲倰䒭 •䲿넞佪桧•Ⲹ㼱蔄㖈ꅾ㢕⟣⸉副涸傞ꢂ•㟞䔂㼆➿瀦涸椚鍒•⸈䔂⼸⡲ㄤ濼霋Ⱏ❧•皍⻊副䩛崨玐 㣐垷㘗끮⸓涸➿瀦䒊雳ㄤ欰䧭⸆腊 •荈⸓模䧭ㄤ霋ⵆ緃㣟⣜饆고•䲿⣘➿瀦鍒ꅺ•䚪絕皾岁•䲿ⴀ䚍腊佖鵳䒊雳•㼜Ɤ➿瀦ꅾ匬⚹꬗ぢ㼆韌涸垷䒭䧴♶ず涸露鎊 G O P S全 球 运 维 大 会 暨研 运 数 智 化 技 术峰 会2 0 2 4·上 海站 㣐垷㘗끮⸓涸➿瀦䒊雳ㄤ欰䧭⸆腊 皍⻊䊨⡲崨玐㼆✵佪桧ㄤ䧭⸆荛Ⱒꅾ銳 㣐垷㘗腊㢿ꅾ絆䊨⡲倰䒭 •䲿넞佪桧•Ⲹ㼱蔄㖈ꅾ㢕⟣⸉副涸傞ꢂ•㟞䔂㼆➿瀦涸椚鍒•⸈䔂⼸⡲ㄤ濼霋Ⱏ❧•皍⻊副䩛崨玐 㣐垷㘗끮⸓涸➿瀦䒊雳ㄤ欰䧭⸆腊 •荈⸓模䧭ㄤ霋ⵆ緃㣟⣜饆고•䲿⣘➿瀦鍒ꅺ•䚪絕皾岁•䲿ⴀ䚍腊佖鵳䒊雳•㼜Ɤ➿瀦ꅾ匬⚹꬗ぢ㼆韌涸垷䒭䧴♶ず涸露鎊 G O P S全 球 运 维 大 会 暨研 运 数 智 化 技 术峰 会2 0 2 4·上 海站 㣐垷㘗끮⸓涸➿瀦䒊雳ㄤ欰䧭⸆腊 皍⻊䊨⡲崨玐㼆✵佪桧ㄤ䧭⸆荛Ⱒꅾ銳 㣐垷㘗腊㢿ꅾ絆䊨⡲倰䒭 •䲿넞佪桧•Ⲹ㼱蔄㖈ꅾ㢕⟣⸉副涸傞ꢂ•㟞䔂㼆➿瀦涸椚鍒•⸈䔂⼸⡲ㄤ濼霋Ⱏ❧•皍⻊副䩛崨玐 㣐垷㘗끮⸓涸➿瀦䒊雳ㄤ欰䧭⸆腊 •荈⸓模䧭ㄤ霋ⵆ緃㣟⣜饆고•䲿⣘➿瀦鍒ꅺ•䚪絕皾岁•䲿ⴀ䚍腊佖鵳䒊雳•㼜Ɤ➿瀦ꅾ匬⚹꬗ぢ㼆韌涸垷䒭䧴♶ず涸露鎊 G O P S全 球 运 维 大 会 暨研 运 数 智 化 技 术峰 会2 0 2 4·上 海站 K8sGPT-K8s꡼곿霏倗涸AI⸔䩛 >䒓彂涸K8s꧋纈霏倗䊨Ⱘ>ⵄ欽AI䪮助荈⸓ⴔ區ㄤ鍒ꅺK8s꡼곿 ⚺銳暵䚍•荈⸓唬崵K8s餴彂涸䒗䌢朐䙖 •䲿⣘幡兠ծ〳乼⡲涸꡼곿鍒Ɀ䒊雳•佅䭯㢴猫鳕ⴀ呔䒭⤑✵꧋䧭梡剣䊨ⰨꝆ 䪮助❭挿:•ꅷ欽㣐露鎊垷㘗䪮助㥵OpenAI涸GPT •〳㖈劥㖑鵘遤⥂䫡併䠭⥌䜂•佅䭯荈㹁⛐ⴔ區㐼的㾝霏倗腊⸂ ⢪欽㖞兞:•DevSecOps㔙ꢭ傈䌢꧋纈絶䫡 •䘯鸟䱗叅欰❡梠㞯꡼곿•倝䩛㷖⛴K8s剒⢕㹊騨 䊨⡲⾲椚 •OpenAI•Cohere•AmazonBedrock•AmazonSageMaker•AzureOpenAI•GoogleGemini•GoogleVertexAI•HuggingFace•IBMwatsonx.ai•LocalAI•Ollama•FakeAI ⢪欽爙⢾ G O P S全 球 运 维 大 会 暨研 运 数 智 化 技 术峰 会2 0 2 4·上 海站 Kepler-K8s넞佪腊彂ㄤ䚍腊ⴔ區㐼 >䒓彂涸K8s腊彂佪桧港䱽䊨Ⱘ>✻⾲欰雦皾㛇ꆄ⠔CNCF㷱⻊고湡 呍䗱⸆腊: •㹊傞港崵㺂㐼ㄤPod紩ⵆ涸腊彂嶊署•䲿⣘霫絈涸CPUծⰻ㶸ծ緸絞ㄤ㶸⪰⢪欽侨䰘•佅䭯㢴猫炽⟝䎂〵ㄤ✻梠㞯 䪮助❭挿: •ⵄ欽eBPF䪮助佐꧋䏀㽻禹絡侨䰘•ꅷ欽劼㐼㷖⛴垷㘗⠮皾腊彂嶊署•佅䭯GPUㄤFPGA瘝⸈鸟㐼涸腊署港䱽 䎾欽㖞兞: •⠏⻊侨䰘务䗱腊彂佪桧•霋ⵆ넞腊署䎾欽ㄤ㺂㐼•⸔⸂⟱⚌㹊梡焫务ㄤ湡叻 ꧋䧭♸的㾝: •♸PrometheusㄤGrafana瘝港䱽䊨Ⱘ꧋䧭•䲿⣘RESTfulAPI䱹〡倰⤑✳妃䒓〄•佅䭯荈㹁⛐腊署垷㘗ㄤ䭷叻 Kepler-K8s넞佪腊彂ㄤ䚍腊ⴔ區㐼 >䒓彂涸K8s腊彂佪桧港䱽䊨Ⱘ>✻⾲欰雦皾㛇ꆄ⠔CNCF㷱⻊고湡 呍䗱⸆腊: •㹊傞港崵㺂㐼ㄤPod紩ⵆ涸腊彂嶊署•䲿⣘霫絈涸CPUծⰻ㶸ծ緸絞ㄤ㶸⪰⢪欽侨䰘•佅䭯㢴猫炽⟝䎂〵ㄤ✻梠㞯 䪮助❭挿: •ⵄ欽eBPF䪮助佐꧋䏀㽻禹絡侨䰘•ꅷ欽劼㐼㷖⛴垷㘗⠮皾腊彂嶊署•佅䭯GPUㄤFPGA瘝⸈鸟㐼涸腊署港䱽 䎾欽㖞兞: •⠏⻊侨䰘务䗱腊彂佪桧•霋ⵆ넞腊署䎾欽ㄤ㺂㐼•⸔⸂⟱⚌㹊梡焫务ㄤ湡叻 ꧋䧭♸的㾝: •♸PrometheusㄤGrafana瘝港䱽䊨Ⱘ꧋䧭•䲿⣘RESTfulAPI䱹〡倰⤑✳妃䒓〄•佅䭯荈㹁⛐腊署垷㘗ㄤ䭷叻 LangchainRAGMarkdownChat-AI鳇⸔俒咓叅霧禹絡 >㛇✵劥㖑LLM涸俒咓叅霧翜㣔劼㐼➃>ⵄ欽RAG䪮助>⚁岤✵㢅椚Markdown呔䒭俒咓 呍䗱䪮助絆⟝•Ollama:劥㖑鵘遤LLM •LangChain: AI䎾欽䒓〄呥卹•Chroma:ぢꆀ侨䰘䎽•Mistral-7B:䒓彂㣐露鎊垷㘗 ⚺銳⸆腊 •⸈鲿ㄤ程䒸Markdown俒咓•㛇✵欽䨪叅霧唬程湱Ⱒ俒咓晙媯•欰䧭ꛏ㼆䚍㔐瘷 㹊梡❭挿 •模Ⰼ劥㖑⻊鿈縭偽꨽✻剪⸉•佅䭯荈㹁⛐俒咓䎽•❜✽䒭ㄐ⟁遤歲꬗ G O P S全 球 运 维 大 会 暨研 运 数 智 化 技 术峰 会2 0 2 4·上 海站 LangchainRAGMarkdownChat-AI鳇⸔俒咓叅霧禹絡 >㛇✵劥㖑LLM涸俒咓叅霧翜㣔劼㐼➃>ⵄ欽RAG䪮助>⚁岤✵㢅椚Markdown呔䒭俒咓 呍䗱䪮助絆⟝•Ollama:劥㖑鵘遤LLM •LangChain: AI䎾欽䒓〄呥卹•Chroma:ぢꆀ侨䰘䎽•Mistral-7B:䒓彂㣐露鎊