GOPS全球运维大会2023年报告

桬뚱㢕傉㣐㷖雦皾劼猰㷖䪮助㷖ꤎ上 海 数 据 科 学 重 点 实 验 室 ⚡➃➝絏 桬뚱㢕傉㣐㷖雦皾劼㷖ꤎ侅䱇副嵳䋑侨䰘猰㷖ꅾ挿㹊낉㹔ⶰ⚺⟣ 㣐侨研盗椚♸䮔䱡ծ兰腊鵘絶侨研ⴔ區ծ暟翫緸㣐侨研盗椚կ剎蜦䖤侅肫鿈荈搬猰㷖✳瘝㤙痦♲模䧭➃կ⚺䭯䧴⚺銳⿬♸猰䪮鿈ꅾ挿灇〄雦够ծ㕂㹻ꫬ䎃973ծ荈搬猰㷖ꅾ挿/꬗♳㛇ꆄծ♳嵳䋑猰㨼ծ♳嵳䋑絑⥌㨼涸㢴⚡고湡⟄⿺⼶⚹ծ♳导ծ䗎鲱ծIBMծEMC瘝⟱⚌涸餴⸔고湡կ 㣐垷㘗䧭⚹馄紩掚挿 012022䎃劣⟄勻㣐露鎊垷㘗紹紹꡼⚆ 02㕂㢪OpenAIծMeta瘝ⴔⵆ䲀ⴀ✫ChatGPTծLlama❡ㅷ 03㕂ⰻ⟄涰䏞ծ幡⼶ծ꣚ꅽծ⼶⚹瘝⚹➿邍湱絩〄䋒✫俒䗱♧鎊ծChatGLMծ鸑⛐⼪꡼ծ渹〢瘝垷㘗 㣐垷㘗涸䎾欽 ꡼瘷/㼆霢 ➿瀦欰䧭 㢴垷䙖欰䧭 ⰻ㺂欰䧭 G O P S Ⰼ 椕 鵘 絶 㣐 ⠔2 0 2 3 · ♳ 嵳 畀 㣐垷㘗vs兰腊鵘絶 㣐露鎊垷㘗♸鵘絶湱Ⱒ涸腊⸂ 荈搬露鎊㢅椚腊⸂ 㣐露鎊垷㘗Ⱘ㢊䔂㣐涸荈搬露鎊㢅椚腊⸂〳⟄椚鍒ㄤⴔ區俒劥侨䰘կ傈䘋ㄤデ险鸑䌢⟄荈搬露鎊涸䕎䒭ッ梡㣐露鎊垷㘗腊㢿剣佪㖑霋ⵆㄤ椚鍒Ⱖ务涸㹊⡤ㄤ露⛐ 鵘絶곭㚖濼霋 㣐露鎊垷㘗Ⱘ㢊㛇炄涸鵘絶곭㚖濼霋腊姻烁椚鍒鵘絶㼆韌ծ佦ꥻ劼椚瘝嚋䙁 䭯絯㷖⛴ㄤ佖鵳腊⸂ 㣐露鎊垷㘗〳鸑鵂䲿爙霒䊨玐ծ⿬侨䗎靈ծ㢪䭱鵘絶濼霋䎽/濼霋㕃靶㹊梡䭯絯㷖⛴ㄤ佖鵳 䲀椚腊⸂ 㣐露鎊垷㘗腊㢿椚鍒露岁ծ露⛐ㄤ露㞯䎇㛇✵鵘絶곭㚖濼霋ㄤ♳♴俒⣜饆模䧭鹤鳓䲀椚ㄤ䲀倗 荈搬露鎊欰䧭腊⸂ 㣐露鎊垷㘗〳⟄欰䧭넞餘ꆀ涸荈搬露鎊俒劥佅䭯㢴鲰㼆霢⠏⻊鵘絶➃劼❜✽垷䒭 ➿瀦欰䧭腊⸂ 㣐露鎊垷㘗〳⟄欰䧭荈⸓⻊⟣⸉ㄤ膃劥涸➿瀦⟄䪄遤ぐ猫鵘絶⟣⸉㥵ꂁ縨盗椚ծ傈䘋ⴔ區ծ䚍腊港䱽瘝 㣐垷㘗Ⱘ㢊㛇劥涸鵘絶濼霋ꛏ㼆デ险侨䰘腊㢿絛ⴀ鳅⚹ざ椚涸ⴔ區 G O P S Ⰼ 椕 鵘 絶 㣐 ⠔2 0 2 3 · ♳ 嵳 畀 鵘絶곭㚖涸暵婋䚍 Ⱘ㢊㛇劥涸鵘絶濼霋ꛏ㼆㣐鿈ⴔデ险腊㢿絛ⴀざ椚涸ⴔ區Ⱘ剣㢴鲰㼆霢腊⸂ 緃⛘暵㹁涸デ险濼霋㽍Ⱖ僽猙㚖濼霋ⴔ區涸絕卓剣傞鳅⚹邍꬗偽岁䮔䱡デ险⛓ꢂ帿Ⰶ涸Ⱒ翫䚍꡼瘷鵂玐剣Ɤ䏞ꣳⵖ垷㘗涸㔐瘷♶珘㹁偽岁ⱄ㖈⚌ⰻ緸鿈縭 䒓彂㣐垷㘗涸꡼곿 㛇✵䒓彂㣐垷㘗鸑鵂雲絅/䗎靈ծ唬程㟞䔂ծ䲿爙霒瘝倰䒭匬䒊鵘絶㣐垷㘗 鵘絶㣐垷㘗涸蕯䎁⾲ⴭ 02꧋䧭梡剣䊨Ⱘ 01劥㖑⻊鿈縭 1.猙㚖侨䰘涸㸝Ⰼ2.䒓彂㣐垷㘗+雲絅䧴䗎靈 1.LLM+梡剣涸皾岁/䊨Ⱘ/濼霋䎽 04⯎ⴔ〄䮦LLM涸Ɤ㢅 03♶腊⚹✫LLM罜LLM 1.露鎊欰䧭腊⸂2.㼆霢腊⸂3.♧㹁涸䲀椚腊⸂ 1.䲿⼮鵘絶佪桧2.䓙邉梡剣鵘絶倰岁涸♶駈3.鍒Ɀ梡剣鵘絶鵂玐⚥涸汥挿 倰䒭1⥝佖㣐垷㘗涸⿬侨 倰䒭2♶⥝佖㣐垷㘗涸⿬侨 䲿爙霒Prompt 䭷⟁Instruction 唬程㟞䔂RAG Agent&Tools 䱲程䊨⡲ 䱲程䊨⡲ デ险椚鍒 汥 挿 傈 䘋/デ 险 ⰻ 㺂ꦼ ⟄ 椚 鍒 傈䘋/デ险/✲⟝䱲叅 汥 挿 叅 霧 䩛 媯 㔿 ⻊  确 程 腊 ⸂ 䓳 汥 挿  デ 险 굥 凐  呏 㔔 㹁 ⡙ꦼ 㛇✵濼霋㟞䔂涸デ险椚鍒 䊺濼⥌䜂 霼ⴔ區⟄♴デ险涸佦ꥻ呏㔔 路径：/alert_NETCOOL.log，ORA-00060. More info in file/.../trace/NETCOOL_ora_29530.trc.temp ORA-00060: deadlock detected while waiting for resourceCause: Transactions deadlocked one another while waiting forresources.Action: Look atthetrace file to see the transactions andresources involved. Retry if necessary. 䒓彂㣐垷㘗 緃⛘湱䎾涸濼霋 䒓彂㣐垷㘗 佦ꥻ呏㔔侨䰘䎽务ⴀ梡ⰻ㶸屧怩կ 佦ꥻ呏㔔Transactions deadlocked鍒ꅺ㖈霪傈䘋务唬崵ⵌ剣♧❈Transactions㖈瘝䖉餴彂傞䊺絑deadlockedկ鵯䠑㄂满厤❈Transaction姻㖈瘝䖉Ⱖ➭Transaction䲿⣘餴彂㼋荝禹絡ⴀ梡✫deadlock佦ꥻկ鍒Ɀ倰呩叅溏trace俒⟝烁㹁Transactionsㄤ餴彂涸Ⱘ⡤⥌䜂䎇㽂霚ꅾ倝鵘遤Transactionsկ㥵卓剣䗳銳〳⟄ꅾ㢕䪄遤deadlock佦ꥻ䱗ꤑ姿낢կ デ险务䲿ⵌ✫㖈/alert_NETCOOL.log俒⟝务溏ⵌ✫ORA-00060涸デ险ず傞鵮剣俒⟝騟䖈⥌䜂կ鵯霹僈㖈alert_NETCOOL.log俒⟝务雵䔶涸僽侨䰘䎽务厤⚡邍㖈ⰻ㶸务涸⢪欽䞔ⲃ罜霪邍䨾㖈涸tablespace TEMP邍务涸temp segment㺂ꆀ♶駈鸣䧭✫ⰻ㶸屧怩կⰻ㶸屧怩⠔㼋荝侨䰘䎽䚍腊♴꣭欨荛〳腊ⴀ梡娥ꝉ瘝佦ꥻկ㔔姼鵯䖎〳腊僽㼋荝デ险涸呏劥⾲㔔կ 㛇✵濼霋㟞䔂涸デ险椚鍒 鵘絶濼霋䎽 •⺫ゎ剪⸉㐼ծ㶸⪰ծ侨䰘䎽ծ务ꢂ⟝ծ乼⡲禹絡ծ贞䬾⻊♸㺂㐼ծ䎾欽瘝Ⱆ㚖濼霋•佅䭯㶶痗⚮ㄤぢꆀ唬程涸輑ざ•佅䭯Ɤ俒咓涸ⰻ㺂椚鍒ㄤⰢ翫 匬䒊鵂玐 1.佐꧋ぐ碫鵘絶侨䰘2.㼜鵘絶侨䰘幡峤ծ侮椚䧭俒咓䕎䒭3.㼜侨䰘俒咓⟄ぢꆀ涸䕎䒭鵳遤㶸⪰䎇匬䒊程䒸 㛇✵濼霋㟞䔂涸デ险椚鍒 鵘絶濼霋䎽 •⺫ゎ剪⸉㐼ծ㶸⪰ծ侨䰘䎽ծ务ꢂ⟝ծ乼⡲禹絡ծ贞䬾⻊♸㺂㐼ծ䎾欽瘝Ⱆ㚖濼霋•佅䭯㶶痗⚮ㄤぢꆀ唬程涸輑ざ•佅䭯Ɤ俒咓涸ⰻ㺂椚鍒ㄤⰢ翫 匬䒊鵂玐 1.佐꧋ぐ碫鵘絶侨䰘2.㼜鵘絶侨䰘幡峤ծ侮椚䧭俒咓䕎䒭3.㼜侨䰘俒咓⟄ぢꆀ涸䕎䒭鵳遤㶸⪰䎇匬䒊程䒸 傈䘋/デ险鍒區 傈䘋/デ险鍒區 鸑鵂䗎靈䪮助雮㣐垷㘗腊㢿䘯鸟ծⲥ烁涸㼆傈䘋/デ险䲿》垷匣 •腊㢿㢅椚⽀勵傈䘋倝傈䘋涸鍒區 鸑鵂程䒸絕匬䲿⼮㣐垷㘗涸鍒區佪桧 •〫꨽⢪欽㣐垷㘗鍒區倝ⴀ梡涸傈䘋•ꅾ㢕傈䘋㛇✵程䒸荈⸓鵳遤鍒區 傈䘋/デ险鍒區 鸑鵂䗎靈䪮助雮㣐垷㘗腊㢿䘯鸟ծⲥ烁涸㼆傈䘋/デ险䲿》垷匣 •腊㢿㢅椚⽀勵傈䘋倝傈䘋涸鍒區 鸑鵂程䒸絕匬䲿⼮㣐垷㘗涸鍒區佪桧 •〫꨽⢪欽㣐垷㘗鍒區倝ⴀ梡涸傈䘋•ꅾ㢕傈䘋㛇✵程䒸荈⸓鵳遤鍒區 鵘絶侨䰘䱲叅 鵘絶侨䰘䱲叅 Ⰼ⿬侨䗎靈䖤ⵌ叅霧㣐垷㘗 湡⵸佅䭯涸叅霧露鎊 •SQL•Elasticsearch•Cypher ➠㖈♶倗涸幑⸈倝涸叅霧露鎊 叅霧㣐垷㘗涸Ⰼ⿬侨䗎靈 呍䗱僽넞餘ꆀ涸㣐錞垷雲絅侨䰘 ♧❈剣馰涸〄梡 •輑ざ곭㚖ㄤ⚌⸉湱Ⱒ涸叅霧•輑ざ务俒+薉俒叅霧䲽鶣 ü㣐垷㘗Ⱘ剣务俒䲽鶣涸岌⻊腊⸂ü⚌⸉湱Ⱒ雲絅侨研涸䗳銳䚍ü㣐垷㘗Ⱘ剣葻㥩涸荈搬露鎊ⵌ侨研䎽Schema涸僥㼘腊⸂ 輑ざ㣐垷㘗涸デ险ⴔ區 㣐垷㘗 デ险鍒區佦ꥻⴔ區侨研䎽叅霧欰䧭 デ险Incident䮔䱡㾩✵ず♧佦ꥻ涸デ险 デ险/✲⟝侨研䎽mysqlCMDBneo4j 歘㕃python➿瀦♳⠛♴鲿python➿瀦 佦ꥻ侨䰘䱲叅ㄤⴔ區 㣐垷㘗 デ险鍒區佦ꥻⴔ區侨研䎽叅霧欰䧭 皾岁 デ险Incident䮔䱡㾩✵ず♧佦ꥻ涸デ险 デ险/✲⟝侨研䎽mysqlCMDBneo4j 歘㕃python➿瀦♳⠛♴鲿python➿瀦 佦ꥻⴔ區 Prompt ⟄♴僽♧⚡佦ꥻ涸雵䔶[佦ꥻ⥌䜂]霼➢卹匬ծ䊨Ⱘծ䎾䚉㢅縨錭䏞鵳遤ⴔ區䎇䲿ⴀ⠏⻊䒊雳կ ⽀佦ꥻⴔ區 ⟄♴僽禹絡ⴀ梡鵂涸♧❈佦ꥻ佦ꥻ⽀絕匬⚹梡韌ծ〄梡鸀䖈ծ㢅縨傞ꢂⴔ䋒ծ乼⡲霹僈ծ呏㔔ⴔ碫կ⚌⸉湡叻僽䲿⼮⚺⸓〄梡桧ㄤⲸ㼱佦ꥻ㢅縨涸傞ꢂ霼呏䰘佦ꥻ涸ぐ碫⥌䜂⨞♧⚡䚪絕ⴔ區䫣デկս㔐瘷呔䒭վ⚹ 㢴佦ꥻⴔ區䭷㹁ⴔ區絶䏞 껷⯓㼆佦ꥻ鵳遤ⴔ碫ꅾ挿ⴔ區ず呏㔔ⴔ碫涸佦ꥻ㼊䪪Ⱏず挿Ⱖ妃ⴔ區〄梡鸀䖈⚹鄄⸓〄梡-㹐䨪⿿껩涸佦ꥻ䎇㼊宠⚺⸓〄梡涸〳遤䚍剒た呏䰘ꅾ挿ⴔ區涸絕卓絛ⴀ㼆䎾涸鍒Ɀ倰呩կ 㢴佦ꥻⴔ區确程ⴔ區絶䏞 呏䰘䲿⣘涸佦ꥻ⴩邍霼⟄鵘絶⚁㹻涸魧⟧➢䭽⟄♴ս㔐瘷呔䒭վ㼆佦ꥻ鵳遤ⴔ區♧ծ䚪絕嚋䭍〄欰✫➊⛎佦ꥻ䎇㼆佦ꥻ鵳遤呏㔔ⴔ區✳ծⴔ區佦ꥻ⛓ꢂ涸Ⱒ翫䚍䎇㼆佦ꥻ鵳遤ⴔ碫♲ծ鸑鵂㼆佦ꥻ涸ⴔ區䲿ⴀ⚁⚌䚍涸⠏⻊䒊雳鼙⯝傈たず呋涸佦ꥻⱄ妃〄欰կ 껷⯓䫣デ涸ⰻ㺂⺫ゎ✫佦ꥻ⽀絶䏞涸絡雦搬た⚹✫Ⲹ㼱佦ꥻ㢅縨傞ꢂ㼆㢅縨傞ꢂⴔ䋒馄鵂♧㼭傞涸佦ꥻ鵳遤ꅾ挿ⴔ區䎇ꛏ㼆乼⡲霹僈䲿⿺涸ⰻ㺂鵳遤䔱紵䲿ⴀⰨ⡤⠏⻊䒊雳Ⱖ妃⚹✫鵳♧姿䲿⼮佦ꥻ涸⚺⸓〄梡桧霼ꛏ㼆〄梡鸀䖈⚹鄄⸓-㹐䨪⿿껩涸佦ꥻ絛ⴀ⚺⸓〄梡涸Ⱘ⡤倰岁剒た㼆⟄♳ⰻ㺂畀㖈䊨⡲宨䫣涸錭䏞鵳遤⽀杝涸䚪絕瑲ⴀ䧭卓ㄤ♴♧姿涸⠏⻊倰ぢկ[佦ꥻ⥌䜂] 䗎靈㣐垷㘗 佦ꥻ⽀䚪絕 G O P S Ⰼ 椕 鵘 絶 㣐 ⠔2 0 2 3 · ♳ 嵳 畀 デ险ⴔ區♸呏㔔㹁⡙ 荈搬露鎊鲮Neo4j叅霧 㛇✵荈搬露鎊鵳遤デ险彂涸Ⱒ翫ⴔ區 㛇✵㣐垷㘗涸呏㔔㹁⡙ CMDB涸デ险Ⱒ翫腊⸂輑ざ䱗ꥻ䙼騟涸䙼絶ꝆCOT デ险ⴔ區♸呏㔔㹁⡙ 荈搬露鎊鲮Neo4j叅霧 㛇✵荈搬露鎊鵳遤デ险彂涸Ⱒ翫ⴔ區 㛇✵㣐垷㘗涸呏㔔㹁⡙ CMDB涸デ险Ⱒ翫腊⸂輑ざ䱗ꥻ䙼騟涸䙼絶ꝆCOT 䚪絕 ⵄ欽㣐垷㘗㛇炄腊⸂絕ざ䗎靈䪮助ծ唬程㟞䔂ㄤ➿椚垷䒭匬䒊鵘絶㣐垷㘗 䚪絕 鵘絶㣐垷㘗➠搬꨽銳넞餘ꆀ涸侨研デ险ծCMDBծկկկ 㛇✵㣐垷㘗腊⸂雩溫䙼罌㥵⡦ⵄ欽㣐垷㘗䲿⼮鵘絶佪桧 Q1ㆭ❈⟣⸉鷓ざ㣐垷㘗ㆭ❈⟣⸉鷓ざ梡剣皾岁ㄤ䊨Ⱘ佪卓ծ佪桧ծ䚍⟟嫱 Q2㣐垷㘗䌄勻ㆭ❈倝涸鵘絶㖞兞 Q3⸓䙖涸䙼絶倰岁勻䙼罌鵯❈꡼곿㣐垷㘗涸怵鵳倰ぢ 倝♧➿涸鵘絶⡤禹卹匬 䒓佞鵘絶翫湅넞佪鵘絶爢⼓DevOps傞➿ 虽钚ⴀㅷ