全球服务器市场发展即关键议题分析

魏傳虔產業顧問兼組長陳牧風產業分析師產業情報研究所財團法人資訊工業策進會2023.10.05 簡報大綱 全球伺服器市場發展現況 伺服器產業關鍵議題剖析 算力結構面-生成式AI應用崛起，帶動AI伺服器出貨風潮淨零碳排面-永續淨零目標設立，提升液冷、再生能源導入速度終端需求面-因應快速部署需求，微型化、模組化設計模式興起地緣政治面-美中競局未曾停歇，生產據點配置受客戶要求調整台灣產業發展機會 全球伺服器市場發展現況 客戶策略調整影響全球伺服器市場成長幅度 全球伺服器市場受到企業減少採購、美系雲端服務商延長伺服器汰換週期、調整資料中心建設計畫，中系品牌商與雲端服務商需求不振影響 新一代伺服器出貨、ChatGPT帶等因素帶動第三季出貨不如預期，2023年全球伺服器市場將相較2022年呈現衰退 雲端服務商對2023年雲端服務及資本支出的看法 美系四大雲端服務商，除Meta因要進行算力結構調整將調降資本支援，AWS、Azure、Google在基礎建設資本支出仍維持在既有水準 © 2023 Institutefor Information Industry5處理器廠商Intel明顯受到製程遞延影響，AMD有望下半年回升，NVIDIA則在ChatGPT帶動下全年有望呈現高成長。零組件廠商則均看好下半年有望反轉 ODM Direct出貨比重持續攀升，接近三成 綜觀全球伺服器品牌出貨量，2022年雲端服務商訂單增加促使ODMDirect比重持續上升，2023年中系品牌商面臨美國晶片法案、被列入實體清單、中國大陸內需不振等風險，在全球的佔比將會下滑。以伺服器代工業者為主的ODMDirect客戶更多元化，除雲端服務商外有望接獲大型電信商、資料中心託管商的訂單 2023年台灣伺服器第三季出貨擺脫低谷 儘管第三季整體出貨量不如原先預期，仍擺脫2023年上半年面臨的伺服器出貨低谷。不論伺服器品牌商或雲端服務商，在出貨量上均有望提升。當中伺服器品牌商的主要拉貨動能包含新一代處理器與中低階AI伺服器出貨 各家雲端服務商均在增強自身資料中心中的AI算力部署，因此在有限的資本支出下需要採購價格高昂的AI伺服器，或將減少一般伺服器的訂單 ChatGPT催化AI伺服器需求，產品線將更多樣化 伺服器產業關鍵議題剖析 資料中心/伺服器發展關鍵議題盤點 伺服器產業關鍵議題剖析 淨零碳排面 可再生能源使用率增加，並搭配電池儲能系統 Merta資料中心已實現淨 零碳 排放，並得 到100%可再 生能 源 的支 持。能源比 行業 標準少32%，用 水效 率平均高出80% AWS正 在 穩 步實 現2025年 使 用100%可再 生能源的目 標，並於2022年推出乾淨能源加速計畫2.0 四大雲端服務商預計在2025年全數達成100%使用可再生能源，2023年將持續進行電力的調整，電池儲能系統成為資料中心合理儲存及使用可再生能源重要的技術 從上游開始推動，資料中心液冷導入率提升 冷卻液成為沉浸式伺服器關注重點 Intel於OCP推出Open IP液冷伺服器模組 3M於2022年12月20日宣布2025年之前逐步淘汰其產品線中的多氟烷基物質(PFAS)生產 2022年10月，Intel即在OCP峰會宣傳自身液冷伺服器，至2022年12月Intel永續日，與合作夥伴共同展示直接式與沉浸式液冷伺服器方案 3M為全球冷卻液最重要的提供商，然而此將會使兩相式冷卻液受到影響 吸引伺服器品牌商及白牌商推出相關解決方案 直接式與沉浸式液冷技術原先主要由散熱廠商以及部分系統整合商所擁有，然而在Intel於OCP分享後，將吸引更多廠商進入。冷卻液同樣受到環保影響，使原先由3M把持變成多元發展 AI伺服器功耗飆升，加速液冷技術發展 液冷技術漸成熟 傳統伺服器機櫃 48U機櫃用電量約3-5KW 直接晶片液體冷卻（Direct-to-Chip, DLC） 多使用氣冷方式 浸沒式液冷技術（Immersion cooling） 為提升AI運算效率，單一伺服器配備多個CPU與GPU，且每個處理器功耗多突破氣冷散熱極限值(300W)，最高達700W 優勢 散熱能力強，可提供50 KW至1,000KW的冷卻效果提供更高的能源使用效率（PUE）可應用於各種規模資料中心及邊緣運算 AI運算伺服器機櫃 48U機櫃用電量超過50KW開始導入液冷技術 註：PUE數字越低，代表資料中心電力更高比例使用在IT運算設備上 水冷技術更適用於高密度與高功率的伺服器設備，將成為主流散熱技術 資料中心PUE監管規範已經涵蓋全球主要市場；美國則由美系雲端大廠的永續發展目標帶動 面對生成式AI及永續凈零趨勢，AI伺服器及液冷技術，將強化台灣硬體產業於全球資料中心/伺服器供應鏈的重要定位 伺服器產業關鍵議題剖析 算力結構面 ChatGPT催化雲端服務商AI算力戰爭 以美系雲端服務商而言，當前ChatGPT技術仍佔據領先的位置，然而包含Amazon、Google、Meta均開始加速投入AIGC相關的產品 中系雲端服務商，以百度的推行速度最快，阿里巴巴於4月正式推出模型，字節跳動及騰訊則尚未有實體產品的出現，然而儘管當前在AI算力上仍得以支撐，未來恐將面臨美國晶片法案的挑戰 一般伺服器vs. AI伺服器的定義 •僅透過CPU作主要運算•價格相對較低•處理數量較少但複雜的數據•主要針對企業營運內部管理系統，如郵件伺服器、ERP、CRM •除CPU外，使 用GPU、FPGA、ASIC等加速卡來加速AI運算•價格相對較高•處理大量數據，可進行推論/訓練 AI伺服器根據規格，可以安裝1顆到8顆GPU，如NVIDIADGXH100即搭載8顆H100GPU 資料來源：NVIDIA，MIC整理，2023年7月 AI推論、AI訓練伺服器的作用與差異 © 2023 Institutefor Information Industry© 2023 Institutefor Information Industry一般、AI推論及AI訓練伺服器，各自符合其應用場景。在ChatGPT帶動的AIGC浪潮下，AI訓練伺服器的需求量增加，未來可望帶動AI推論伺服器需求 受惠於生成式AI熱潮，AI伺服器出貨與產值提升 因ChatGPT的熱潮帶動生成式AI需求，全球大型企業投資AI訓練，中小型企業則開始導入相關AI應用，全球AI伺服器的佔比有望持續提升，從2022年的7.9%，提升至2026年的17.6%，當中包含價格昂貴並採用高階GPU的AI訓練伺服器，以及採用中低階GPU、FPGA、ASIC的AI訓練伺服器 Computex 2023展出的伺服器產品(1/3) 資料來源：Computex2023現場拍攝，MIC整理，2023年7月 綜觀各家廠商推出的AI訓練伺服器，其基本高度均在4U以上，藉此來放置透過PCIe或是NVlink進行集成的GPU（看GPU是用PCIe進行組裝，還是直接組裝成SXM） Computex 2023展出的伺服器產品(2/3) 資料來源：Computex2023現場拍攝，MIC整理，2023年7月 AI推論伺服器除搭載中低階GPU的伺服器之外，搭載AMD AI加速卡的伺服器亦有在Computex 2023當中展出此次技嘉有特別展出與AMD合作的AI推論伺服器，可以自己搭載AMDXillinxAI加速卡，鴻佰則是展出常見的中階伺服器，可以自由抽換NVIDIA加速卡或是Xillinx的卡 Computex 2023展出的伺服器產品(3/3) •AMD multi-node，專門給企業級用戶使用•因為資料中心託管商是用一櫃一櫃在租的，所以多節點伺服器反而更受企業端歡迎•可以在租用較少機櫃空間的情況下，達到相同的算力 多節點伺服器 儲存伺服器 GraceHopper2U4Node 資料來源：Computex2023現場拍攝，MIC整理，2023年7月 多節點伺服器除了資料中心外，對企業級用戶的吸引力也逐漸上升，因為可以在同樣的空間大幅提升算力的密度儲存伺服器則是在AI應用發展下不可或缺的產品，大量的數據需要儲存在伺服器內。以AI訓練而言，若是須頻繁進行訓練的熱數據，可以直接存在AI訓練伺服器的storage中，較少運用、大量備存資料則放在儲存伺服器 NVIDIA推出DGX，顛覆傳統商業模式 AI算力需求大幅提升改變伺服器託管型態 處理器 •CPU :Grace、GraceHopper超級晶片•GPU :A100、H100 資料中心託管商面臨轉型問題 考慮高效能運算時，通常會想到在專門設計的設施中部署液冷系統來滿足其功率和散熱要求。有了人工智慧，事情就會變得棘手。雖然系統本身由許多相同的CPU、GPU和NIC提供支持，但它們部署的環境卻千差萬別 人工智慧、機器學習、深度學習和數據分析等工作負載多年來一直在主機代管設施中存在和部署。改變的是，生成式AI已被證明是總體趨勢的階躍函數 冷卻系統與電力的調整 一般機櫃功耗7千瓦~10千瓦NvidiaDGXH100每個機架功耗超過42千瓦 DGXA100只需一個A/B電 源，DGX H100需要三個獨立電源->配電裝置(PDU)模組化 導入水冷背門熱交換器、導入液冷散熱裝置 矽谷新創託管商鎖定GPU運算，已募資800萬美金，採用液體冷卻 AI使用量提升，雲端服務商重新設計資料中心 資料中心空間必須不斷發展才能滿足AI和ML的功率密度上升問題，亦需要更先進的散熱及冷卻系統，在佈線上面臨新的挑戰 2022年12月，停止美國明尼蘇達耗資6億美金的資料中心建設，對當中的11個項目重新設計，並增強AI工作負載 2022年12月，宣布暫停其位於德克薩斯州耗資8億美元、阿拉巴馬州15億美元的資料中心，以改變並增強AI設計 百度•透過崑崙芯2.0強化各項應用阿里巴巴•持續使用含光800晶片 AWS •合作為主大量導入NVIDIAA100 GPUMeta •AI推論Inferentia•AI訓練TrainiumGoogle•TPU v4 雲端服務商導入AI晶片 雲端服務商為滿足AI算力的需求，對資料中心進行重新設計，並積極導入各類AI晶片，希望打造智慧型資料中心，在提供AI/ML服務的同時，強化算力結構、溫度濕度調節及AI資安亦為關注重點 伺服器產業關鍵議題剖析 終端需求面 企業端開始部署小型及微型資料中心 微型資料中心增加的驅動力 微型資料中心的優勢 濕度與環境預警裝置：微型資料中心會協助裝配感測器，藉此來衡量環境是否符合運算需求 低延遲與邊緣運算需求：除雲端服務商外，企業在偏遠端及小程式需使用微型DC來提升算力 1 資安與機密資訊：許多企業仍不願將關鍵及機密資訊儲存於雲端當中，因此需要地端的設備放置 可進行迅速部署：只要將所有規格及零配件進行選購，即可快速建置到所需的地點 2 2 彈性化配置：微型資料中心容易安裝，同時要進行位置調整也十分容易 減少建造機房的成本：相較於建造一個機房，微型資料中心可以節省空間及成本 3 3 邊緣運算的需求上升促使企業需要在企業端或廠端快速增加、建置運算能力，微型資料中心提供包含即時配置、彈性化、空間成本較低等優勢，因此2023年將更快速被企業端使用 模組化資料中心分別於雲及邊緣端採用 模組化資料中心 模組化資料中心可以分成All-in-one（包含伺服器、機櫃、Switch以及散熱等基礎設施）以及針對特定產品的模組，如伺服器、Switch、機櫃等合成的IT模組、包含電源及散熱等產品的模組等 模式1加速大規模資料中心部署 模組化資料中心的優勢包含可以快速部署、迅速進行內部設施維修及更新、以及可以加速導入新的技術，透過貨櫃（container）的方式運輸到資料中心建設預定地，即可快速進行安裝 模式