电信运营商AI实践手册

#云同行AI加速 目录 人工智能市场支出指南部署AI时应考量的因素基于英特尔®架构的AI基石051218 CONTENTS •第四代英特尔®至强®可扩展平台•Gaudi2在中国市场隆重推出•经英特尔优化的开源AI框架和工具•基于第四代英特尔®至强®可扩展处理器的AI调优指南•广泛的英特尔AI产品组合和合作伙伴 扩展AI产品阵容以满足中国市场的需求54 人工智能主要应用行业及场景 全球 销售流程推荐和增强 Top 3行业AI应用场景 AI正在颠覆我们的日常生活 赋能重要的技术转型 人工智能正在变革电信行业 发挥资源优势构建智能算网 •加速云网融合与算力网络建设：简化网络规划和运营，从云到边缘加速塑造新型网络基础设施，满足增长的算力需求； •提升运营效益：在算力网络运营全周期发挥关键作用，驱动网络持续变革，协同新技术提升算力网络智能化水平，全面提升安全与服务质量； •推动产业数智转型：提供AIaaS平台，开发行业大模型，提供智能化方案，驱动AI产业发展和多场景智能化； •释放综合优势，打造智能算力：充分发挥超大规模数据、算网资源以及大模型等核心算法优势，加速实施云改数转战略，推动网络+ AI技术融合创新，以AI为核心打造智能算力网络。 电信运营商AI应用核心场景 智能运维 •实现网络自治，提升网络运维效率 “加快建设信息网络基础设施。建设高速泛在、天地一体、云网融合、智能敏捷、绿色低碳、安全可控的智能化综合性数字信息基础设施”1 智慧节能 •开发网络降耗技术，推进自智节能 智慧运营 •打造智慧运营大脑，提升服务水平 AI关键用例 生成式AI与万物数字化息息相关，其描述了用于创建新数据的算法，这些数据类似于人类生成的内容，包括音频、代码、图像、文本、模拟和视频。这项技术通过现有内容和数据进行训练，为自然语言处理、计算机视觉、元数据和语音合成等应用创造了潜力。 英特尔独特的生成式AI解决方案（DemocratizedAI and an Open Ecosystem），可以满足当今和未来的计算需求： •英特尔致力于AI普适化，结合硬件方面的独特优势，支持开放的生态系统，面向未来进行正确的投资，以满足全方位AI的计算需求，包括生成式AI； •英特尔采用开放、经济、可扩展的方法，可将AI扩展到任何地方—从云端到边缘—使企业能够将数据转化为价值； 如今，ChatGPT（一种针对人类对话而优化的GPT-3/4大型语言模型的变体）让普通人不仅了解了生成式AI的强大力量，也了解了企业可以从大型语言模型（LLM）中获得的潜在投资回报。 •英特尔的领先产品把AI性能提升到新高度。通过结合至强®处理器和Gaudi2的互补优势，英特尔能够提供一系列丰富且新兴的AI和深度学习功能，助力客户把握AI带来的新机遇，进而将生产力和效率提升至新高度； 生成式AI(Generative AI) 生成式AI推动着前所未有的计算需求，企业现在比以往任何时候都更需要一个全面的AI战略，该战略必须针对性能、生产力和能效进行独特设计，以满足包含生成式AI在内的新的计算需求。 •英特尔致力于培育开放的生态系统，建立信任、提供选择并确保互操作性，以满足性能、生产力和能效需求； •英特尔提供多样的硬件组合，可将各种AI负载的推理和训练性能提升至新的水平，以满足对速度的需求。 按业务需求选择合适的AI方法时，应考量哪些因素？ 部署AI时应考量的因素 借助英特尔®技术提升洞察质量驱动关键业务产出 •从云端、网络、边缘，到终端设备，更广泛的应用场景意味着AI的部署环境正变得更为复杂且多元化； •在异构平台上运行全栈软件，需要用户基于不同的硬件基础设施来设计高效稳定的开发和部署方案，且需要根据业务场景、软件框架的不同来实施复杂的调优过程。 部署AI需要异构芯片 在基于CPU的基础设施上运行AI工作负载 部署AI时需要考量的基础设施因素 在漫长的AI开发流程中，对计算资源的要求各不相同基于英特尔®技术的现有基础设施可以支持多种AI用例和工作负载 人工智能（AI）、机器学习（ML）和深度学习工作负载，如图像分类、自然语言处理（NLP）、目标检测和视频分析，正在推动各行各业拥有更快和更好的洞察力。然而，不合格的硬件和未经优化的AI训练和推理解决方案阻碍了它们的进一步发展。 英特尔携手生态系统合作伙伴，共推AI的繁荣演进 第四代英特尔®至强®可扩展处理器内置AI加速 纵观市场上所有的CPU，第四代英特尔®至强®可扩展处理器内置众多加速器，可为AI工作负载提供性能和能效优势，并可凭借全新的英特尔®高级矩阵扩展（英特尔® AMX）提供卓越的AI训练和推理性能。 英特尔数千名软件工程师正在整个AI生态系统中贡献着自己的一份力量加速AI的发展。例如，NumPy、TensorFlow、PyTorch、Scikit-learn、XGBoost的主流开源版本均已面向英特尔®架构进行了优化。 英特尔提供了许多工具来加速AI发展，如用于推理模型优化的OpenVINOTM工具套件；用于Apache Spark上的分布式深度学习的BigDL；以及用于在任意基础设施上协调机器学习管道的cnvrg.io MLOps平台。 高达5.7倍至10倍PyTorch实时推理性能提升 高达3.5倍至10倍PyTorch训练性能提升 第四代英特尔®至强®可扩展处理器，结合软件优化和生态系统合作，正在帮助人工智能开发者实现其生产力目标，并从人工智能中更快地获得商业价值。 启用内置英特尔® AMX (BF16)的第四代英特尔®至强®可扩展处理器vs上一代产品（FP32） 可运行各种AI代码，各类工作负载 英特尔® AI平台 经过英特尔优化的开源AI框架和工具 广泛的英特尔AI产品组合和合作伙伴 面向数据中心的多样化英特尔AI硬件组合 强大硬件组合，全面优化AI工作负载，满足多样化算力需求 加速开发者构建和部署AI应用的旅程 通过丰富的软硬件组合加速AI方案部署时间 端到端人工智能流水线的挑战 端到端人工智能流水线的挑战 AI需要一个均衡的服务器平台 深度学习和GNN训练 第四代英特尔®至强®可扩展处理器 英特尔® AI软件 300+深度学习模型50+经过优化的机器学习和图模型Optimizations up-streamed英特尔® AI开发者工具 相较于第三代英特尔®至强®可扩展处理器PCI Express 5.02x oneAPI AI生态系统 使用主流的DL、ML和数据处理库和框架、操作系统和虚拟机管理器 相较于第三代英特尔®至强®可扩展处理器DDR5内存带宽和容量1.5x 第四代英特尔®至强®可扩展处理器内置七大加速器 英特尔®加速引擎的优势 性能更强大的服务器架构 英特尔®高级矩阵扩展(英特尔® AMX) 英特尔®数据流加速器(英特尔® DSA) 英特尔®数据保护与压缩加速技术(英特尔® QAT) 英特尔®存内分析加速器(英特尔® IAA) 一款处理器同时适用于标量、矢量和矩阵 英特尔®高级矩阵扩展（英特尔® AMX） 功能 •提供广泛的软硬件优化，使AI加速能力获得提升 商业价值 •为AI/深度学习推理和训练工作负载带来显著性能提升•通过硬件加速使常见应用更快交付 软件支持 •市场上的主流框架、工具套件和库（PyTorch、TensorFlow），英特尔® oneAPI深度神经网络库（英特尔® oneDNN） 用例 •图像识别、推荐系统、机器/语言翻译、自然语言处理(NLP)、媒体处理和分发 英特尔® AVX-512 依据表示数字的比特位数，FP32可提供更高的精度 与FP32相比，使用bfloat16可实现每周期两倍的吞吐量 许多AI功能并不需要FP32提供的精度水平 bfloat16支持基于相同指数域的相同范围的数字，但精度略低 深度学习加速器经济高效地训练生成式AI和大语言模型 Gaudi2在中国市场隆重推出 在GPT-3训练基准测试中实现接近线性的扩展性 Gaudi2深度学习软件和生态更快速、更轻松地开发全新模型 在随处构建和部署AI应用 英特尔® AI平台 广泛的英特尔AI产品组合和合作伙伴 经过英特尔优化的开源AI框架和工具 面向数据中心的多样化英特尔AI硬件组合 加速开发者构建和部署AI应用的旅程 强大硬件组合，全面优化AI工作负载，满足多样化算力需求 通过丰富的软硬件组合加速AI方案部署时间 通用AI平台：更高的端到端机器学习性能 测试配置：1 x BDX: Test by Intel as of <11/25/22>. GCP n1-highmem-64 instancebased on Intel Xeon processor (Broadwell), 1 socket, 32 cores, HT On,64 vCPUs, Turbo On, Total Memory 416 GB, bios: Google, ucode: 0x1,Ubuntu 22.04, 5.15.0-1022-gcp1 x SPR: Test by Intel as of <11/25/22>. 1-node, 1x Intel Xeon Platinum8480+, 56 cores, HT On, Turbo On, Total Memory 250 GB,0x2b000081, Red Hat Enterprise Linux release 8.6 (Ootpa), Linux4.18.0-372.19.1.el8_6.x86_64Baseline Scanpy: version 1.8.1 https://github.com/scverse/scanpyOpen Omics Scanpy-based single cell pipeline: https://github.com/IntelLabs/Trans-Omics-Acceleration-Library/tree/master/applications/single_cell_pipeline, branch: master, commit: #8ae29eb 通用AI平台：更高的端到端深度学习性能 英特尔® oneAPI AI Analytics工具套件 深度学习 利用面向英特尔®架构优化的库加速端到端人工智能和数据分析管道 显著优势 •利用面向英特尔®架构优化的深度学习框架和工具提升训练和推理性能•使用计算密集型Python包为数据分析和机器学习工作流提供落地加速 Scikit-learn 示例及端到端工作负载 性能加速 硬件支持因个别工具而异。架构支持将随着时间的推移而扩大。 提高生产力 点击或通过如下链接获取工具包 Chronos框架：用于构建大规模时间序列分析应用程序的BigDL组件 包含三个组件： •数据处理与特征工程(Data Processing &Feature Engineering) •内置模型(Built-in Models) •超参数优化(HyperparameterOptimization) OpenVINO™工具套件-由oneAPI提供支持 旨在使用高性能人工智能和计算机视觉推理实现更加快速和准确的实际结果，部署在从边缘到云的、基于英特尔® XPU架构(CPU、GPU、FPGA、VPU)的生产环境中 1. BUILD Trained Model 基于第四代英特尔®至强®可扩展处理器的人工智能调优指南 •全新内置AI加速引擎-英特尔® AMX•软硬件配置•面向Linux操作系统的优化•面向AI框架的优化-面向英特尔®架构优化的TensorFlow-英特尔® Extension for PyTorch•面向AI神经网络模型的低精度优化• AI模型推理加速– O