英特尔中国 AI加速实践手册

1英特尔中国 AI 加速实践手册英特尔中国 AI 加速实践手册#芯加速 行至远 2英特尔中国 AI 加速实践手册 3英特尔中国 AI 加速实践手册目录CONTENTS人工智能市场支出指南企业部署 AI 时应考量的因素基于英特尔® 架构的 AI 基石• 第四代英特尔® 至强® 可扩展平台• 经英特尔优化的开源 AI 框架和工具• 基于第四代英特尔® 至强® 可扩展处理器的 AI 调优指南• 广泛的英特尔 AI 产品组合和合作伙伴AI 趋势与展望 – 生成式 AI04061038 4英特尔中国 AI 加速实践手册IDC 预测， 2023 年全球在人工智能方面的支出将达到得益于人工智能与各种产品的融合，以人工智能为中心的系统的支出在 2026 年预计将超过中国人工智能市场支出预测，2021-202630,00025,00020,00015,00010,0005,000020212022202320242025202630.0%20.0%10.0%0.0%IDC 预计，2026 年中国 AI 市场市场规模将实现2021-2026 五年复合增长率（CAGR）将超过1,5403,000264.426.9%27.0%20%亿美元亿美元亿美元来源：IDC中国，2023中国人工智能市场支出单位：百万美元YoY*包括以人工智能为中心的系统的硬件、软件及服务*包括以人工智能为中心的系统的硬件、软件及服务*相比 2022 年增长*2022-2026年的复合增长率（CAGR）全球中国人工智能市场支出指南如欲了解更多详情请访问：https://www.idc.com/getdoc.jsp?containerId=prUS50454123 https://www.idc.com/getdoc.jsp?containerId=prCHC50539823 5英特尔中国 AI 加速实践手册中国人工智能市场支出预测（行业），2026Top 3 行业 AI 应用场景Top Industry Based on 2023 Market Share (Value (Constant))47.0%46.7%7.1%9.5%10.4%12.8%13.4%7.0%7.8%8.9%29.3%来源：IDC中国，2023Source: IDC Worldwide Artificial lntelligence Spending Guide - Forecast 2023 | Feb (V1 2023)专业服务BankingRetailProfessional ServicesDiscrete ManufacturingProcess ManufacturingOthers地方政府银行通讯其他增强的智能客服销售流程推荐和增强项目顾问和推荐系统搜索推荐广告营销社会服务投资分析公共安全风险管理城市管理欺诈检测人工智能主要应用行业及场景全球中国如欲了解更多详情请访问：https://www.idc.com/getdoc.jsp?containerId=prUS50454123 https://www.idc.com/getdoc.jsp?containerId=prCHC50539823 6英特尔中国 AI 加速实践手册企业部署 AI 时应考量的因素企业按业务需求选择合适的 AI 方法时，应考量哪些因素？业务用例数据特点人工智能类型人工智能算法类别发现变量间的关系结构化数据，批量分析机器学习回归预测分类型分类标签或进行数据分类结构化数据，批量分析机器学习分类揭示变量间具有意义的关系结构化数据，批量分析机器学习聚类进行图像分类，在图像中找到识别对象井进行分类非结构化视觉数据( 视频、MRI 扫描片等 )，批量或实时分析，小型数据集深度学习: 图像识别、对象检测卷积神经网络(CNN)从文本中提取内容和意义非结构化文本( 电子邮件、Office 文档、社交媒体帖文等)，非机构化音频/视频内容，批量或实时分析深度学习: 自然语言处理(NLP)， 语言翻译，语音识别长短时记忆(LSTM)，递归神经网络(RNN)将文本/文字转为语音非结构化文本，实时分析深度学习: 文字转语音生成对抗网络(GAN)推荐广告、搜索、应用等结构化客户数据，非结构化文本，实时分析深度学习: 推荐引擎多层感知器(MLP)生成像训练数据的图像非结构化图像和视频，实时分析深度学习: 数据生成GAN 结合 CNN从对行为的反馈中学习结构化及非结构化数据，批量或实时分析深度学习: 强化学习CNN 或 CNN+RNN 7英特尔中国 AI 加速实践手册部署 AI 时需要考量的基础设施因素在基于 CPU 的基础设施上运行 AI工作负载在漫长的 AI 开发流程中，对计算资源的要求各不相同基于英特尔® 技术的现有基础设施可以支持多种 AI 用例和工作负载灵活性效率可扩展性推荐引擎经典机器学习循环神经网络使用大数据样本的模型其他实时推理空闲时段训练用途推荐广告、搜索、应用等从数据获取洞察语音识别医学影像、地震勘探、3D环境图像识别、语音识别、自然语言处理任何用途类别多层感知器(MLP)回归、分类、集群等循环神经网络(RNN)卷积神经网络(CNN)多种类别任何类别CPU的 优势训练和推理。将更大的内存用于嵌入层将速度更快的内核用于大型数据集和难以并行运行的算法实时推理。将速度更快的内核用于顺序、难以并行处理的数据训练和推理。需要更大的内存将速度更快的内核用于难以井行处理的小批数据数据中心容量7英特尔中国AI 加速实践手册 8英特尔中国 AI 加速实践手册借助英特尔® 技术提升洞察质量驱动关键业务产出• 从云端、边缘到终端设备，更广泛的应用场景意味着 AI 的部署环境正变得更为复杂且多元化；• 在异构平台上运行全栈软件，需要用户基于不同的硬件基础设施来设计高效稳定的开发和部署方案，且需要根据业务场景、软件框架的不同来实施复杂的调优过程。如欲了解更多详情请访问：https://www.intel.cn/content/www/cn/zh/artificial-intelligence/resources/advance-insights-with-ai-brief.html84%90%70%的高管(到2025 年)的数据中心AI推理任务认为他们需要借助AI来获得成功的企业应用将使用嵌入式AI在英特尔® 至强®可扩展处理器上运行对于力求在整个企业业务层面扩展 AI 应用的企业来说，降低复杂性是关键所在。8英特尔中国AI 加速实践手册 9英特尔中国 AI 加速实践手册人工智能（AI）、机器学习（ML）和深度学习工作负载，如图像分类、自然语言处理（NLP）、目标检测和视频分析，正在推动各行各业拥有更快和更好的洞察力。然而，不合格的硬件和未经优化的 AI 训练和推理解决方案阻碍了它们的进一步发展。纵观市场上所有的 CPU，第四代英特尔® 至强® 可扩展处理器内置众多加速器，可为 AI 工作负载提供性能和能效优势，并可凭借全新的英特尔® 高级矩阵扩展（英特尔® AMX）提供卓越的 AI 训练和推理性能。英特尔数千名软件工程师正在整个AI生态系统中贡献着自己的一份力量加速 AI 的发展。例如，NumPy、TensorFlow、PyTorch、Scikit-learn、XGBoost 的主流开源版本均已面向英特尔® 架构进行了优化。英特尔提供了许多工具来加速 AI 发展，如用于推理模型优化的 OpenVINOTM 工具套件；用于 Apache Spark 上的分布式深度学习的 BigDL；以及用于在任意基础设施上协调机器学习管道的 cnvrg.io MLOps 平台。第四代英特尔® 至强® 可扩展处理器，结合软件优化和生态系统合作，正在帮助人工智能开发者实现其生产力目标，并从人工智能中更快地获得商业价值。第四代英特尔® 至强® 可扩展处理器内置 AI 加速英特尔携手生态系统合作伙伴，共推 AI 的繁荣演进高达 5.7 倍至 10 倍高达 3.5 倍至 10 倍PyTorch 实时推理性能提升PyTorch 训练性能提升启用内置英特尔® AMX (BF16)的第四代英特尔® 至强® 可扩展处理器 vs 上一代产品（FP32）9英特尔中国AI 加速实践手册如欲了解更多详情请访问：https://www.intel.cn/content/www/cn/zh/customer-spotlight/cases/accelerate-ai-workload-with-amx.html 10英特尔中国 AI 加速实践手册基于英特尔® 架构的 AI 基石加速 AI 落地 200+ 一站式 AI 方案可选助力应用快速落地加速 AI 应用构建150+ 容器镜像帮助用户快速构建端到端 AI 数据应用加速 AI 性能在 20+ 典型 AI 负载下提供卓越性能表现解决方案工具技术Intel Solutions MarketplaceScikit-LearnPandasNumPy/SciPyXGBoost& More多功能的人工智能基础设施面向更广泛工作负载AI 专用AI，科学计算，媒体与图像边缘深度学习推理数据中心深度学习训练(Gaudi)CPUCPU存储内存连接GPUGPU专用FPGAASIC 11英特尔中国 AI 加速实践手册可运行各种 AI 代码，各类工作负载第四代英特尔® 至强® 可扩展处理器经过英特尔优化的开源 AI 框架和工具广泛的英特尔 AI 产品组合和合作伙伴加速整个 AI 管道，以运行多种 AI 代码和工作负载 加速开发者构建和部署 AI 应用的旅程通过丰富的软硬件组合加速 AI 方案部署时间英特尔® AI 平台11英特尔中国AI 加速实践手册 12英特尔中国 AI 加速实践手册端到端人工智能流水线的挑战数据模型部署Data CollectionData IngestionData AnalysisData ValidationFeature CreationModel OptimizationModel SelectionModel PackagingModel TrainingEndpoint ConfigData LabellingData CleanupData PreparationModel EvaluationPerformance MonitoringModel ValidationModel ServingData Transformation53%的 AI 项目能够从原型到生产 (Gartner)2只有1基于英特尔对截至 2021 年 12 月，运行 AI 推理工作负载的全球数据中心服务器装机量的市场建模2 数据来源: www.infoworld.com/article/3639028/why-ai-investments-fail-to-deliver.html 13英特尔中国 AI 加速实践手册Data CollectionData IngestionData AnalysisData ValidationFeature CreationModel OptimizationModel SelectionModel PackagingModel TrainingEndpoint ConfigData LabellingData CleanupData PreparationModel EvaluationPerformance MonitoringModel ValidationModel ServingData Transformation端到端人工智能流水线的挑战数据模型部署53%的 AI 项目能够从原型到生产 (Gartner)2经典机器学习以几十年的行业投