2024 年边缘人工智能术报智索生成式 AI 与边缘算的结合中文版

边缘版的生成 AI 深入探究生成式 AI 和边缘计算的融合 Introduction 第一章 ： 利用边缘计算实现生成式 AI生成式AI在边缘设备上的应用 边缘计算在实际部署中的优势 生成式AI与边缘计算基础设施的集成粒子如何在边缘改变 AI 部署边缘部署的行业观点 第二章 ： 边缘生成 AI 的创新和进步行业趋势、市场分析和创新驱动因素利用具有边缘脉冲的生成 AI 进行边缘应用AI 工作负载 ： 从远边缘到云边缘 LLM 的关键研究趋势结论 2627293139 第三章 ： 边缘生成 AI 的实际应用当前生成 AI 技术和实现概述通过 Syntiant 优化的生成模型加速 Edge AI跨关键行业的生成式 AI 结论 4041424446 第四章基于边缘的生成 AI 的挑战与机遇关键挑战及边缘部署生成式AI的战略与解决方案指南 未来机遇与增长领域 结论：激发行动与创新 关于报告关于赞助商Edge ImpulseParticleSyntiant作者WevolvertinyML基金会参考文献和其他资源 Introduction 我们曾认为云是人工智能（AI）的最后前沿，但真正的魔法发生在更近的地方——边缘，在那里设备现在可以实时思考、生成和响应。AI 的快速演变，尤其是生成式 AI，从根本上重塑了各个行业，并对现有的计算基础设施提出了挑战。许多 AI 模型，特别是资源密集型模型如大型语言模型（LLMs），长期以来一直依赖集中式的云系统来获取所需的计算能力。然而，随着各行业对 AI 驱动交互的需求增长——从自动驾驶车辆到个性化内容生成——明显转向边缘计算。本报告基于与行业领导者和技术专家的讨论，探讨生成式 AI 如何被整合到边缘环境中，并分析这对未来技术的影响。 各种设备的参与以及整合这些技术的实际考量。本章还探讨了编排和机器学习运营（MLOps）在管理从边缘到云连续体中的AI工作负载方面的关键作用，并提供了行业视角下的边缘部署的优势与挑战。 时间决策和增强的用户体验。 当然，伴随着创新而来的是挑战。第四章探讨了组织在边缘实施生成式AI时面临的关键障碍，从管理分布式网络的复杂性到确保资源受限环境下AI模型的可靠性。本节提供了应对这些挑战的策略和最佳实践，这些策略和实践得到了领域内领先专家见解的支持。 随着报告的展开，我们将探讨推动这一融合的创新与进步。第二章重点介绍了生成式AI和边缘研究领域的最新突破，分析了从远端边缘到云端的AI工作负载协调方式。本章不仅涵盖了技术进步，还提供了行业采用趋势和驱动力的市场分析。重点关注推动这一领域边界拓展的合作努力和伙伴关系。 这份报告体现了作者、贡献者以及Wevolver对为行业领导者、技术专家和决策者提供导航生成式AI和边缘计算复杂环境所需的见解的深刻承诺。Wevolver团队的贡献、作者的广泛研究以及赞助商提供的专家意见确保了内容既具有信息性又能激发进一步的创新。当我们阅读这份报告时，我们希望它能作为全面的指南，帮助理解并利用生成式AI在边缘的强大功能，并为未来的进步和行业发展提供路线图。 不同于以云为中心的方法，边缘计算将数据处理移至数据生成的位置——如传感器、微控制器（MCU）、网关和边缘服务器等设备。这一转变对于需要低延迟、高带宽效率和增强数据隐私的应用至关重要。本报告的第一章深入探讨了边缘计算在提升生成式AI方面所发挥的基础作用，详细分析了其关键角色。 现实应用将这些概念生动展现出来，因此我们在第三章中专门展示了在各个行业边缘部署生成式AI的应用案例。本章通过实例说明了这些技术如何在机器人、医疗、制造、汽车、零售和智慧城市等行业中改变运营方式。这些案例突显了在边缘部署AI的实际益处，包括提高效率、真实的 Samir Jaber总编辑 第一章:利用边缘计算实现生成式 AI 跨边缘设备的 Generative AI 基于接收到的数据立即作出决策，调整参数或触发警报，而无需将数据传递至更高层次的处理层。 生成式AI引入了技术需求的新波浪，特别是在基础设施方面。传统上，AI模型——尤其是资源密集型的大型语言模型（LLMs）——依赖集中式的云计算来提供其复杂处理过程所需的计算能力。然而，随着各行业对更实时交互的需求不断增加，将这些AI能力推向用户端的必要性变得越来越明显。对即时、由AI驱动的洞察的需求正在推动向边缘计算的转变，在这种模式下，数据可以在设备上本地处理，从而减少云依赖带来的延迟和带宽限制。 个性化锻炼例程 ， 减少对云处理的依赖并增强隐私。 网关通过传感器和微控制器处理的高volume、低复杂度任务与边缘服务器进行的更复杂的处理相连接。借助生成式AI，网关可以聚合和预处理来自多个来源的数据，并应用中间的AI模型以生成初步预测或建议。例如，在智能城市环境中，网关可以从各种传感器收集交通数据，使用生成式AI预测交通模式，然后将这些见解分享给更高层次的系统或直接分享给连接的车辆。 在生成式AI与边缘计算的融合中，每种类型的边缘设备在构建无缝、响应迅速且智能化的网络中发挥着关键作用。在这些设备上实施生成式AI改变了数据的生成、处理和利用方式，从而实现了实时决策制定和个人化体验。 微控制器（MCUs）承担起处理更加复杂处理任务的角色。它们能够在需要即时且低功耗决策的地方实现设备端推理。对于生成式AI，MCUs可以运行简化模型或早期阶段的处理，以过滤或预处理数据后再传递给更强大的设备。例如，在智能家居设备中，MCU可以运行一个轻量级的生成式AI模型，根据用户偏好和输入数据生成个性化的语音响应或音景。除了识别命令外，MCU还可以生成实时响应，比如动态创建特定的环境背景噪声以匹配用户的情绪，或者生成其他实时反馈。 传感器是这一生态系统中的前线，捕捉真实世界中的原始数据以驱动生成式AI模型。例如，在工业环境中，传感器可以持续监控机械设备，并将数据输入预测维护需求或实时优化运营的AI模型中。这一层面的生成式AI模型可以从这些数据开始进行局部化、 边缘服务器代表边缘计算基础架构的关键组件 ， 处理更复杂的 边缘计算在现实世界部署中的优势 生成的 AI 部署策略 除了降低延迟之外，边缘计算还增强了数据隐私和安全性。通过将数据处理本地化，边缘计算减少了传输敏感信息到潜在不安全网络的需求。这在医疗保健和金融等行业尤其有益，因为在这些行业中，数据泄露可能产生严重后果。本地处理确保敏感信息保留在设备内或组织的地理边界内，有助于符合数据主权法规。 并且在资源消耗方面比小型边缘设备更为密集。然而，与拥有丰富计算能力的云服务器不同，边缘服务器在资源受限的情况下运行，这使得同时托管大型生成性AI模型（如LLMs）变得具有挑战性。相反，这些服务器专注于运行经过优化的小型模型版本，并采用模型剪枝和量化等技术以确保高效性能。 在需要迅速做出决策的情景中适用。然而，将大规模模型部署到多个边缘服务器上需要精心的协调和优化，以平衡有限的计算资源。 在这些设备上部署大型生成模型需要对模型本身进行重大优化。 在网络边缘设备的网络中部署生成式AI模型需要 orchestrating、机器学习运营（MLOps）以及精心规划的策略，如模型分区和联邦学习，以平衡计算负载并确保实时性能。 模型优化技术 边缘部署生成式AI的一个主要优势是显著减少了延迟。对于需要实时响应的应用程序，如自动驾驶、机器人技术和增强现实，将数据本地处理能够带来巨大的好处。这样做可以最大限度地减少分析数据和执行操作所需的时间，这对于必须即时响应外部刺激的应用至关重要。这种延迟的减少是边缘计算在AI部署中日益普及的关键因素之一。 本质上，生成式AI与边缘计算的融合不仅仅是分配计算任务，而是关于增强每一层边缘基础设施的自主运行能力，同时为一个协同智能系统做出贡献。这确保了由AI驱动的洞察不仅更快更可靠，而且更具上下文意识，从而在各行各业中实现更智能、更具响应性的应用。 像模型剪裁、量化和知识蒸馏等技术对于使AI模型适合边缘部署至关重要。 模型分区是一种关键策略，它将较大的生成模型拆分成较小的子任务，并分布到多个边缘设备上——无论是用于推理还是早期的数据处理。通过这种方式，分区后的模型可以在设备间优化资源使用，即使面临资源限制也能高效运行。例如，在多设备网络中，处理的第一层可能发生在较低容量的设备上，而更具能力的边缘服务器则处理更复杂的层级。 在医疗健康等环境中，边缘服务器可以实时处理来自多种医疗设备的数据，利用优化的生成式AI模型提供即时诊断或治疗建议。这种局部处理减少了延迟并提高了可靠性，这是至关重要的。 •修剪涉及通过移除非必要的组件来简化模型的复杂性，从而帮助减少计算负载。 此外，边缘计算能够显著节省带宽。在以云为中心的模型中，大量数据必须传输到云端并从云端传输回来，这可能会相对昂贵且效率较低。边缘计算通过在数据源处处理数据，减少了对大量数据传输的需求，从而节约了带宽。这在连接受限的环境或数据传输成本较高的情况下尤其有利，例如远程监控系统和工业物联网（IoT）部署。 •量化降低了模型中使用的数字的精度 ， 降低了内存使用和处理要求。 •知识蒸馏允许一个小规模更高效的模型（“学生”模型）从一个大规模更复杂的模型（“教师”模型）中学习，同时保持性能并在边缘设备上进行优化。 除了划分数据之外，联邦学习已成为一种关键策略，可以在边缘设备之间进行协作模型训练，而无需将原始数据传输回中央位置。这种分散的学习方法允许设备训练本地模型并共享见解，从而增强数据隐私和安全性能，同时保持模型准确性。联邦学习特别适用于拥有多种异构边缘设备的环境，在这种环境中，这些设备可以协同工作以提高模型性能，同时减少对云服务的依赖风险。 这些优化策略至关重要，但同时也存在权衡。例如，虽然剪枝和量化可以减少模型的大小，但也可能影响其准确性。因此，在边缘部署生成式AI时，平衡模型大小、准确性和计算效率之间的权衡成为了一个重要的挑战。 与边缘计算基础设施的生成式 AI 集成 整合生成式AI与边缘计算涉及多个实际挑战，特别是在资源受限设备上优化模型方面。边缘设备如物联网传感器和智能手机通常在计算能力和内存方面远逊于云服务器。因此， 管理这个复杂的设备网络的另一个关键策略是 粒子如何在边缘改变 AI 部署 边缘计算的转型是由低延迟处理、增强的隐私保护以及减少对云服务的依赖所驱动的。Particle公司的Tachyon单板计算机使得在边缘端执行复杂的AI工作负载成为可能，从而允许应用程序在本地运行高级模型而无需依赖云服务。这为依赖实时决策的行业带来了显著的速度、隐私和自主性的提升。 具有12 TOPS的NPU性能和八核CPU，Tachyon专门设计以支持边缘端对高性能AI模型的需求，包括变压器和GANs。这一能力为广泛的应用提供了动力——从适应性零售展示和自主机器人到生成设计工具等应用领域，其中即时、智能的响应至关重要。 Tachyon 的 AI 能力 ： 边缘的无缝性能 泰乔尼整合了高性能AI加速与下一代连接性，以满足边缘智能日益增长的需求。其12TOPS NPU可以直接在设备上执行实时任务，如物体检测、预测性维护和高级异常检测，从而减少对云服务的依赖。 5G和Wi-Fi 6E的连接性确保即使在挑战性环境中，无人机和协作机器人等应用也能不间断运行。对于制造、配送和能源等领域的需求场景，Tachyon本地处理数据的能力使系统无论在线还是离线都能平稳运行。 orchestrated，确保任务根据每个设备的计算能力和实时需求进行分配。智能编排框架确保边缘设备能够在不被过载或利用率不足的情况下运行在最优容量。在这样的部署中，像容器化这样的工具变得至关重要，它通过将AI工作负载封装成标准化包以便在设备之间轻松移动来帮助简化从云到边缘的任务过渡。例如，NVIDIA的EGX平台或Microsoft的带有Arc的AKS等平台正在推动编排技术的发展。 通过采用MLOps解决方案，确保AI工作负载能够适应