2023 年 EDGE AI 技术报告

2023EDGE AI技术报告《了解国家的指南》Edge AI 中的硬件和软件艺术。 第一章产业概述及应用用例 8第二章边缘 AI 的优势 18云 / 边缘计算连续体 ： 强大的组合 21第三章 ： 边缘 AI 平台 24第四章硬件和软件选择 30第五章 ： TinyML 38TinyML 在行动 ： GreenWaves 如何启用下一代产品 41第六章 ： 边缘 AI 算法 4445 第七章传感方式基于视觉的感知模式基于音频的感知模式环境感知模式简化数据收集 ： Sparkfun 如何实现数据记录其他传感模式第八章 ： 案例研究采访 ST ： 从 ST 的角度对 Edge AI 的一瞥Sensory Inc. - 通过语音激活的 AI 技术彻底改变用户体验 Pachama - 预测森林中的碳捕获Activ Surgical - 实时手术可视化Medtronic - AI 驱动的内窥镜检查 ， 葡萄糖监测和心脏病学 Fero Labs - 通过 IoT 减少碳排放NoTraffic - 智能城市的交通管理 BloomX - 机器人仿生 Starkey 授粉 - 助听器运动的高级性能 - 自主机器人第九章边缘 AI 的挑战数据管理挑战集成挑战安全性挑战延迟挑战可扩展性挑战成本挑战功耗挑战潜在解决方案第十章边缘 AI 的未来5G / 6G 网络的兴起与崛起神经形态计算 ： 通过模仿人脑基于事件的处理和学习来提高 AI 智能 ： BrainChip 的神经形态 AI 解决方案数据高效的 AI ： 在没有足够质量的数据内存计算的情况下实现边缘 AI 的价值最大化数字内存计算 ： Axelera AI 解决方案分布式学习范式异质性和扩大挑战关键利益相关者及其角色结论确认关于报告赞助商关于报告合作伙伴关于作者关于设计师关于 Wevolver545456575860626365666768686970717274747677787880808184858687888990929393949698110112114116 4Introduction近年来，人工智能 （ AI ） 的出现确实彻底改变了我们的行业和个人生活，提供了前所未有的机会和能力。然而，尽管基于云的处理和云 AI 在过去十年中蓬勃发展，但我们已经遇到了诸如延迟，带宽限制以及安全和隐私问题等问题。这就是 Edge AI 的出现变得非常有价值并改变了 AI 格局的地方。Edge AI 代表了 AI 部署的范式转变 ， 使计算能力更接近数据源。它允许设备上的数据处理 ， 并实现实时的上下文感知决策。而不是依赖在基于云的处理中 ， Edge AI 利用边缘设备 （ 如传感器、相机、智能手机和其他紧凑型设备 ） 在设备本身上执行 AI 计算。这种方法提供了多种优势 ， 包括减少延迟、降低带宽效率、增强数据隐私以及在有限或间歇性连接的场景中提高可靠性。“即使使用无处不在的 5G ， 也不能保证与云的连接 ， 并且在每种情况下都不能保证带宽。向 AIoT 的迁移越来越需要边缘的智能和计算能力。 ”Nandan Nayampally,CMO, Brainchip 5虽然 Cloud AI 主要在远程服务器中执行数据处理和分析 ， 但 Edge AI 专注于直接在设备上启用 AI 功能。这里的关键区别在于处理位置和被处理数据的性质。Clod AI 适用于可以容忍延迟的处理密集型应用程序，而 Edge AI 在实时处理至关重要的时间敏感场景中表现出色。通过直接在边缘设备上部署 AI 模型，Edge AI 最大限度地减少了对云连接的依赖，从而实现本地化决策和响应。Edge 涵盖了从数据中心到物联网端点的整个频谱。这包括数据中心边缘、网络边缘、嵌入边缘和本地边缘，每个都有自己的用例。计算要求基本上决定了特定应用在频谱上的位置，从数据集中边缘解决方案到嵌入在汽车轮胎等设备中的小型传感器。与振动相关的应用将朝向一端定位。频谱 ， 通常在微控制器上实现 ， 而更复杂的视频分析任务可能更接近到另一端 ， 有时在更强大的微处理器上。“随着这些边缘平台增强其计算能力 ， 应用程序正在逐渐向边缘移动。 ”伊恩 · 布拉特,Arm 技术研究员兼高级总监 6当涉及到 Edge AI 时 ， 重点主要放在传感系统上。这包括基于摄像头的系统、音频传感器和智能城市中的交通监控等应用。 Edge AI 本质上是一个广泛的传感系统 ， 可以持续监控和解释世界上的事件。在集成技术方法中 ， 收集到的信息可以发送到云端进行进一步处理。Edge AI 在需要快速决策和即时响应时间敏感数据的应用中大放异彩。例如，在自动驾驶中，Edge AI 使车辆能够处理车载传感器数据，并做出瞬间决策，以确保安全导航。同样，在医疗保健领域，Edge AI 能够实时监测患者，检测异常，并促进即时干预。本地处理和分析数据的能力使医疗保健专业人员能够及时提供服务。拯救生命的干预措施。边缘 AI 应用领域可以根据特定要求 （ 如功率灵敏度、尺寸限制、重量限制和散热 ） 进行区分。电源灵敏度是一个至关重要的考虑因素，因为边缘设备通常是智能手机、可穿戴设备或物联网 (IoT) 系统中使用的低功耗设备。部署在这些设备上的 AI 模型必须进行优化，以实现高效的功耗，以保持电池寿命并延长运行时间。尺寸限制和重量限制在区分 Edge AI 应用领域方面也起着相当重要的作用。边缘设备通常紧凑且便携 ， 使其成为必不可少的让人工智能模型变得轻巧和节省空间。这一考虑在将边缘设备集成到无人机、机器人、或可穿戴设备 ， 其中尺寸和重量直接影响性能和可用性。然而 ， 边缘计算呈现出事先无法实现的显著优势。例如 ， 拥有数据可以提供高级别的安全性 ， 因为无需将数据发送到云 ， 从而减轻了不断增加的网络安全风险。边缘计算还可以减少延迟和功耗usage due to less communication back and forth with the cloud, which is particularly important for constrained devices running on low power. And the advantages don ’ t stop there, as we are see more and more interesting development in real - time performanance - and decision - making,隐私控制和设备上学习 ， 使智能设备能够自主和自适应地运行 ， 而不依赖于持续的云交互。“人工智能最近的激增是由尖端算法和先进硬件之间的和谐互动推动的。随着我们的前进 ， 这两个元素的共生将变得更加关键 ， 特别是对于Edge AI 。 ”Bram Verhoef 博士,Axelera AI 机器学习主管 7Edge AI 在当前和未来的技术领域中具有巨大的意义。通过分散的 AI 处理 ， 改进的职责 ， 增强的隐私和安全性 ，成本效率 ， 可扩展性和分布式计算 ， Edge AI 正在彻底改变我们的世界。随着不断发生的快速发展 ， 可能很难跟随该领域的所有新进展。这就是为什么 Wevolver 与几位行业专家 ， 研究人员 ， 教授和领先公司进行了合作评估 ， 以创建有关 Edge AI 现状的综合报告 ， 探索其历史 ， 前沿应用和未来的发展。本报告将为您提供实用和技术知识 ， 以帮助您了解和导航 Edge AI 不断发展的格局。如果没有 Alif 半导体 ， Arduino ， Arm ， Axelera AI ， BrainChip ， Edge Impulse ， GreenWaves Technologies ， Sparkfun ， ST 和 Synapics 的重要贡献和赞助 ， 本报告将无法实现。他们致力于客观地分享知识和见解 ， 以帮助激发创新技术进化与 Wevolver 所做的事情及其旨在实现的影响完全吻合。随着世界变得越来越互联和数据驱动 ， Edge AI 正在成为这一转型核心的重要技术 ， 我们希望这份全面的报告提供所有的知识和灵感 ， 你需要参与这个技术之旅。Samir Jaber总编辑 第一章:概述工业与应用用例近年来，数据已从集中式云数据中心明显转移到位于数据源附近的小规模本地数据中心和边缘设备。这导致了 Edge AI 的出现和崛起。具体而言，在数据生成源处或附近处理的数据的激增一直是不同应用领域中 Edge AI 应用的关键推动因素。如今 ， 许多企业正在部署和使用边缘功能作为其 AI 应用程序的一部分。这些功能使他们能够开发具有实时性能的节能 ， 低延迟的应用程序。此外 ， Edge AI功能为企业提供了显着的安全性和数据保护优势 ， 从而改善了隐私控制并更有效地遵守适用法规。这些优势使 Edge AI 对许多不同部门的组织非常有吸引力 ， 这些部门在各种用例中部署和使用 Edge 计算功能。This is the reason why the Edge AI market has a growing moval. Act - according to Fortune Business Insights, the Edge AI market is expected to grow from USD from 1560 billion in 2022 to USD到 2029 年 1074.7 亿 ， 复合年增长率 （ CAGR ） 为 31.7% 。 9工业与制造业工业领域的创新者将 Edge AI 和机器学习视为其未来的重要技术Arm 在 2023 年春季进行的一项调查发现 ， 边缘计算和机器学习是未来几年影响最大的五大技术之一。事实上 ， 近 70% 的受访者认为物联网技术对于他们在市场上竞争是绝对必要的。工业现代化和向智能制造的转变引发了自动化、机器人和工业物联网 (IIoT) 的创新。制造部门一直在经历基于快速数字化转型on the introduction of Cyber - Physical - cal Production Systems (CPPS) (e. g., industrial robot, intelligent automation devices) on the shop floor. These systems comprise a physical and a digital part, which enable the digitization of complex physical processes.CPPS 系统收集和分析有关生产过程的数据，例如生产计划，质量检查和资产维护。通过数据分析，他们获得了有关如何优化这些流程的独特见解。最重要的是，他们利用这些见解来实现实时驱动和控制功能，以关闭与制造车间的循环。这些功能显著提高了产品组装和质量控制等自动化任务的效率和速度。然而 ， 基于云数据处理的实时驱动几乎是不可能的 ， 这导致了显著的延迟。制造商越来越多地转向 Edge AI 。这可以在 CPPS 上执行低延迟的机器学习功能 ， 使其适合实时驱动用例。网络物理生产系统的概念。图片来源 ： Imkamp ， D. et al. ， J. Senss. Senss. Syst. ， 2016 。 10Edge AI 在制造业中的一些最突出的用例包括 ：•实时检测缺陷 ， 作为质量检查过程的一部分 ， 利用深度神经网络分析产品图像•基于工业机器人低张力操作的实时生产装配任务执行•基于增强现实 （ AR ） 和混合现实 （ MR ） 设备 ， 为技术人员提供现场任务的远程支持 ； 低延迟边缘计算节点用于实时渲染基于 AI 的 AR / MR 流 （ 例如 ， 基于 AI 的维修建议 ） ， 并有效地将远程专家的在职说明传输给现场技术人员。虽然低延迟是制造业的主要边缘 AI 驱动因素 ，Some