评估企业和消费者的设备上人工智能 (AI) 机会

首席分析师：Reece Hayden分析师：Paul Schell，Malik Saadi INTRODUCTION 人工智能（AI）市场在生成AI的可访问性的刺激下继续快速发展，这扩大了企业和消费者部署的机会。到目前为止，生成和其他AI模型大多部署在云中，但随着AI变得更容易访问，市场希望跨用例扩展，这个以云为中心的框架提出了重大的商业和技术挑战。设备上的AI能力-以及最终的混合AI-其中大型复杂模型的推理工作负载在本地执行，正在出现，以更好地支持大规模部署AI的情况。本白皮书探讨了设备上AI为企业和消费者带来的机会，以及“高效AI”应用程序在为最终用户构建强大的基于投资回报（ROI）的价值主张中的作用。 TABLEOFCONTENTS KEYTKEAWAYS •将推理工作负载移动到设备将帮助企业和消费者通过解决基础商业和技术挑战来大规模解锁AI例如数据隐私、网络和服务器延迟，以及网络和云基础设施订阅和/或成本，同时使用户能够享受各种针对其个人需求量身定制的生成AI应用程序。然而，设备上生成AI将带来围绕工作负载管理，功耗和内存负担的潜在扩展，这将需要神经处理单元（NPU）和模型缩小已经发生在今天。 如何进行软件创新支持设备上的GENERATIVEAI?12 企业未来应该如何-证明他们的人工智能战略？15 •设备上生成AI将推动企业部署智能设备和新的AI模型融入现有流程，使用户能够提高生产力和效率，这要归功于潜在的节约成本和时间。例如，制造商拒绝部署增强现实(AR)在工厂车间;然而，本地生成AI处理可以实现高价值的应用程序，这些应用程序将提供切实的ROI。 •设备上的AI将是迈向混合AI系统的第一步，这将有助于优化资源使用，应用程序性能和数据隐私，从而实现从云到设备的联合处理。实现向混合AI的飞跃将需要：能够在多个云资源和多个设备和操作系统（OS）中分配AI工作负载的智能系统；以及集成的模型架构和明确定义的AI工作负载规则。 •设备上生成AI商业成功的最大障碍将是软件不成熟和针对体验的应用程序，而不是生产力。鼓励最终用户购买新设备仍然具有挑战性；这只能通过开发一个强大的ROI驱动的业务案例来实现，该案例可以节省时间或金钱。要实现这一目标，市场需要超越设备硬件，并开发基于小型优化模型的杀手级生产力AI应用程序。像高通这样的市场领导者已经很快意识到与云、软件和人工智能供应商(如谷歌、元和微软)合作开发全栈产品的重要性。 人工智能的状态 概述 AI对消费者或企业来说并不陌生，但是ChatGPT的引入已经使公众意识到了生成AI的功能，并使模型，工具和应用程序得到了更广泛的使用。现在，生成AI应用被用于增强消费者和企业流程。这些基本的聊天机器人或内容生成应用程序使用大型语言模型（LLM）或大型视觉模型（LLM），在数十亿甚至数万亿的数据点上训练，以确定能够基于输入或提示生成内容（即文本，图像，声音）的神经网络结构中的参数（权重和偏差）。 虽然大规模使用生成AI带来了机会，但它也会带来巨大的风险和焦虑，每个人在使用之前都必须意识到这一点，如图1所示。 但生成AI并不是为消费者和企业提供价值的唯一框架。图2解释了其他四个传统的AI框架。生成AI能够处理相同的应用程序和用例，但通常由于价格，内存，训练数据和风险等其他考虑因素，使用其他“传统”AI框架。预计大多数消费者和企业用例将利用传统和生成AI模型的组合。每一个都有适合不同用例的核心能力、风险和商业因素，必须在部署之前进行评估。 IMPACTFUL趋势 本节探讨支持设备上AI市场发展的主要趋势。 •神经处理单元(NPU)的可用性将补充图形处理单元(GPU)和中央处理器(CPU)：不同的处理器擅长不同的AI任务。CPU用于顺序控制，GPU用于并行数据流，NPU用于核心AI工作负载。将这些架构结合在片上系统（SoC）中，将实现更高效的AI工作负载处理，并提高应用程序性能，热效率和电池寿命，以实现新的和增强的生成AI体验。一个例子是高通的Sapdrago8Ge3，这是一个将公司旗舰产品KryoCPU，AdreoGPU和HexagoNPU相结合的异构计算平台。这种组合使平台能够支持从特定用例（如机器视觉（MV）或语音控制）到更复杂的模型（如LLM）的各种AI工作负载的推断，这些模型具有高达100亿个智能手机和130亿个个人计算机参数（PC）。 •芯片供应商、原始设备制造商(OEM)和独立软件供应商(ISV)对齐：合作伙伴将齐聚一堂，构建针对设备上AI硬件优化的“以生产力为中心”的应用程序，以满足消费者和企业的痛点。这将基于节省时间/金钱，为新设备创造ROI驱动的需求。 •开源市场获得更多投资：供应商希望支持创新速度，降低进入门槛，并进一步民主化获得市场领先的生成AI模型。尤其是在构建防弹开发工具时，开发人员可以轻松使用这些工具来开发创新的AI应用程序。 •对小于150亿参数的压缩和优化模型的有力支持：这些模型是通过参数修剪等优化技术开发的，可以减少功耗，减少推理时间并限制内存负担，同时展示类似于“巨型”模型的行为和准确性。这些适用于具有较低资源负担的设备上部署。谷歌、Meta、Mistral、百川、微软在这些模式上投入了大量资金，旨在复制“巨人”模式的表现。 •芯片供应商构建软件开发工具包(SDK)：构建设备上生成AI生态系统需要降低开发人员的进入门槛。SDK支持底层硬件中应用程序的高效优化。高通公司的AIStac提供了一个神经处理引擎SDK，ISV(e.Procedre，Faceboo)已经利用部署新的应用程序。这得到了QalcommAIHb的支持，它为受支持的平台和特定用例提供了一个优化模型库。 •无/低代码平台将减少发展障碍，加速生产力AI生态系统：供应商正在投资于可视化软件开发环境，以提高可访问性，并使“任何人”都能构建应用程序。市场的下一步将利用自然语言来构建应用程序，例如OpenAI发布的GenerativePre-TrainedTransformers（GPT）。 为设备上的AI构建案例 AI模型主要在云中运行训练和推理工作负载，因为它提供可扩展的计算资源容量、高速网络以及高内存和存储储备。然而，由于许多商业和技术原因，集中式云部署将抑制用例可扩展性。ABIResearch认为，答案是通过能够处理更大模型的设备上AI来使推理更接近最终用户（例如。Procedre，生成AI的LLM)。 设备上AI部署将推理工作负载从云移动到设备。这为AI部署带来了改进的商业和技术案例。设备上的AI并不是一个全新的现象，因为用于音频处理或视觉增强的基本AI工作负载已经在本地运行;硬件（和软件）创新现在使在设备上运行大型生成，自动语音识别（ASR），自然语言处理（NLP）或图像生成工作负载成为可能。与“传统”以云为中心的模型相比，这为消费者和企业提供了强大的价值主张，如第4.1节和第1节所述。 4.2.但是，提供能够运行大型模型的硬件将无法提供足够的商业价值，无法在基本停滞的市场（尤其是智能手机和PC）中创造增长。随后，ABIResearch认为，这必须辅之以有针对性的“生产力”应用程序，以节省时间或金钱，因为这将为购买具有设备上生成AI功能的新设备建立一个强大的ROI驱动案例。 消费市场 以云为中心的AI模型部署为AI工作负载提供了巨大的计算和电源资源，但随着AI在消费者应用程序中扩展，设备上的AI将变得越来越必要，以控制网络和服务器成本并减轻数据隐私挑战。图3解释了设备上AI的经验和技术价值主张。 图3：设备上的AI价值主张 （来源：ABIResearch） 经验 技术 通过消除网络延迟来增强体验：提高应用程序性能并启用离线应用程序。通过确保更自然和高效的交互，这对于数字助理等实时交互式用例尤其重要。 数据隐私和个人AI模型：用户提示，个人数据，摄取的传感器数据都保留在设备上，从而消除了数据隐私挑战。 在不损害数据隐私的情况下开发个人AI双胞胎设备传感器和内存可以利用个人数据在本地微调模型，使模型能够随着时间的推移而适应，并为用户提供个性化的见解。 降低网络、云订阅和处理成本：随着AI模型的扩展，网络和计算成本将呈指数级增长。设备上消除了许多这些成本，减轻了网络负担，并减少了能源使用。 从无缝的多设备体验中获益：AI工作负载可以跨设备和位置的生态系统移动，以自动优化最终用户的性能，功耗和体验 嵌入基于AI的安全性：AI模型可以以非常低的延迟提供增强的威胁检测和其他网络安全功能。例如，语音/面部识别和恶意软件检测。 数据隐私、成本优化和更逼真的人机通信将成为消费者设备上AI的关键价值驱动因素。许多AI用例将受益于本地处理，因为它带来了更低的延迟，这将提高消费者和企业的性能和可访问性。图4中探讨了一些受益更多的用例。 移动游戏：通过低延迟和离线AI改善用户体验 但是，设备上的硬件必须补充“生产力”AI应用程序，这些应用程序超越了设备的经验，并建立了切实的ROI，因此需要进行设备升级。例如，自动完成消费者纳税申报单的生成AI应用程序可以节省资金，因为用户不再需要外部会计师和时间。这建立了强大的ROI，可以证明购买新设备是合理的。ABIResearch预计这对消费者和企业市场都很重要。 企业市场 人工智能已经在企业中部署，实现了数百个用例。但是随着企业寻求扩展模型，云部署将产生商业和技术障碍，例如网络成本、带宽拥塞和飙升的云托管成本。设备上的人工智能可以解决这些挑战。其价值主张如图5所示。 尽管设备上的AI具有跨垂直吸引力，但早期采用者将具有适用于设备上的AI部署的共同功能：高度分散的劳动力，对延迟敏感的用例，低连接部署环境，严格的数据要求和大型上游数据流。表1探讨了企业内六个设备上的AI早期部署。 关键挑战 对于消费者和企业中的设备生成AI，存在一个明确的价值主张，但是将推断转移到设备级别带来了需要解决的商业和技术挑战。图6中 解决了这些问题。 这些挑战中最具商业影响力的是应用生态系统。例如，目前，AI应用程序开发侧重于使用启用自动照片编辑的工具的体验。然而，这些不会为停滞或新设备市场中的设备升级建立足够强大的案例。相反，应用程序应以“生产力”和易用性为目标，并可量化地节省时间或金钱。 按设备类型划分的设备上生成AI 以下部分提供了跨不同形式因素的设备上生成AI的应用、机遇和挑战的评估。 智能手机和平板电脑 使用Siri或GoogleAssistant等利用基于云的NLP模型的语音助手，智能手机和平板电脑对AI并不陌生。但是，这些通常依赖于云的应用程序几乎没有创造商业价值-提供较差的用户体验和显着的延迟和网络连接要求。为了减轻基于云的AI提供的非优化体验，现代高端智能手机现在集成了设备上的AI加速器，以在本地处理语音控制，AI增强成像和其他基本AI应用程序的推理。但是，仅靠这些传统AI应用程序增加的价值可能不足以对消费者升级智能手机的决策产生重大影响。 人工智能在智能手机上的商业成功将取决于这些设备支持生成和通用模型的能力，这些模型可以为各种生成人工智能应用提供动力。这些设备需要配备足够的设备上处理引擎来完成以下工作： •开发与AI的直观、自然的交互：减少ASR、NLP和生成AI模型的延迟，以实现增强/个性化数字助理的实时响应。•支持“个人AI”模型：目前在云中进行微调的本地模型，基于来自传感器和最终用户的数据流入，以提供个性化的响应/见解，而不会损害数据隐私。•启用更丰富的应用程序开发环境：除了语音控制和增强成像之外，开发人员将能够创建大量创新应用程序。智能手机用户将能够享受这些应用程序，这些应用程序将改善整体用户体验，同时帮助他们更具创造力和生产力。•建立数据主权和数据隐私：确保数据监管和治理不妥协，这尤其适用于员工分布在多个区域的企业。•启用始终在线AI，无论智能手机是否连接：模型继续运行所有AI工作负载，从基本和特定用例到更大的生成AI模型，并实时提供不提示的建议。本地处