重新审视关键AI基础设施：边缘侧基础设施如何成为企业AI开发与部署的枢纽

重新审视具有设备端基础设施的AI 展和应用。许多组织采用混合方法，根据手头任务选择最合适的架构。然而，许多人还没有完全评估出设备端AI带来的可衡量优势在哪里。 件工程师和AI专家——的见解来看，组织越来越多地质疑他们当前的IT基础设施是否真正满足了三个关键维度：其安全需求、不可预测和持续的运营成本，以及与工作负载需求相匹配的需要。 ded text because it consists onlyof the character "". Please provide the English text you would like me to translate into Chinese.安全 匹配基础设施与模型Unfortunately, t组织不需要庞大的人工智能模型来挖掘价值 - 57%的企业模型参数量少于10亿，这对于现代设备 经济学无限的实验和可预测的生产成本 he te如MacBook Air或入门级MacBook Pro来说完全在处理能力范围内。令人惊讶的是，在高端设备上向设备内置的转变更为明显：主要使用设备内置基础设施的企业，部署100亿以上参数量模型的概率几乎是其他企业的两倍。 发生数据泄露；在设备上的AI具有明显优势，因为那些从未传输的数据在传输过程中不可能泄露。随着99%的企业在他们的AI工作流程中处理专有数据，本地处理的能力正成为一项关键的安全要求——通过消除传输风险，在不依赖程序控制的情况下确保AI辅助工作流程的安全性。 本，这使得在预算限制内进行无限实验成为可能。对于生产推理，固定硬件成本取代了随着成功而波动的云的不确定运营费用。而且与用户采用率不达预期而变得无用的云座位不同，设备上的硬件不论AI使用模式如何，都能保持其全部的生产力价值。 xt yo u've 企业人工智能格局今日 成熟的组织正在通过更充分地利用设备端功能转向混合模式。 采用率。这表明每种基础设施类型为公司实现跨多个业务功能扩展人工智能提供了不同的用途。 上，大规模训练需要在必要时使用专用集群，而生产部署则根据规模需求匹配基础设施。 基础设施。一家金融服务公司可能会在工作站上原型设计欺诈检测模型，在需要扩展时在GPU集群上训练生产版本，将大量推理部署到云端，并在本地系统上运行分支级模型，利用每种架构提供最优价值。 跨团队分布式部署以及需要本地处理的负载的生产推理。虽然本地GPU集群可能更适用于批量训练和多用户共享环境，但云基础设施提供可伸缩性和需要高可用性的生产API。 的演变和工作负载模式的变化，基础设施组合比单一平台承诺更能迅速适应。 56%也部署了NVIDIA GPU，这表明设备平台是补充而非替代专业计算资源。 您所在机构目前的人工智能成熟度如何？ This text \"OWFTUJHBUJPO\" appears to be a sequence of characters that does not correspond to any standard English word or phrase. If these are technical codes or symbols that have a specific meaning in a certain context, please provide additional尽管一半在多个业务职能中扩展人工智能的组织依赖混合部署策略，但只有大约三分之一的正在试点人工智能项目的组织这样 机构正在将一些人工智能工作负载迁移到设备端 您预计在接下来12个月内，设备上的AI与本地和云端的AI分布会有怎样的变化？的组织占比用混合策略的同一种冲动——他们需要适合工作的正确工具。每种架构都有其独特的用途。在人工智能成熟组织中的模式是战略多元化，而不是对单一平台的依赖。 到设备上。这些组织已确定了具体的工作负载，在设备上构建的基础设施能够填补他们当前方法的空白。 * 每个涉及专有信息、客户数据或监管内容的工程都会触发文档要求、审计周期和传输风险评估。设备端处理通过保持数据本地化来减少这种开销。不需要传输的数据不需要进行传输安全审查或第三方访问批准。 %计划增加更多设备端功能。对于已经使用设备端基础设施的企业，65%计划将更多工作负载转移到设备端源：OMDIA注意事项：N=1568，*仅显示当前主要基础设施下的“更多设备端”响应© 2025 OMDIA 资源分配或监控使用配额。设备上的基础设施消除了这些限制：开发团队可以直接在本地数据集上工作，没有传输延迟，没有令牌限制，也没有每次迭代的边际成本。 在设备上，补充了AI供应商的缺口。 只有9%的人表示与他们的战略人工智能合作伙伴没有显著差距。 力：预训练模型、部署基础设施和专业工具。但是，合作伙伴关系也引入了约束。它们需要数据访问，造成定价复杂性，并产生整合依赖。组织在不同阶段发现这些摩擦：具有安全意识的公司在部署敏感数据时遇到它们，而成本敏感的组织则在收到账单时发现它们。 本地开发，组织获得高速环境以处理敏感数据和实时任务，同时提供可预测的成本和直接的数据访问。 现有企业系统性能限制为实时应用供应商锁定担忧。通过在每个工作流程阶段实现人工智能 —— 从注释到清理敏感数据 —— 以往的隐私控制和出口成本成为阻碍，现在得以顺畅操作。以设备上的基础设施为基础，确保战略性的云端资源优先用于大规模分布和集中协调，而不是消耗于更适合在设备上处理的任务。 统企业软件供应商或AI原生公司合作的组织持续面临的问题。只有9%的企业报告称其合作伙伴关系完全满足其需求。 AI生态系统。源：OMDIA注意事项：N=1352 ©2025 OMDIA 企业追踪可见成本，却忽略了关键驱动因素 超过三分之二跟踪云成本，但不到一半跟踪与安全相关的成本 有成本（TCO）的首要关注点。但担忧并不自动等同于准确的追踪和归因。当云成本以明细账单的形式出现，而安全投资却在采购、人员和运营预算中分散时，决策者自然会关注可见的数字。然而，那些看不见的成本可能更大，对长期成功更为关键。 会系统地报告，将其作为单独的项目跟踪在他们的AI基础设施预算中。这合乎逻辑，因为云服务提供商会提供带有明确每项服务细分的频繁发票。 织可能会系统地低估混合方法，因为潜在的成本节约并不立即显现，而前期投资可能会主导成本评估，掩盖长期价值。这种可见性不对称可能导致决策偏向以云为中心的策略，即使总拥有成本更倾向于更加平衡的方法。 一个独立组成部分进行追踪。安全费用是真实存在的——合规成本、审计周期、事件响应、专用工具——但它们分散在现有的预算和组织隔阂中，使得归因变得远不那么直接。 归因差距和预算结构可能隐藏混合部署策略的总拥有成本优势。 11 安全模型是正确的重新思考关键人工智能基础设施The security模型是对的 安全即摩擦与安全即架构 通过设计最小化数据泄露 工智能能力，数据必须离开组织并传输到第三方基础设施。这种传输产生了暴露，76%的企业将其视为担忧。担忧并非一定是来自有意的攻击，而是来自意外传输或配置错误，这些错误更为常见。 导致规划成本增加，限制了新用例的实验速度。 76% Of enterprises are concerned or very concerned about potent ial data leakage through cloud services企业对通过云服务可能造成的数据泄露问题表示关注或非常关注。行模型训练的医疗组织面临强制性的管控。使用交易记录和客户财务数据的金融服务必须遵守数据居留限制。而与机密客户数据合作的咨询服务公司则面临合同对第三方数据访问的禁止。 织认识到本地或设备端是至关重要的或重要的，但以云为首选的架构只能提供风险缓解，而不能消除风险。 87%Of enterprises say keeping sensitive data on-premises or on-device is important.设施的主要原因之一。担忧促使企业更倾向于采用架构解决方案而非程序控制。 企业中表示将敏感数据存储在本地或设备上很 设备端AI开发强化安全性 大幅降低风险，通过建筑设计隐私而非程序上的解决方案。 远不会离开安全的环境，消除了整个类别的安全审查和合规开销。这种紧张关系在数据主权要求下加剧——当组织跨越司法管辖区运营时，他们面临特定的国家命令，要求数据保持在地理界限内。云架构可能使合规变得复杂；在设备上进行处理使合规更容易。 要数天安全审查的开发周期大幅压缩。通过架构保证而非程序控制，工程团队重新获得速度，安全团队获得信心。准备数据。向云环境部署的组织必须在传输前清理和准备敏感数据，擦除可识别的个人资料或删节机密细节。没有设备端AI功能，这些数据准备工作将使用传统工具进行，从而造成重大瓶颈。 全担忧。设备上的基础设施消除了架构风险，同时也消除了程序 以及转换数据集，这一切都发生在数据离开安全环境之前。 方基础设施访问。模型在数据所在的地方进行训练，从而无需管理数据传输成本，无需验证传输加密，无需审计云提供商控制，也无需跨境数据传输文件。 企业使用专有数据在训练或微调AI模型时，使得99%设备上的AI在消除传输风险、降低程序负担以及实 现AI辅助数据准备工作流程方面具有关键工作流程优势。 经济条件是正确的。 设备上的AI开发消除了实验税 实验时出现。这让他们能够测试假设、优化模型，并探索不受限制的创意方法。对于仍然在调查或试点的54%的组织来说，早期建立合适的架构平衡，随着实验的加剧和工作量扩展到生产阶段，将直接转化为成本节省。 在实质性的差异。云服务费用随每个版本增加，而能够在设备上完全运行人工智能的硬件，能够以零边际成本提供无限实验。并且相同的硬件投资在其生命周期内为多个项目提供服务。初始投资之后，设备上的AI意味着每一次实验和迭代基本上没有边际成本。 索死胡同，并快速迭代，无需担忧预算。约束变为人类注意力和工程时间，而不是基础设施经济。这消除了迫使团队限制实验、跳过验证运行或避免探索替代方法的财务摩擦。 锁无限迭代。一旦硬件部署，每一次迭代、测试运行和验证周期都无需额外成本。 在第20次迭代后失败，这20次迭代仍然会出现在账单上。从失败的方法中学习所需的成本与成功的方法一样多。 的失败中学习，团队能够推出更优质的产品和解决方案。 部署到设备上使不可预测的成本变得可预测 部署设备上的AI可帮助组织抵御失控的推理成本和未使用的云许可证。 􁣔图7：每个座位的云许可证费用不随使用情况而变化模式：每次API调用都会累积费用的按次计费，或者无论使用强度如何都保持固定费用的按座订阅。两者都创造了随着时间的推移而累积的经济挑战。 􀉪􀉪不会产生额外的成本。在设备上生成1000个或100000个标记，维护的总拥有成本保持不变。这种可预测性对于在员工中扩展人工智能的组织来说尤其有价值，因为部门壁垒往往使得在整个企业中准确且实时地跟踪云成本变得困难。 于预期。32%的组织表示他们对让最终用户采用AI工具不满意，另外30%则只有一定程度的满意。这些未使用的许可证代表了持续的成本，但没有生产力的回报。This is not a s organizations表示他们对于让终端用户采用人工智能工具多少有些满意或完全不满意。entence or a phrase. It appears to be a single character ( 活性。 工作量恰到好处。 企业人工智能模型具有特定用途 所有有意义的AI工作都需要超大规模数据中心。这并不符合企业部署的现实情况。 贵组织部署的AI模型通常有多大？您是进行推理、微调还是自己训练模型？ 和推理。这些任务的计算密集度显著降低。 于100亿，完全在现代设备如MacBook Air或入门级MacBook Pro的能力范围内。 使对于具有数百亿参数的最