如何看待AI手机对端侧云端算力影响20250216

2025年02月17日07:11 关键词关键词 AI手机端侧云端算力需求SOC苹果算率参数量GPU F8FP8投资建议AI推理战略需求NPU性能能耗隐私安全个性化 全文摘要全文摘要 在探讨AI手机发展时，分析师们指出端侧与云端算力需求将持续增长，但当前硬件与模型性能仍有提升空间。AI手机的进步显著推动了对SOC性能的需求，同时也强调了小模型优化的必要性，特别是在成本、能耗、隐私和个性化方面。讨论涵盖了AI手机渗透率预测、算力需求测算方法及AI模型性能评估。 如何看待如何看待AI手机对端侧手机对端侧&云端算力影响云端算力影响20250216_导读导读 2025年02月17日07:11 关键词关键词 AI手机端侧云端算力需求SOC苹果算率参数量GPU F8FP8投资建议AI推理战略需求NPU性能能耗隐私安全个性化 全文摘要全文摘要 在探讨AI手机发展时，分析师们指出端侧与云端算力需求将持续增长，但当前硬件与模型性能仍有提升空间。AI手机的进步显著推动了对SOC性能的需求，同时也强调了小模型优化的必要性，特别是在成本、能耗、隐私和个性化方面。讨论涵盖了AI手机渗透率预测、算力需求测算方法及AI模型性能评估。虽然算力向终端转移趋势明显，但从成本、功耗和隐私角度考虑，硬件能力提升及模型优化仍需进一步发展。这表明，AI手机在端侧与云端算力上的复杂互动对其行业意义重大，未来发展趋势需关注算力优化与技术创新。 章节速览章节速览 ● 00:00 AI手机对端侧和云端算力影响的深度分析手机对端侧和云端算力影响的深度分析本次讨论聚焦于AI 手机对端侧和云端算力的影响，特别是从成本、功耗和隐私保护的角度分析，将云端算力分流至端侧的趋势。同时探讨了SOC硬件性能的提升以及端侧小模型针对主流功能的优化作为提升算力的两条可行路径。强调端侧和云端算力并非此消彼长的关系，端侧AI对算力总盘的拉动作用将持续存在。 ● 02:56 AI手机端侧与云端算力需求及未来发展趋势手机端侧与云端算力需求及未来发展趋势本次讨论聚焦于AI手机端侧与云端的算力需求及其未来发展趋势。当前阶段，用户主要关注AI 功能的存在和效果，而随着技术发展，从1到10的阶段，推理速度将成为重要的优化环节。预计AI手机在全球范围内的渗透率将从2024年的16%增长到2030年的80%，且端侧和云端的算力需求将持续以翻倍速度增长。具体而言，端侧算力需求在2024年至2027年间将至少翻倍增长，而云端算力需求则需通过大量的GPU来满足，预估在2025年和2026年分别需要12万及103万张GPU显卡。通过这些详细测算，展现了AI手机算力需求的长期增长潜力以及端侧与云端的未来优化重点。 ● 05:31端侧端侧AI在手机场景中的应用与云端依赖分析在手机场景中的应用与云端依赖分析本次汇报探讨了端侧AI在手机应用场景中的落地策略，特别是苹果通过端云混合模式引领的实践。苹果推出的AI 功能，如Siri升级、文字处理和图像生成，主要通过设备端运行，云端则用于补充处理超出设备AI能力上限的请求。以苹果的Ringing Tools为例，其大部分功能在无网络环境下也能使用，仅部分复杂功能需在线操作，体现了端侧AI与云端战略辅助的结合模式。此外，还分析了AI处理趋势向端侧转移以及电池限制下端侧AI对远端范译的需求。 ● 09:06端侧端侧AI在现代科技中的应用与发展趋势在现代科技中的应用与发展趋势对话主要讨论了苹果在端侧AI时代的应用推广以及端侧AI对云计算的依赖。首先，端侧AI 因其在成本、能耗、性能、隐私安全及个性化方面的优势，正逐渐成为趋势，越来越多的深度学习模型从云端转移到 终端设备上运行。这不仅体现在手机、笔记本等便携终端上，也扩展到了汽车等边缘终端。其次，尽管端侧AI有明显优势，但它仍受限于算力，需要云端辅助，实现混合AI并促进生成式AI的全球规模扩张。随着工作负载从云端向边缘端转移，端侧处理的高性能和能效需求日益增长，如何在云端和端侧之间分配处理任务，既取决于终端能力、隐私安全需求，也受商业模式等因素影响。 ● 12:02 SOC技术升级与技术升级与AI手机算力挑战手机算力挑战 随着高通、联发科等厂商推出采用3纳米工艺的全新旗舰SOC，性能提升40%，功耗降低40%，并引入了如NPU890等先进的AI处理器，AI手机的算力正在持续增长。然而，尽管SOC性能提升显著，IDC定义下的AI手机仍需搭载NPU算率大于30个TOP的SOC，并支持生成式AI，以应对端侧大模型的计算需求。目前，仅苹果的H7 Pro、联发科的天玑9000、骁龙873及以上及最新发布的天玑9400、骁龙八至尊版符合这一要求。尽管如此，端侧AI的算力仍远不足以支持大模型的全面运行，轻量化的小模型虽可在端侧运行，但效果与大模型存在较大差距，特别是在处理长文本时，大模型的计算开销会极速增长，限制了端侧性能。 ● 15:50手机手机AI战略需求的测算方法与未来趋势战略需求的测算方法与未来趋势本对话详细介绍了如何测算手机AI的战略需求，主要聚焦于两个核心参数：累计AI 手机用户数和单人单日单机的战略需求量。首先，通过全球智能手机出货量和AI手机渗透率预测，预计AI手机渗透率将从2024年的不足15%增长至2030年的约80%。其次，考虑到AI手机对硬件的要求，假设换机周期会逐渐缩短至四年，从而计算AI手机存量用户数的增长趋势。此外，讨论了AI手机文本推理需求与端侧模型和硬件的关系，分析了简单功能与复杂功能在端侧和云端的分配，以及未来AI大模型的发展对端侧算力的影响，预计端侧能力将逐步承接云端推理需求，加速渗透率至2030年。 ● 19:59 AI手机端侧和云端算力需求测算手机端侧和云端算力需求测算对话围绕AI 手机的端侧和云端算力需求进行了详细的测算和讨论。通过分析文本需求特性和相关参数，如参数量、推理次数和调用次数等，估算出单人单机文本处理的计算需求。假设每参数每托克需要两核flop的计算量，结合单词推理需求的次数和单日调用次数，预测到2027年端侧需求将增长三倍以上，而2027年至2030年云端算力需求将维持高位双位数增长。此外，还提到AI手机产生的云端算力需求，以B var GPU卡为单位进行折算，展示了从2025年到2026年的需求量。整体而言，未来AI手机在端侧和云端的算力需求将持续显著增长。 ● 23:35 AI手机算力需求与端侧优化策略探讨手机算力需求与端侧优化策略探讨讨论了未来AI 手机对云端和终端算力需求的重要性，以及在成本功耗和隐私优势下，算力向终端分流的大势。探讨了提升端侧算力的两条可行路径：一是通过SOC硬件的持续升级，二是开发针对特定功能的端侧小模型以优化算力负载。汇报了手机AI功能的现状和短期内通过硬件升级满足用户需求的挑战，强调了模型定向优化的重要性。 ● 25:33战略需求系列报告：核心假设与参数详解战略需求系列报告：核心假设与参数详解 本次会议详细讨论了报告中的核心假设及重要参数，特别是涉及技术细节和测算过程的部分。会议鼓励投资者在会后与团队成员联系，以获取更深入的了解和详细的测算结果。此外，后续的战略需求看点系列将继续围绕关键需求端进行深入分析，并发布关于云端产品需求的大报告，欢迎投资者持续关注。会议感谢所有参与者的支持，并宣布结束。 问答回顾问答回顾 发言人发言人问：问：AI手机如何影响端侧和云端算力？手机如何影响端侧和云端算力？ 发言人答：AI手机通过搭载专用模型，在端侧进行AI计算，对端侧和云端算力产生显著影响。随着更多端侧模型的加入和经销商desk的出现，端侧硬件部署得到了极大推动。在成本、功耗与隐私要求下，云端算力向端侧分流成为趋势，但目前无论是SOC性能还是端侧模型能力仍有提升空间。我们认为，端侧AI算力的落地可行路径有两条：一是单侧SOC性能不断提升以满足AI需求；二是针对主流功能进行小模型优化以减轻端侧负载。同时强调，端测和云端算力并非零和游戏，端侧AI将长期拉动整体算力需求，并在未来几年内经历从0到1再到10的发展阶段，其中推荐速度将成为重要优化环节。在特定场景中，云端推理仍可作为有效选择。 未知发言人未知发言人问：如何定量测算问：如何定量测算AI手机上的需求增长？手机上的需求增长？ 发言人答：我们对AI手机的需求增长进行了详细测算，分为累计AI手机用户数和单日单机算力需求两方面。预计全球智能手机用户稳定在约14亿年增长水平，按照预测的AI手机渗透率（2024年至2028年间分别为16%和54%），到2030年AI手机渗透率将达到80%左右。对于单日单机算力需求，根据推理算力需求公式（参数量乘以操作次数），我们得出结论：端侧算力需求在2024年至2027年间保持翻倍以上增长，后续几年仍维持较高双位数增速；而云端算力需求则需根据B/FP8精度转换计算，预计2025年和2026年至少需要12万和103万张范围卡。这些结论是我们基于详尽测算得出的重要结论。 发言人、发言人发言人、发言人问：苹果在问：苹果在WWDC 2024年推出的年推出的apple excel中，有哪些值得注意的新功能？中，有哪些值得注意的新功能？发言人、发言人答：在去年4月份的WWDC大会上，苹果发布了apple excel，其中包含一系列由AI增强的功能，如Siri升级、文字处理和图像生成等。值得注意的是，这些功能主要通过端侧设备直接运行，而非依赖云端服务。此外，苹果在AI技术中使用了两种不同规模的模型，一种是较小的30G参数模型用于设备本地运行，另一种更大规模的模型则部署在服务器上，当用户需求超出端侧AI能力时，云端AI会介入提供辅助。 未知发言人未知发言人问：苹果的问：苹果的AI如何在端侧与云端之间进行协同工作？如何在端侧与云端之间进行协同工作？ 发言人答：苹果的AI系统采用了断联混合模式，在端侧AI能够独立处理许多任务，同时在高推理策略需求时，会 依赖云端AI的辅助。例如，在LS18.2版本中，部分功能如同步OpenAI的chepGPD可集成到Siri工具中，并能切换至性能更强的云端模型。此外，苹果的ringtoys写作工具中的一些功能（除suma、k框time list外）即使在无网络条件下也能直接使用，这证明了苹果AI既注重端侧部署也依赖云端支持，在不同应用场景下灵活切换。 发言人发言人问：端侧问：端侧AI的发展趋势及其优势是什么？的发展趋势及其优势是什么？ 发言人、发言人答：端侧AI的发展趋势表现为越来越多的需求向端侧转移，并且端侧AI具有显著的成本、能耗、性能、隐私安全以及个性化五个优势。随着AI模型向边缘终端转移，诸如手机、笔记本、智能家居乃至汽车等设备上运行的AI模型将更加丰富多样。尽管受限于算力，端侧AI仍需云端辅助，但随着大量工作负载从云端转向边缘端，对端侧高性能和出色能效的需求日益增长。如何在云端和端侧之间分配处理任务，不仅取决于端侧能力、隐私安全需求，还涉及商业模式等因素。同时，硬件厂商如高通、联发科等不断发布新款旗舰SOC，提升了端侧AI的整体性能和能效表现。 发言人发言人问：在云端和端侧，问：在云端和端侧，AI手机的算力差距体现在哪些方面？手机的算力差距体现在哪些方面？ 发言人、发言人答：在云端和端侧之间，尤其是在处理复杂场景下的人工智能模型时，存在显著的算力差距。尽管目前主流的7B小模型在云端的运行算力需求大约是14个同等规模大模型的计算需求，但端侧AI手机目前搭载的NPU算率远低于云端服务器。以IDC定义的AI手机标准为例，只有苹果H7 Pro、联发 科天玑9000、高通骁龙873以上以及最新发布的天玑9400和骁龙八至尊版符合要求，但其端侧实际实现的算力仍不足以支持大型云端模型的应用。 发言人发言人问：为什么端侧问：为什么端侧AI手机的算力不足以支持大型云端模型运行？手机的算力不足以支持大型云端模型运行？ 发言人答：虽然轻量化的端侧小模型可以运行，但整体效果与云端大模型相比仍有较大差距。根