2024高通AI白皮书-让AI触手可及

让AI触手可及 高通AI白皮书Qualcomm AI White Paper 高通AI白皮书Qualcomm AI White Paper 携手合作拥抱AI终端创新的黄金时代 高通公司中国区董事长孟樸 一年前，高通公司发布了《混合AI是AI的未来》白皮书，率先向业界分享了对人工智能（AI）技术发展趋势的洞察。那时，ChatGPT等生成式AI初露锋芒，这一现象级的应用引发了产业界对这场AI技术革命的广泛探讨和巨大期待。人们开始意识到，生成式AI将为各行各业生产力的提升带来质变。从那时起，大模型技术日新月异，商业化应用 的 步 伐 不 断 加 快 。当 每 个 人 都 希 望 无 时 无 刻 地 拥 有“个 人 大 模 型”时 ，生 成 式A I走向终端，成为了一个不可逆转的趋势。智能终端的新应用、新形态、新场景，正在为AI技术的普及提供广阔的空间，AI终端创新的黄金时代已经到来。 从云到端：智能终端迎来新增长周期，让AI真正触手可及 当 生 成 式A I展 现 出 强 大 的 能 力 和 前 景 ，我 们 也 认 识 到 ，A I技 术 的 真 正 价 值 在 于 其 普惠性——要实现AI人人可享、人人可用，需要让AI技术更加贴近用户，在人们触手可及的终端上运行。 由此，AI的计算重心正在从云端向终端迁移。这是由市场需求、技术趋势和用户体验共同驱动的结果 。从主机到智能手机、个人电脑（PC）等终端，计算能力的下沉使得这些终端也能够进行AI加速计算。这种分布式计算平台的运行，不仅提高了计算效率，也加速了AI在终端侧的演进 。与此同时，AI能够本地运行，并根据用户需求与云端交互，人机交互将变得更自然 、更即时、更加个性化，隐私性也更有保障 。在这个过程中，5G作为关键的连接“底 座”，为AI在云端、边缘云和终端侧协同奠定了坚实的基础。预计到2025年底，全球5G连接规模将达到25亿1。这正是“5G+AI”协同发展所带来的令人兴奋的变革——它改变了用户体验的定义，丰富了千行百业的智能连接用例，也推动了新一轮终端创新的浪潮。 在高通看来，这也正是生成式AI的革新意义——智能终端让AI成为无处不在的个人助理，推动终端与云端的融合，为智能手机带来新的互动方式，让汽车成为全新的运算空间，为下一代PC带来强大的AI能力，智能终端市场迎来了新的增长动力。 智能手机、PC、智能网联汽车位于AI终端创新的最前沿。其中，智能手机市场规模庞大，年出货量高达十几亿台。目前 ，众多手机厂商积极推广生成式AI应用，使得智能手机有 望 成 为 生 成 式A I发 展 最 快 的 领 域 之 一 。据 预 测2，生 成 式A I智 能 手 机 出 货 量 将 在2023到2027年 迅 速 增 长 ，预 计2024年 出 货 量 占 比 达 到11%，到2027年 将 达 到5.5亿部，占比43%，年均复合增长率为49%。 从“百模”到“百端”：让高性能的AI处理成为可能，赋能终端侧AI规模化扩展 AI应用场景不断拓展，各类算法模型日趋多样化和复杂，对底层算力的需求也与日俱增。如何将“大模型”高效装载到“小设备”，满足多样化的生成式AI用例 ？——这有赖于终端算力的革新升级。 你的智能手机将成为个人AI助理的载体，帮你完成信息查找、场景识别、图像处理等各种任务。然而，这些任务对计算资源和处理能力的要求不尽相同。这就需要从以通用计算为核心的计算架构，向更加高性能的异构AI计算架构升级，让CPU、GPU和NPU等不同的计算单元“各司其职”。只有协同使用这些计算单元，异构计算才能在应用性能、能效和电池续航上实现最优化，让AI助理如虎添翼，赋能增强的生成式AI体验。 作 为A I前 沿 科 技 的 开 拓 者 和 探 索 者 ，我 们 看 到 ，终 端 侧A I规 模 化 扩 展 正 在 点 燃 产 业界的热情和信心，推动智能终端软硬件和生态层面的创新。我们也倍感自豪，高通能够成为推动这一进程的重要力量 。今年3月，我们发布了《通过NPU和异构计算开启终端侧生成式AI》白皮书，分 享 了 高 通 在 异 构 计 算 架 构 和N P U研 究 方 面 的 创 新 成 果 。事实上，早在2007年，也就是生成式AI进入大众视野的15年前，高通就开始了对NPU的研究 。多年来，高通致力于将高性能低功耗的AI计算能力带入终端设备，打造了专为AI定制设计的全新计算架构。通过异构计算AI引擎，我们将性能卓越的CPU、NPU和GPU进行组合，为行业提供了可行的解决方案，支持生态系统在跨多品类终端上开发并实现生成式AI用例、体验和领先产品，让智能计算无处不在 。 从共享机遇到共建生态：共创AI终端创新的黄金时代 终端侧AI规模化扩展的发展浪潮，为大模型服务商、终端厂商、算力提供商、应用开发者等产业链各方，带来了前所未有的发展机遇 。据预测3，对端侧AI能力的需求可能会引发新一轮的换机热潮，并有助于提高设备的平均销售价格（ASP），AI能力将成为手机厂商推进高端化的有效发力点。小米、荣耀、OPPO、三星等品牌均已推出支持丰富生成式AI应用的旗舰机型 。在PC领域，预计到2027年4，超过60%出货的PC将是AI PC。 面 对A I终 端 产 业 机 遇 ，我 们 始 终 相 信 ，要 实 现 让 智 能 计 算 无 处 不 在 、A I触 手 可 及 ，需 要 产 业 链 上 下 游 的 通 力 合 作 ，需 要 包 括 中 国 在 内 的 全 球 生 态 系 统 的 创 新 与 协 作 。这将加速AI技术在各领域的普及与应用，为形成新质生产力蓄势赋能。高通的AI领先优势得益于与业界的深度合作。无论是高通的异构计算能力，还是可扩展的AI软件工具等，都需要与客户的终端深度结合才能实现 。我们也很高兴地看到，高通的AI解决方案和骁龙平台正在成为推动终端侧AI体验的关键引擎——手机厂商基于第三代骁龙8移 动 平 台，为 消 费 者 打 造 突 破 性 的A I体 验 ；PC厂 商 通 过 骁 龙X系 列 平 台 产 品 组 合 ，为企业用户和消费者带来强大生产力、丰富创造力和沉浸式娱乐体验；汽车厂商也基于骁龙数字底盘，将智能网联汽车上的生成式AI应用与云端AI相结合，为用户创造更好的驾乘体验。目前，高通AI引擎赋能的终端产品出货量已经超过了20亿。 与此同时，为了与生态伙伴共建开放生态，高通推出了AI Hub，让开发者充分发挥前沿技术的潜力，共同推进终端侧AI的规模化商用进程。我们希望能够打造一个横向生态系统，让所有模型在终端上可以和谐共生，带来跨多个生态系统的全新AI体验。 在终端侧AI规模化扩展的机遇面前，我们倍感振奋，将一如既往地通过技术创新与合作 共 赢 ，担 当 推 动 终 端 侧A I发 展 的 重 要 力 量 。期 望 各 界 能 够 从 我 们 最 新 结 集 发 布 的《让A I触 手 可 及——高 通AI白 皮 书 》中，更 加 系 统 性 地 了 解 高 通 在A I技 术 演 进 和 应 用落 地 方 面 的 见 解 和 洞 察 。这 不 仅 是 高 通 在A I领 域 持 续 探 索 、不 断 突 破 的 有 力 见 证 ，也凝聚了高通与行业伙伴共同智慧的结晶 。 让 我 们 携 手 共 同 迈 向 激 动 人 心 的A I新 时 代 ，一 同 探 索A I终 端 创 新 的 无 限 可 能 ，见 证AI科技变革千行百业、成就人类美好生活的壮阔进程。 2024年世界移动通信大会（MWC）期间，高通凭借领先的AI技术创新，荣获全球移动大奖（GLOMO奖）的“最佳人工智能创新奖”5，专为生成式AI而生的移动平台第三代骁龙8荣获“设备创新突破奖 ”6，赋能智能手机体验的全面突破，让智能计算无处不在 。 全球移动大奖（GLOMO奖）是全球数字智能领域的最高奖项，表彰推动移动行业进步的巨擘级创新7。 第一部分PART ONE 通过NPU和异构计算开启终端侧生成式AI 1.摘要02 2.处理器集成于SoC中的诸多优势03 3.生成式AI需要多样化的处理器04 085.高通NPU：以低功耗实现持久稳定的高性能AI 116.异构计算：利用全部处理器支持生成式AI 147.高通AI引擎：面向生成式AI的业界领先异构计算 1415167.1高通AI引擎中的处理器7.2高通AI异构计算的系统级解决方案7.3案例研究：使用异构计算的虚拟化身AI个人助手 8.骁龙平台领先的AI性能18 18198.1第三代骁龙8的领先智能手机上AI性能8.2骁龙X Elite的领先PC上AI性能 9.通过高通软件栈访问AI处理器20 10.总结23 第二部分PART TWO 终端侧AI和混合AI开启生成式AI的未来 1.摘要26 2.生成式AI简介和当前趋势27 3.混合AI对生成式AI规模化扩展至关重要30 30303032323233333335373.1什么是混合AI？3.2混合AI的优势3.2.1成本3.2.2能耗3.2.3可靠性、性能和时延3.2.4隐私和安全3.2.5个性化3.3AI工作负载的分布式处理机制3.3.1以终端为中心的混合AI3.3.2基于终端感知的混合AI3.3.3终端与云端协同处理的混合AI 4.终端侧AI的演进与生成式AI的需求密切相关40 4.1终端侧处理能够支持多样化的生成式AI模型42 5.跨终端品类的生成式AI关键用例43 43434446495.1智能手机：搜索和数字助手5.2笔记本电脑和PC：生产力5.3汽车：数字助手和自动驾驶5.4XR：3D内容创作和沉浸式体验5.5物联网：运营效率和客户支持 6.总结50 第三部分PART THREE 高通在推动混合AI规模化扩展方面独具优势 1.摘要52 532.高通技术公司是终端侧AI的领导者 2.1持续创新2.1.1我们AI技术的发展历程5454 3.我们在终端侧生成式AI领域的领导力55 3.1突破终端侧和混合AI边界3.2负责任的AI5556 4.卓越的终端侧AI技术和全栈优化57 4.1算法和模型开发4.2软件和模型效率4.2.1量化4.2.2编译4.3硬件加速5858626263 5.无与伦比的全球边缘侧布局和规模66 5. 1手机5.2汽车5.3PC和平板电脑5.4物联网5.5XR6767676868 6.总结68 生成式AI时代需要何种算力? 高通AI白皮书第一部分 Unlocking on-device generative AIwith an NPU and heterogeneous computing通过NPU和异构计算开启终端侧生成式AI 第一部分PART ONE 通过NPU和异构计算开启终端侧生成式AI Unlocking on-device generative AIwith an NPU and heterogeneous computing 1.摘要 生 成 式A I变 革 已 经 到 来 。随 着 生 成 式A I用 例 需 求 在 有 着 多 样 化 要 求 和 计 算 需 求的 垂 直 领 域 不 断 增 加，我 们 显 然 需 要 专 为A I定 制 设 计 的 全 新 计 算 架 构 。这 首 先 需要 一 个 面 向 生 成 式A I全 新 设 计 的 神 经 网 络 处 理 器（N P U），同 时 要 利 用 异 构 处 理器 组 合，比 如 中 央 处 理 器（CPU）和 图 形 处 理 器（G P U）。通 过 结 合N P U使 用 合 适的 处 理 器，异 构 计 算 能 够 实 现 最 佳 应 用 性 能 、能 效 和 电 池 续 航，赋 能 全 新 增 强 的生 成 式A I体 验 。 NPU专 为 实 现 低 功 耗 加 速A I推 理 而 全 新 打 造 ， 并 随 着 新A I用 例 、模 型 和 需 求 的发