人工智能行业点评：GoogleGecko推出，小型化分支迈出一大步

事项： 2023 年 5 月 10 日（美国时间）谷歌召开 I/O 开发者大会，更大力度地 All in AI，发布多款 AI 新品，涉及全新大模型、应用软件、基础设施等多领域。 国信计算机观点：1）谷歌召开开发者大会，更大力度地 All in AI，从 AI 大模型到应用、软件端，AI 产品全线出击。2）发布 PaLM 2 新一代 AI 大模型，提供 4 个版本，其中最轻量化的 Gecko 可以直接在智能手机上本地化运行，LLM 移动原生或成未来趋势；相比于第一代 PaLM，PaLM 2 在多语种、推理、编程等领域表现大幅提升；同 GPT-4 相比，PaLM 2 在部分领域具有一定竞争力。3）投资建议：建议关注 AI 领域龙头公司。4）风险提示：AI 技术和应用发展不及预期；宏观经济下滑影响 IT 支出；AI 应用相关政策和法律推进缓慢。 评论： 谷歌召开开发者大会，AI 产品全线出击 谷歌召开开发者大会，更大力度地 All in AI。2023 年 5 月 10 日（美国时间）谷歌召开 I/O 开发者大会，主题为“Making AI helpful for everyone”，通过 AI 增加知识，提升学习能力、创造力、生产力，更大力度地 All in AI，发布多款 AI 新品，涉及全新大模型、应用软件、基础设施等多领域。 图1：Google 开发者大会发布多款产品 从 AI 大模型到应用、硬件端，谷歌 AI 产品全线出击。1)AI 模型：全新 AI 大模型 PaML 2、多模态模型 Gemini； 2）应用端：办公全家桶 Duet AI、AI 聊天机器人 Bard、笔记本 Project Tailwind、专为安卓开发的 AI编码机器人 Studio Bot、面相企业 AI 平台的 Vertex AI、安卓 14、专业模型等；3）基础设施/硬件：A3超级计算机虚拟机、折叠手机、平板电脑等。 图2：谷歌 AI 产品全线出击 发布 PaLM 2 大模型，LLM 移动原生或成未来趋势 谷歌发布 PaLM 2 新一代 AI 大模型，包含 Gecko、Otter、Bison、Unicorn 四个版本。谷歌发布 PaLM 2 新一代 AI 大模型，重点改进了多语言翻译、数据相关、程序语言、推理和自然语言生成能力等。目前，PaLM 2 按照模型大小提供了 4 个版本，从小到大依次为 Gecko（壁虎）、Otter（水獭）、Bison（野牛）、Unicorn（独角兽）。其中，最轻量级的 Gecko（壁虎）可以直接在各种智能手机设备上本地化运行，且每秒可以处理约 20 个 token，对应 16-17 个单词，基本满足移动设备用户的需要。 高通发力移动端算力，LLM 移动原生或成未来趋势。23 年 2 月，高通在 MWC 上展示了一款基于骁龙的手机芯片，其支持 Android 手机上部署超过 10 亿参数的“Stable Diffusion”AI 模型；5 月 3 日，高通 CEO表示，在未来几个月，高通有望推出支持本地运行超 100 亿参数 AI 模型的移动设备芯片。我们认为 LLM移动原生或成未来趋势，主要因为：1）在移动端部署 LLM，不仅可以降低服务成本、改善延迟，同时可以提升安全性，保护隐私；2）移动端算力持续提升，叠加大模型轻量化发展，为 LLM 移动原生提供了发展基础。 图3：PaLM 2 提供 4 个版本，适用于不同场景 图4：Gecko（壁虎）可在手机端本地化运行 图5：支持安卓手机部署超 10 亿参数的 AI 模型 大模型迭代升级，PaLM 2 表现大幅提升 基于最新研究成果，大模型完成迭代升级。22 年 4 月，谷歌发布第一代 AI 大模型 PaLM，之后谷歌基于最新的研究成果，对 PaLM 大模型进行持续优化，于 23 年发布新一代 AI 大模型 PaLM 2。根据 Google 发布的《PaLM 2 Technical Report》披露，PaLM 2 基于计算最优缩放、增强数据集混合、更新模型架构三个维度进行优化，完成迭代升级。 使用计算最优缩放：谷歌对模型的大小和数据量的规模进行了深入研究，发现模型大小和数据量同比例（即 1:1）缩放时，性价比最高，即消耗同样的算力得到的模型表现更好。 增强数据集混合：以前的预训练语言大模型通常使用以英文文本为主的数据集，谷歌将其延伸到数百种语言和领域（包括编程语言、数学以及其他语言），发现更大的模型可以处理更多不同的非英语数据集，且不会降低英语语言的理解能力，并使用了去重等数据清洗和过滤策略。 更新模型架构：PaLM 2 基于 Transformer 架构；优化目标不再是单一的语言模型，而是采用了类似UL2 的思路，使用多种的预训练目标，训练模型理解语言的不同层面。 图6：模型大小和数据量同比例（即 1:1）缩放时最优 图7：PaLM 2 在超过 100 种语言的多语言文本上进行了训练 相比于第一代 PaLM，PaLM 2 表现大幅提升。基于 Google 发布的《PaLM 2 Technical Report》中的实验结果，相比于第一代 PaLM，PaLM 2 在多语种、推理、编程等领域表现大幅提升。 多语种能力：PaLM 2 在多语言文本方面进行了大量的训练（涵盖 100 多种人类语言），大幅提高其理解、生成和翻译各种语言的能力。从实验结果来看，PaLM 2 在现实世界高级语言能力考试中的表现显著优于第一代 PaLM，甚至在部分考试中，语言能力达到了“教授级”的水准。（例如 PaLM 2 的日语水平达到了 A 级，而 PaLM 的日语水平仅为 F 级） 推理能力：推理能力是 AI 大模型的重要能力之一，使用代表性推理数据集 WinoGrande、ARC-C、DROP、StrategyQA 等对 PaLM 2 的推理能力进行评估，结果显示 PaLM 2 的推理能力表现大幅优于 PaLM，甚至在部分数据集中，PaLM 2 的表现优于 SOTA（当前最高水平）。同时，用具有思维链 Prompt 或自洽性的 MATH、GSM8K 和 MGSM 等基准进行评估，PaLM 2 的表现大幅优于 PaLM。 编程能力：PaLM 2 在大量公开可用的源代码数据集上进行预训练，支持 20 多种编程语言，尤为擅长Python 和 JavaScript 等流行编程语言，也可进行 Prolog、Fortran 和 Verilog 等小众编程语言。1）代码生成能力测试：使用 3 个编码数据集（HumanEval、MBPP、ARCADE）对 PaLM 2 的代码生成能力进行测试，PaLM 2 的代码生成表现优于 PaLM；2）多语言编码能力测试：使用 BabelCode 评估 PaLM 2的多语言编码能力，包括将 HumanEvual 翻译成 C++、Jave、Go 等 high-resource 语言或 Haskell、Julia等 low-resource 语言，结果显示，对于大多数编程语言，PaLM 2 转码能力优于 PaLM。 图8：PaLM 2 在显示世界高级语言能力考试中的表现显著优于第一代 PaLM 图9：PaLM 2 推理能力表现优于 PaLM 图10：PaLM 2 在数学领域表现大幅优于 Palm 图11：PaLM 2 代码生成能力优于 Palm 图12：对于大多数编程语言，PaLM 2 转码能力优于 PaLM 同 GPT-4 相比，PaLM 2 在部分领域具有一定竞争力 在推理和数学领域，PaLM 2 具有一定竞争力。1）推理领域：PaLM 2 在 WinoGrande、DROP 推理数据集中表现优于 GPT-4，而在 ARC-C 中表现弱于 GPT-4，整体来看，同 GPT-4 相比，PaLM 2 在推理领域具备一定竞争力。2）数学领域：PaLM 2 在 MATH 中表现优于 GPT-4，在 GSM8K 中表现弱于 GPT-4，整体来看，PaLM 2在数学领域具备一定竞争力。 图13：同 GPT-4 相比，PaLM 2 在推理领域具备一定竞争力 图14：同 GPT-4 相比，PaLM 2 在数学领域具备一定竞争力 PaLM 2 在学术、编程领域可能弱于 GPT-4。1）学术领域：选择 MMLU 作为测试基准，其涉及 57 个主体的多项选择问题（专业和学术领域），结果显示，GPT-4 的表现优于 PaLM 2。2）编程领域：选择 HumanEval作为测试基准，目前谷歌未公布 PaLM 2 的测试数据，但 PaLM 2-S*的得分大幅低于 GPT-4，预计 PaLM 2在编程领域表现可能弱于 GPT-4。 图15：PaLM 2 在学术、编程领域可能弱于 GPT-4 投资建议： 谷歌召开开发者大会，AI 产品全线出击。谷歌推出新一代 AI 大模型 PaLM 2，模型多语种能力、推理能力、编程能力大幅提升；谷歌将 PaLM 2 接入自身产品，大幅提升产品 AI 性能，进而改善用户体验，增强产品核心竞争力。因此，我们建议关注 AI 领域龙头公司。 风险提示： AI 技术和应用发展不及预期；宏观经济下滑影响 IT 支出；AI 应用相关政策和法律推进缓慢。 免责声明