大模型领航者AIGC 实践案例集锦（第一期）

卷首语 PREFACE 极客邦科技创始人兼 CEO2024 年 7 月 2024 年，AIGC 经历着爆发式增长的热潮。不仅各类国产大模型如雨后春笋般相继崛起，相关的商业化应用也步入了绽放期。从内容创作、数字电商、企业生产场景到医疗、教育领域，各行各业都在探索如何利用 AIGC 提高效率和创造价值，并被注入了前所未有的创造力与想象力。 专业人士进行了深入的对话与探讨。旨在深入了解当前 AIGC 前沿技术在企业应用领域的最新动态，为各行业提供实战经验与趋势洞察。 《大模型领航者》电子书正是基于前述内容，进一步做了筛选、提炼和分类。此次推出的第一期电子书收录了 InfoQ AIGC 频道在 2024 年上半年发布的超 20 篇文章，包括 QCon 全球软件开发大会（北京站） 2024 和 AICon 全球人工智能开发与应用大会（北京站）2024 的热门演讲，以及对钉钉、面壁智能、数势科技、腾讯、京东、字节跳动、图灵机器人、云知声、零一万物、达观数据等企业的独家采访。 随着技术的蓬勃发展，围绕 AIGC 的应用生态逐渐形成。在此期间，大模型领域内“百家争鸣”的激烈竞争，加速了行业价格战的兴起，更在无形中极大推动了 AIGC 技术普及至大众的进程。AIGC 的各类应用开始广泛从理想迈向现实，惠及越来越多的用户群体。 面对这样的发展趋势，极客邦科技旗下 InfoQ 极客传媒自 2024 年初，启动《大模型领航者》访谈栏目，并策划实施了一系列围绕 AIGC 和大模型的选题报道、专访、直播、演讲分享等多种形式的内容，聚焦于实际案例应用、大模型的实际部署、团队背后的故事等核心话题，与众多行业 本册共包括 “大咖视野”、 “观点碰撞”、 “应用案例”、“技术实践”与“AI 测评室”五个部分。其中，“应用案例”又涵盖互联网产品、企业生产提效、医疗、教育以及更多垂直行业的章节内容，分别从不同行业的视角展现了大模型应用的无限潜力；“AI 测评室”则囊括了今年各热门大模型的实测。 受限于电子书篇幅，我们无法尽数呈现 InfoQ 在AIGC 频道的全部精彩内容。但与此同时，InfoQ开设的「AI 前线」微信公众号正保持着每日的优质内容更新，不间断地向 AI 爱好者、开发者和科学家，持续奉上大模型最新资讯、AI 技术分享干货、一线业界实践案例，希望助力大家全面拥抱 AIGC。欢迎关注！ 在这场前所未有的时代变革中，极客邦科技期盼与大家并肩前行，一同深入探索 AIGC 时代的每一步发展，合力推动生成式 AI 领域人才的全面成长，以及规模化落地的宏伟愿景。 CONTENTS目录 大咖视野 | VISION 01 ｜钉钉卡位战：SaaS 挣不到的钱，Agent 会挣到02 ｜26 岁带着百人团队冲刺大模型，面壁智能天才 CTO：高效比参数更重要03 ｜这个离开大厂去 AI 创业的互联网大佬，带着他的“KillerAgent”来了71320 观点碰撞 | OPINION 04 ｜大模型开闭源争吵不休：开源落后闭源一年，决定模型能力的不是技术？29 05 ｜“国外一开源，国内就创新”！面对中美大模型差异，我们该突破还是继续模仿？37 应用案例 | CASES 第一章：互联网产品 06 ｜ 如何 1 秒内快速总结 100 多页文档？ QQ 浏览器首次揭秘大模型实现技术细节07 ｜ 京东商家智能助手：Multi-Agents 在电商垂域的探索与创新4761 第二章：企业生产提效 08 ｜ 字节跳动代码生成 Copilot 产品的应用和演进09 ｜ 大语言模型加持，是智能运维架构的未来吗？10 ｜ 用 AI 面试员工的企业，知道打工人在想什么吗？！11｜ AI 代码助手革新编程界：腾讯云专家汪晟杰深度剖析机遇与挑战718093100 第三章：垂直行业 12 ｜ 巨头们涌入的医疗大模型，何时迎来最好的商业时代？13 ｜ AI 老师的强大功能 + 真人老师的情感交流 = 未来教育？14 ｜ 4 人团队，如何用大模型创造近千万业务价值？107112127 技术实践 | TECHNOLOGY 第一章：大模型训练与推理 15 ｜ 万字干货！手把手教你如何训练超大规模集群下的大语言模型16 ｜ 当大模型推理遇到算力瓶颈，如何进行工程优化？17 ｜ AI 辅助内部研发效率提升，昇腾大模型推理的最佳实践137160163 第二章：RAG 与智能体落地 18 ｜ 智能体技术发展趋势：谈大模型智能体与开放领域融合19 ｜ Agent 还没出圈，落地先有了“阻力”：进入平台期，智力能否独立担事？20 ｜“驯服”不受控的大模型，要搞定哪些事 ?170175188 AI 测评室 | EVALUATION 01 ｜算数不行、还不懂中国文化，大模型现在抢不了设计师的饭碗！02 ｜首届大模型“相亲大会”开始啦！谁是你的天选 CP ？03 ｜ Kimi 的词 +Suno 的曲：能带我入选《中国新说唱》，但还是干不过原神！195206223 大咖视野VISION 钉钉卡位战：SaaS 挣不到的钱，Agent 会挣到 出品|InfoQ《 大模型领航者》主持|霍太稳，极客邦科技创始人兼 CEO嘉宾|叶军（不穷），钉钉总裁作者|褚杏娟，InfoQ 编辑编辑|蔡芳芳，InfoQ 主编 “ 2020 年，刚带队做出全国第一张健康码的不穷加入了钉钉。不穷是阿里的第一位校招计算机博士，从 PC 时代开始触网，完整经历了移动互联网时代。而他如今面临的，是一场关于大模型的竞备赛。 ChatGPT 的出圈程度还没有谁能超越，其背后的技术方向也早已经被竞相追捧。就像不穷说的“大家都充满了 FOMO 情绪。” 那么身处其中的钉钉，能够在这次浪潮中扮演什么样的角色？ 想必已经无需用过多笔墨赘述。2022 年底至今， 和很多企业一样，钉钉最初也没有一下就找到合适的入局方式。一年多前，看到自己与微软不约而同地都选择了给当前产品增加 AI 能力时，钉钉团队觉得这种方式已经很让人眼前一亮了，但大模型爆发的能量远比想象得还要大。 理论异曲同工，可见国内的探索思路其实差异并不大。 那什么是 AI 原生？钉钉也在思索。其实在将思维转换成以 AI 为中心后，这个问题就不难回答。 整个 2023 年，OpenAI、微软、谷歌等大模型发布频繁，李开复、王小川等也亲自下场发布大模型……去年 4 月，钉钉全面投入智能化，开始用大模型逐个将高频产品重做。到了当年六、七月份，钉钉内部有人提出：能否有一个直接 AI 原生的产品？这引发了内部关于从“+AI” 到“AI+”的争论。这个想法与去年 10 月李彦宏公开提到的 AI 原生 “AI 原生产品从一开始的思考就是全新的，就是要用纯 AI 的思路来解决一个任务。它从数据感知、任务分解，再到思维链，最后到行动执行，是一种全新的思考架构。”不穷表示。 而对于做 AI 原生的方式，钉钉选了 Agent。 “我们依赖这些大模型公司” 不穷强调，钉钉模式与 GPT Store 的不同：GPTStore 通过不断丰富插件使 AI Agent 能够批量调用外部系统的能力，但它的组合效率要比钉钉低，因为钉钉拥有天然的 To B 环境，其中有大量的工作任务需要解决。 今年 1 月，OpenAI 正式推出了 GPT Store。几乎同时，钉钉发布了 AI 助理，并宣布 4 月推出AI 助理市场。 “GPT Store 上线的第一天我就用了，当天就已经有非常多的产品了，速度非常快。但我分析了所有数据后发现，GPTs 同质化非常严重，而且都是一些通过简单限定词、指令或角色扮演来形成的 AI 助手。”不穷说道。 不穷认为，目前钉钉的能力不在于做自己的大模型，而是在应用和数据，在工程性、用户体验以及 To B 理解方面。对于 Agent 来说，大模型只是其中的一个能力，此外还需要非常好的场景和高质量的业务环境数据，这两者恰恰是钉钉有、而 OpenAI 目前还欠缺的。 这一体验让不穷认定，钉钉未来的 AI 助理市场不做全量推荐，只会推荐精选过的 AI 助理。 对于与国内大模型公司的关系，用不穷的话说是：“我们依赖这些大模型公司，它们是我们的发动机和心脏。没有它们，我们无法运行。” 如果基础模型效果不理想，开发者应该可以随时更换。 因此，为快速上线和体验，钉钉选择了通义千问作为默认大模型，除此之外用户有需求时还接入了其他大模型公司的模型，如智谱 AI、月之暗面、Minimax 等。用户的业务逻辑可以建立在自己选择的基础模型体系上，业务流程和数据流也不会进入钉钉平台。 面向 AI，不穷把钉钉定义为 AI 应用创作平台，企业在这个平台上连接、开发和加工各种应用。钉钉的核心任务就是连接场景和数据，实现结构性自动化和批量处理各种工作，并通过 Agent 让创作变得更简单。 具体来说，钉钉的职责是确保外部记忆存储部分的完善，包括短期和长期记忆的处理，同时做好任务规划，之后将大模型生成的内容与本地业务数据集成，并将形成的行动在各个系统中落地。 “根据不同的场景和需求，我们可能还会推荐小模型或专用模型。”不穷说道。 不穷在给用户提供模型的选择建议时，会提醒他们更加关注模型的性能，如每秒处理的 token 量；大模型的安全性问题等，如本地部署还是云上部署；工程解决方案的多重性和便捷性等。这些问题也是钉钉构建 AI 助理时实际遇到的。 在不穷看来，当前国内各个基础模型之间的差距并不大，未来不是每个开发者都会关心基础模型的选择，他们更注重解决业务场景中的问题。因此， “C 端还没有太多优秀的产品形态出现” 数据和产品形态等方方面面都变得迅速，开发者也不要从头到尾进行开发和维护。这种模式还大大降低了开发门槛，没有研发背景的人也可以尝试，而对于研发人员来说则大大缩短了研发、测试等成本。 无疑，GPT Store 的模式吸引了大批用户：刚正式发布时，OpenAI 就宣称已经有超过 300 万个GPTs。 与传统软件相比，AI 助理、GPTs 等的不同之处在于拥有非常快的更新速度，模型、交互方式、 一方面，这意味着传统软件的研发模式可能会面临变革；但另一方面，不穷也指出，百万千万级的 GPTs 目前看相对来说形式比较单一，没有传统软件那样强大的业务理解能力，因此目前 GPTStore 中的应用很难成为高价值产品。 离问题最近的人。 AI 助理的商业模式则与传统软件相似，需要一定的用户使用量，“只要使用量上去了，很快就会有开发者赚到第一桶金。”根据不穷的经验，一旦调用量达到百万次，软件做商业化就是必然的。 不穷认为，尽管 GPTs 的创建能力很强，甚至一天可以创建几十个，但它目前还代替不了传统软件市场。 这与之前钉钉在与 IDC 联合发布的《2024 AIGC应用层十大趋势》中提到的观点“新一轮的 AIGC之争，也将会是一场流量入口之争”是契合的。钉钉在其中也提到了有望成为超级 App 的想法。 钉钉也在寻找有价值的产品。在 1 月份宣布启动的 AI 助理创造大赛上，目前有超过 2000 支队伍提交作品，不穷也会亲自体验这些 AI 助理，寻找优秀的作品。 “在目前的 To C 场景中，我还没有看到太多优秀的产品形态出现。”不穷说道，“但是，AI Agent绝对不是自我陶醉，我相信一定会有出色的产品出来，应该给创新者更多的时间。” 那么，个人玩家又如何在 GPT Store 这种模式中赚到钱呢？ 根据不穷之前的访谈，AI Agent 和智能助理产品发展到一定程度后，中间态、碎片化的产品成为极简流量入口，就会出现“No App”理念重塑应用的情况：通过对话即可直接调取、使用各种工具，更多非软件专业人员也能获得强大的系统服务。 不穷的答案是价值，“只要有价值就一定能挣到钱，只是迟早的问题。”在他看来，个人或企业创建 AI 助理的核心在于要解决具体的问题，解决问题本身就有价值。但现在“卖工具”的人可能不是最终解决问题的人，