拾象科技李广密

拾象团队在过去一年持续追踪研究一线大模型公司、顶级AI research lab的动态，我们把模型智能能力的进化和成本的变化趋势总结为「新时代摩尔定律」：每1-2年模型水平就能提升一到两代，模型训练成本每18个月就会降低至原来的1/4、推理成本每18个月降低至是原来的1/10，未来模型推理成本做到今天1%这件事是非常可预期的。 01 2023：科技巨头主导大模型发展的一年 Q：你今年追踪AI非常的多，一直在给行业输送AI一手的洞见。能不能先聊聊你今年的状态？李广密：不管是海外独角兽的公众号还是我个人的朋友圈，我们过去一年的时间几乎没有发过AI之外的内容。去年这个时候我们有一个挺关键的判断，这一轮的核心赛道只有一个，就是大模型本身，今天投大模型可能就和10年前投电商一样。 整个拾象团队相当长一段时间只关注三家公司：OpenAI、Anthropic还有Google，我们团队在这三家公司的研究和追踪上投入了快90%的时间，我觉得是只有这几个公司有核心的secret。如果只算每人每天3- 5个小时人效，整个团队的投入也接近1万小时定律了。真正的聚焦带来的反馈也是很好的，从结果上来说，我们新一期旗舰基金竟然还超募了很多，很多LP主动找过来。我觉得团队和我自己也因为AI进入到一个加速成长的过程，今年大家都被AI点燃了，可能未来只有这一件事，其他的事可以做减法了。 Q：去年底ChatGPT诞生算是开启了大模型军备竞赛，全球人工智能也经历了狂奔的一年，在你的脑海里，这一年有哪些关键阶段、重要的分水岭？ 李广密：闭上眼睛想，我觉得最重要的几个： 第一个，从to C流量端看，ChatGPT发布以后占住了chatbot的心智，很快突破了百万用户、1亿用户，现在MAU稳定在2个多亿、做到了10多亿美元ARR，这是很了不起的。 第二个是模型能力层面，3月份发布的GPT-4是一个关键的分水岭。GPT-4代表了一个SOTA最佳模型，谁能再复刻GPT-4就是关键节点，Anthropic今年7月份发布了Claude-2，内部几乎复刻了GPT-4，Google 12月份发布了Gemini 1.0 Pro版本和手机Nano版本，Pro版本基本上就等于GPT 3.5，对标GPT-4的Ultra下个月才能发布，也可以说Google追上了，但从时间线上还是能看出来区别，OpenAI是在一年前做出的GPT-4，Anthropic是半年前做出来的，Google是下个月才能真正推出GPT-4，全球其他团队可能还需要6- 12个月才能做出来。 另一个是开源。Llama 2和Mistral-7B是我觉得开源领域最佳的2个模型，Mistral的团队之前也是Llama 1的核心成员。我其实一直不太看好开源模型的，但开源这个领域后面进步很快，所以也很值得期待。 第四个可能是多模态，我们已经看到MidJourney从V1到V6迭代过程中，每一个版本带来的图像生成效果都是快速提升的，到现在效果已经非常好，如果看视频生成，Runway、Pika，它们今天的效果和过去的视频生成也有了很大提升，我觉得这是一个很好的开端，我们可以预期明年视频生成的效果就会像今年图像生成的效果一样快速提升。另外，Google的Gemini已经是一个多模态的模型，它是几个模态从头开始训练，这是和其他大模型最大的区别，2024年的叙事肯定是多模态，Google Gemini就是打了一个新的开端。 还有一个很强烈的感受是硅谷大模型公司的融资基本上就是巨头定价来主导了，比如说AWS和Google又给了Anthropic 60亿美金，马斯克的X.ai可能也要融几十亿美金，钱是有限的、卡是有限的，在第二、第三梯队的模型公司现在就很难了。 这一年结束对大模型的质疑声音依然还很多，但硅谷最牛的公司、最聪明的人都选择了all in，我觉得作为创业者和投资人就是应该积极拥抱新时代，怎么用好新的计算机和power。 Q：总体来说，卷了这一年以后，全球大模型产业卷出了什么？ 李广密：如果说具体的结果，我们可以看OpenAI一年做到10多亿美元的ARR，明年可能是五六十亿美元的ARR，它可能是历史上增长最快的公司。但整个市场上其他的大模型native的产品所有的ARR我们简单估算过加在一起是不到10亿美金的，不如OpenAI一家。流量上，ChatGPT也占了整个chatbot流量的百分之七八十，集中度很高。从DAU角度看，到今天DAU稳定在200万以上的大模型native的产品我们只看到ChatGPT和Chatacter.AI，企业级探索大模型的use case现在成功的还不多，可能只有微软和Adobe现在比较激进。 但另外一个层面，我觉得大模型今天还在早期，不用特别着急，我经常比喻大模型很像芯片，大家要等芯片的能力和成本再迭代2-3代上面的消费电子才会慢慢的爆发，可能到明年这个时候我们就会觉得GPT-4特别傻、做不了太多事，但今年已经代表未来黄金十年的开端了。 Q：OpenAI、ChatGPT这样一骑绝尘的表现能够说明什么？ 李广密：用户对智能的渴望是很强的，我们今天在聊各种入口，但如果真的有一个极其聪明到你最强的同事的AI Copilot，我觉得大家就不再依赖现有的入口，如果ChatGPT未来某天的智能程度、可靠程度、反应速度可以直接接入到手机，全球的流量入口又会发生变化，因为所有人都是很渴望智能的。 Q：你提到硅谷大模型的融资现在已经是巨头定价和主导了，这背后的原因是什么？ 李广密：因为需要的钱很多。硅谷VC几乎都错过了大模型的投资，也同样都错过了对SpaceX和Tesla的投资，这几件事都是典型的重投入、早期看不到商业模式、风险很大，不符合硅谷VC的典型投资偏好。大模型的投入可能跟VC这个产品是不匹配的，大模型应该是另外一个金融产品来支持的，我觉得买单方就是巨头。 巨头愿意买是因为巨头在抢新的入口。举一个最简单的例子，ChatGPT和Perplexity代表的是问答引擎，Google一直占住的是搜索，我经常比喻说问答引擎就像是直接点外卖，所有都做好了，Google search就是我们去菜市场还要买菜，我们搜索出来的内容可能不能直接回答我们自己的问题，但ChatGPT和Perpelexity是「开箱即用」，用户体验是截然不同的。 也许今天我们还是不能完全信任answer engine的结果，但最终效果越来越好之后大家还是会相信的，比如ChatGPT、Perplexity这种问答形式有可能会把互联网的渗透率在大幅拉升很多，因为以前 很多长尾问题是没有被解决的，但现在因为AI就可以解决了。就像每个人有手机一样，每个人都可以拍电影、拍短视频，就是技术刺激新的需求、消费。 Q：这种AI巨头主导的阵营，可以分成哪几个派别？ 李广密：最领先的就是微软和OpenAI，其次是亚马逊和Google支持的Anthropic，第三个我觉得是Google，它自成一派，Apple跟Tesla是潜在的关键变量。 有三个大生意和大模型最相关，首先是芯片，英伟达在这一波就很激进，第二波是公有云，微软的云和亚马逊的云是两个是最大的，可能未来模型都是要跑在云上，所以云厂商拿未来每年营收的3- 5个点去投模型公司也很合理。第三个大生意是终端，手机和车，所以Apple和Tesla未来会是更关键的阵营。 Tesla有X.ai，X.ai现在是晚了6- 12个月的，未来能不能追上很关键，这个概率是大于50%的，因为X.ai的人才质量很高，执行速度也很快。手机也是一个非常重要的端，明年Apple又会支持谁？如果手机的内存未来两年能提升4- 5倍，就可以在端侧推理，而不是云侧推理，AI公司的成本结构也会发生很大变化，所以我觉得手机肯定还是会继续变强非常多。 Q：为什么没有提Meta？ 李广密：Meta推出的Llama对整个开源的贡献非常大，我觉得开源模型有可能未来就等于Meta。 我觉得Llama的能力今天还是稍差于GPT-3.5，而且Llama团队里面我不觉得有所谓的天才researcher，人才质量比OpenAI和Anthropic可能还是要落后一些，至于最强的模型要不要开源出来，我觉得这是一个很重要的问题。 但我觉得Meta不一定是大模型公司，它也许会是一个用AI做好自身业务的公司，甚至有可能Google也是这样的，有可能Google在大模型竞赛里面输了，但也有充分条件用好AI技术做好自己的产品。 Q：全球今年总计向大模型领域下注了多少，花了这么多钱，赌的到底是什么？ 李广密：我们可以算一下头部模型公司花了多少，比如OpenAI，今年买卡我们可以先估30亿美金，还不算人才和股票激励，那全球范围至少乘5，那全球就是150亿美金。我觉得未来OpenAI训练模型可能未来还需要至少得200-300亿美金，Google也不能低于这个数，Anthropic大概也需要100-200亿美金，所以我觉得未来几年，3-5年至少要花1000亿美金赌下去。 到底赌的是什么？我们刚才聊到大模型今天还是一个实验科学阶段，就像我们对人脑的智能探索一样还不理解很多事情，其实今天我们看大模型为什么涌现出智能？也是没有答案的，今天可能就是一个探索发现的时刻，而且现在提升模型智能水平只有一个路径，就是scaling law，包括scaling law为什么会起作用也只是基于经验的总结，大家并不知道为什么。所以其实现在还有很多无法判断的问题。 所以我觉得大模型是人类一个千亿美金的bet，赌的是什么？可能有一个预期是，未来5年全球GDP会不会因为AGI翻倍？AGI可能会对全球性的问题带来新的变量。 Q：你作为投资人在看移动互联网时代的产品和看现在这些公司和产品的时候有什么变化？ 李广密：第一个点是要意识到大模型是最核心的，没有模型可能是没有所谓的AI native应用。未来所谓的Super App没有自己的模型是不是work？目前还是个开放式的问题。 第二个点，智能是最关键的变量，过去的产品经验可能在今天是一种包袱，只是模型之上堆很多的功能、UI、UX有可能是徒劳的，更本质的是要理解模型的能力是什么。AI的应用跟移动互联网的应用之间到底是会有什么大的区别今天还是比较模糊的，很难总结出来，最主要是今天的可参考的成功案例还是太少了，也就ChatGPT，Character.AI，Perplexity这几个，也许还得再等1-2代的模型，会有更多native的产品出来。我们年初低估了做到GPT-4的难度，高估了应用大爆发的速度。 02 复现GPT-4：大模型竞赛的关键门槛 Q：如果我们把复现GPT-3.5或者复现GPT-4作为进入半决赛和决赛的关键门槛，现在入围了半决赛和决赛的人有谁？ 李广密：首先，复刻GPT-4比大家预期的是要难很多的。Google举全公司之力搞了这一年也才勉强接近。我觉得今年首轮跑下来就决出前三名OpenAI、Anthropic、Google。最期待的还是未来6个月内谁能再做出GPT-4的模型？我觉得可能有三家公司有潜力，Elon Musk的X.ai，Transformer核心贡献者Noam创立的Character.AI，另外，我们认为字节也很有机会，大模型的能力可能是随着算力分布而收敛的，大模型对信息的加工能力是比搜索和推荐要更强，这是在搜索和推荐之后信息分发可能最重要的一个核心赛道，Google和头条不能错过，所以我觉得华人researcher们也许也可以好好考虑字节的机会。 另外，我觉得今天一线模型公司的核心只有一个，就是提升模型的capability，现在还不是做产品和应用的时候，并且capability只有一个北极星指标，就是推理能力，其次可能是重要的成本、可靠性、多模态等问题。 Q：这些成功复刻GPT-4的选手是怎么做到的？其中的关键变量是什么？ 李广密：一方面大模型的人才壁垒非常高，大模型就是一群天才的科学家在用GPU、data和power去帮人类做科学发现，前段时间Bezos也表达了类