阿里云AI产品经理–20231114

算力：最新H20制裁新闻出来后，我们阿里云的确下架了所有的A100、A800、H800的租赁服务，禁售持续的情况下不会再上架，已经变为了战略资源。H20对标的是H200，我们也在进货H20，很难做训练，训练跟推理瓶颈不一样，IP16 int8 flops算力是训练的门槛，H20打了两折，哪怕大规模组网都没用。另外是卡间通讯，NVlink，这个没有砍，所以针对推理是有效的。 阿里云AI产品经理20231114 算力：最新H20制裁新闻出来后，我们阿里云的确下架了所有的A100、A800、H800的租赁服务，禁售持续的情况下不会再上架，已经变为了战略资源。H20对标的是H200，我们也在进货H20，很难做训练，训练跟推理瓶颈不一样，IP16 int8 flops算力是训练的门槛，H20打了两折，哪怕大规模组网都没用。另外是卡间通讯，NVlink，这个没有砍，所以针对推理是有效的。今天不只是训练缺，推理也缺卡，所以都是战略资源，都要囤积。 昇腾910B对标的是A100，算力差不多，我们没有采购的原因是他不是cuda生态，今天的transformer大模型都是基于cuda打造的，他是自造的生态，对我们来说就很困难，如果用昇腾做预训练我们需要基础算子挨个对齐，工作量极大，还有他的优化和加速，对我们来说 是黑匣子，什么事情都要找华为的工程师，所以没法用，用的话我们团队得解散，还是很重 要的团队。推理是一样的问题，也要做适配，但推理本来没那么缺。我们即便有渠道也不会 海外再继续拿高端算力，因为大厂怕美国制裁。 因为英伟达本身在迭代，本来预计三年后觉得H100就这样子了，但是如果禁售一直存在的话，A100A800H800对国内还是很香的，而且昇腾的生态还不是主流，即便算力补齐产能补齐，英伟达卡的稀缺性仍在。 大模型：国内所有大型，甚至包括Google bard和LLama，跟GPT都是断代的差距，断代主要体现在代码生成和数理逻辑，大家在问答、写长文和GPT3.5差距不大。 国内大模型之间比较，跑分意义不大，要看客户的认可度。现在看，百川认可度最高，用户 很多，智谱的模型其次。像商汤、百度和阿里腾讯字节之间，目前认可度相对高的还是百度。 我们用下来GPT4 Turbo感觉很强，他的服务器也经常崩掉，说明调用量非常大，他可以收集到非常多的数据，越来越好用，正向循环。而我们是越来越差的逻辑，因为包括通义千问 在内调用量很少，所以将来差距会越来越大。大家争的就是开源，通义也在努力。今天百川、 通义、天工还没有完全开源，实际上还没死心。市面上现在50B以下的模型在开源，但50B以上的还没开源，因为一旦开源技术就全部公布出去了，就是放弃盈利目标了。像百川、智 谱、昆仑融了这么多钱，80-90%的钱都烧到了资源上。 军备竞赛我理解至少会持续到明年底，因为之前大家买断了很多资源锁定了很多资源，可以 烧到那个时间点；第二点是我们和GPT的差距虽然明显但不会投降，因为GPT本身在进步迭代，哪怕人家除了GPT5，我们能达到GPT4，也是很强的生产力革命，很重要，必须要卷。 最乐观的情形我认为国内大厂一年半内年可以达到GPT4，Tier1都有可能。 GPTs想象力很大，可能是下一个互联网，未来一年肯定无数创业者涌入，一定是颠覆性的。他只提供API，你调用就会按token计费，生成属于自己的大模型，然后变成推理API，这就是垂类模型的逻辑。之后垂类模型的创业者就没了，你只是一个垂类数据的提供者。其他领域，大的颠覆除了copilot外，还有可能是游戏，网易逆水寒使我想到的一个初阶应用。