进入正文：发言人2 00：41行，各位领导晚上好，我是东北证券AI算力分析师韩金成。今天非常有幸邀请到行业的设计专家来给大家做一个行业的一个交流和分享。专家你好，先请教一个问题，今天核心的结论就是要梳理一下国内的这个。进入正文：发言人2 00：41行，各位领导晚上好，我是东北证券AI算力分析师韩金成。今天非常有幸邀请到行业的设计专家来给大家做一个行业的一个交流和分享。专家你好，先请教一个问题，今天核心的结论就是要梳理一下国内的这个。因为看到海外海外就是现在包括meta，包括平安，他们对于算力需求可能展望都是有很大的一个爆发。不知道现在国内的这个算力的一个供需，我们大概是什么样的一个情况，主要是想梳理一下这个东西，然后就是先请教一下需求端。关于算力需求端的话，现在国内的一些头部的互联网客户，他们在这个模型3.0、3.5或者往后迭代的一个情况，包括推理端的一个大致情况。发言人3 01：41好好好，现在的情况是说，基本上国内这些头部大厂在经过2023年整个一年各种大语言模型的训练之后，基本上各家的能力水平已经是差不多能够逼近3.5，或者说是约等于3.5了。从去年下半年开始，由于是第四季度，各家厂商其实都在布局怎么样去追赶GPT4。然后我们看到可能最近也有一些新闻，说国内可能有些模型已经能够达到GPT4大概80%到90%。发言人3 02：24所以你说各家都在布局这种GPT4的这个追赶。那么GPT4它所需要的这个青年算力，其实大概是3.5的大概十倍左右。无论你说从去年第四季度开始，各个包括头部厂商，包括一些科研机构，对于这个卡的算力的需求应该是成倍上涨的。然后原因就是因为大家在搞GP4。然后GPT4它相比于这个3.5的话，它一个非常重要的就是它用了IMOE的结构。那么这个结这个结构它大概会使这个参数量大概在比这个GPT3.5大概可能有十倍以上的一个增长，所以带来的这个卡的需求，包括训练饮料的这些增长基本上都是成倍的。所以去年从Q4开始，我们也是看到了大量的这种新增的用卡需求，大概需求端是这样的。发言人2 03：33好的，你讲就是一个GBT4.0，大概它是需要多少匹的一个算力？或GPT3.5。对，大概是要多少批OK？发言人3 03：453.5的话根据我们的测算的话，3500大概是需要4000匹。就3000到4000匹，那么GPT4的话应该是三万匹三万平左右，这个是最保守的的估计。然后我们看有些国外媒体，他们的估计大概是4到5万匹，但是3万品应该是最打底的。发言人2 04：07OK明白，现在来说的话，那就清华的那个质朴，质朴他说他快接近4.0了，我不知道头部哪几家大厂，你觉得他们这个可能也会可能在比如说明年不可能，明年上半年或者什么时候可能能做到4.0，就是可能在积极的往这个方向迭代。发言人3 04：34质谱的话就是我们要分清楚说你这个使用感受和它宣称的说能够达到90%是怎样去来来的。然后我看他们那个新那个新闻稿，基本上他们所宣称的90%是在各种学术测试集，包括这种语言测试集上面。相当于是通过这种应试教育和应试考试，是来测他们模型的这样90%的一个性能。但是在实际体验当中的话，我们基本上共识的话还是大家离这个第四还是差距比较远的，并且他们的这个新闻稿里面也基本上没有提到说他们用了这个多专家的一个架构。所以我们其实倾向于他可能质谱这个模型确实也比3.5有了很大的进步。但是实际使用起来的话，应该跟4.0差距还是比较大。所以国内这些厂商我觉得应该是在今年的第一季度的话，很难说发布一个能够在实际使用和真实水平上面能够有GBD478成的馍，七八成的模型，这个比较难。可能到Q2甚至到今年年终的时候，可能能够看到一些模型他们的综合的表现能够去逼近目前是这么一个判断。发言人2 06：03OK明白，这样来看的话，就是头部厂商，他们需要这么多算力的话，他们也没有那么多卡吧。是不是整个因为现在拿了大模型牌子厂商已经十几家了，那是不是就是自己家里这么算？那可能这几个就是每个4.0，那可能都要一个15万匹，那可能要一个就要七八十万匹了，国内应该没有这么多算力，这个缺口应该是不是还是有一个。发言人3 06：40硬缺口在这里。对，这个缺口现在非常严重。然后基本上国内能够冲刺GPT4，其实这个厂商又非常好。我们看如果说你的模型水平能够达到3.5的话，那么国内可能有十来家左右。但是真正做大家有希望的去冲刺和GPT是完全对标的话，可能从算力角度的话，可能就只剩下两三家了。发言人3 07：08这两三家的话，如果根据这个公开数公开购买数据的话，可能在去年的话，腾讯和包括字节，包括阿里这三家其实买英伟达卡买的是最多的，都大概买了几万张。那么可能只有他们有希望。其他的这些厂商如果说想去冲突的话，可能确实得想办法。目前这个需求还是卡在这里的。发言人2 07：35明白，那确实是可能算你还限制了国内的发展。然后我不知道除了这个训练端，像推理端，比如说像商汤，他们更多对接的是偏中小的一些客户，他们这边的模型还有推理端的一个情况怎么样？就是他们的一些业务还有需求的一些变化，大概是什么样的一个情况，这个可以稍微梳理的详细一点。发言人3 08：04好。推理端的话我们能够看到基本上是从去年的这个Q四季度以来，各种上线的产品基本上日日基本上我们的日活都在稳定的都就就整个行业，他们的日活，包括阿里的通义千问，包括百度，他们做这种大语言模型产品，基本上日基本上日活都在比较稳定的得到。所以带来这个推理的需求端的话，其实也是我们能够看到的是虽然说没有像训练的话，你可能训练的需求是成倍是2到3倍，甚至4到5倍的这个需求的增长。但是推理端的话基本上也是从Q4开开始的话，至少每个月会有15%的一个增长。发言人3 08：56这个增长势头的话还是也两方面。第一方面是POS这些应用厂商，他们是需要去寻找诺卡，需要去包括租赁，包括跟国内的一些这种GPU推理的厂商，GPU推理的硬件厂商去做合作。还有另外一个，他们也确实在软件上面能够看，是不是能够把这个处理需求能够从软件端，从算法端去往下去做去做优化。但总体而言的话，还是推理端的话，目前也是一个瓶颈。我们也可能往后看到的话，可能到Q一这个用户量饱和之后的话，可能Q2有些公司他们的就是这个API的就会限额了，这个可能是在Q2会可以看到的一个事情。目前需求目前退一段是这样子。 发言人2 09：56OK明白，就是商汤这边的一些大客户，就是用算力的客户，能不能介绍一下他们现在的一个。发言人3 10：04情况这次这边的话我们其实主要最大的客户还是上海人工智能实验室。然后上海人工智能实验室那边，他们也是在积极的，也是在推动他们这个大模型的工大模型的更新。基本上是前两天又发了一个新的版本，这个书生浦语。内部的话应该还是也在冲刺这个地址，就是发的那个书生浦语，其实可以认为它还是一个类3.5的产品。它包括网络架构，包括网络的网络参数，其实还是没有上到4.0。基本上用AI lab人工智能显示这一边，他们的用卡需求也飞速上涨。因为他们也在是一个更大的一个模一个模一个模一一个模型。发言人3 10：55然后剩下的这些中小厂商的话，包括科研机构的话，他们们除了这个大语言模型，包括推理、包括训练、包括发证的需求之外，最近还有一个趋势是啊这种文生图，包括这种文生视频的这些需求也在上涨。我们能够看到这个趋势是从去年应该12月份开始，也就是上个月非常明显的感觉到就是跟这种AIGC，跟这种微信相关的这些需求，我包括询价各方面的需求是上涨的非常猛的。所以我们也会展望说，是不是除了这个大语言模型用卡非常旺盛之外，是不是2024年可能包括维生素，包括卫生食品，这些创业公司，包括工厂，包括一些游戏游戏厂商是不是在这方面你也有布局，然后是不是这个需求也会上涨。目前这么一个。发言人2 11：55情况明白，就是除了这个AI left CS以外，其他的有没有稍微大一点的客户，可以简单分享一下他们的一个。发言人3 12：06情况其他的大客户的话，我就是还有一些中场。你像米哈游这些公司，他们其实也是在积极的去是他们自己的的这种agent，我们现在都管这种叫做这个这个应该也是从去年Q4开QQ4开始，整个业界包括学术界这都掀起了一股关于agent的，一个训练浪潮。Agent比大语言模型，它其实多了这种和世界感知的能力。很多有想象，其实我们的客户除了米哈游之外，可能还会有一些有厂商，他们也是新增了这个用卡的需求，就是看在这个agent上面能否嵌入到游戏当中。所以其实我们看增长最快的两块用户就是游戏客户，以及有些聚焦于这个视频生成的这两这两个公司。我们能够看到这两部分的需求新增是最。发言人2 13：14明白了解。然后就是对于海外大厂，你说他们明年就24年就会开始迭代一批4.5甚至5.0了，然后对于算力需求的展望也非常强劲，包括我看应该说可能未来是现在的1万倍。然后单个模型的一个体量，我的就是对于这个模型迭代的一个速度，还有就是包括未来算力需求，就比如说不同训练模型算力需求增长的一个情况，这边怎么展望？对。发言人3 13：52感冒的话首先我们看一些事实，基本上所有美国的大厂他们都在疯狂的卡，应该可以用凤凰。你像ta应该是前天的新闻，他们刚买了应该35万张H100。然后包括基本上微软，包括亚麻，他们买卡都是最近买卡量都是几十万张，100万张去买的。发言人3 14：20包括open I他创始人他就直接认为说，其实我们如果说想达到这种AJ它其实是可能想GPT5就实现一个初步的AAJI了。那么他认为我们离AJI其实最远的就是算力。他对算力的展望真的很大胆。他也确实他他他觉得可能未来三年之内，整个算力的爆发量并不是一个指数级，而是指数的指数级，所以可能GPT5的话，我们能够看到GPT5的训练应该至少比GPT4还要再大一个数量级。你现在第一，你现在GPT4，如果是4到5万匹的话，那么这个Q5的话那可能要23匹了。对，包括V包括open I最近的动作是他们与他们自己亲自下场要投资，然后去搞这种芯片创业公司，之后还投了很多这种叫做核聚变核裂变的这些发电企业。不用你说站在他们的视角，包括整个北美的视角的话，其实要比我们中国要疯狂很多。我们可能能够看到的是2到3倍，但他们可能他们看到的算力增长可能是20倍、30倍甚至100倍这样的情况。发言人2 15：44明白，确实他们比我们要领先个1到2代，确实可能感触会不太一样。然后供给端就是需求端是能够看到的一个具体的一些变化，就是模型在迭代推理的然后供给端是什么样的一个情况呢？就是大家国内这些厂商他们增量的卡来源，包括这个情况怎么样。比如说国产卡也好，NA卡也好。发言人3 16：13对，基本上从去年10月17号精准制裁之后，基本上整个Q4整个国内都没有什么新卡到，所以你这也是刚才说的这个需求端很旺盛吗？但是供给端的话，基本上从N卡哈，从英伟达的卡上来来看的话，基本上被锁死了，包括之前下了很多订单也被取消了。可能就是之前有些下的这H100的卡，然后如果没有交付的话，那可能英伟达那边也直接取消掉了。发言人3 16：48然后去年一应该11月份的时候，英伟达发布这个H20。然后当时现在前两个月，也是说这个H20的卡也是delay了延迟发布了，因为他跟我们这些大的中国的厂商去交流的时候，发现我们其实对H20这个卡非常不感冒，兴趣不大。所以英伟达这边也是在暂缓了八度。所以基本上从供给端来看的话，英伟达从美国商务部精准制裁之后，基本上就没有给中国供过这些高端卡，这块基本上被锁死了。这是英伟达的情况，然后目前国内比较有希望的就看我们这个国产替代能不能够起来。国产替代的话其实主要就是生产，然后现在大家就在眼光聚焦在生活上面，目前这么一个情况。发言人2 17：51OK明白。那深层卡现在最新的一个表现怎么样？有些互联网厂商也开始尝试试用深圳卡吗？不他的一个算力，包括集群在这个训练端的一个表现，还有客户的一个接受的一个情况怎么样？发言人3 18：10应该是这两三个月之内，其实动作还是比较多的。现在目前大家主要能够用的，其实就是910B。然后910B这个卡，它的这个理论计算值，其实跟A100的单卡是相近的。但是因为它卡与卡之间的