兴证计算机 AI端侧行业专题交流-星际圆桌派263期

00:00:00 大家好，欢迎参加新正计算机AI端侧行业专题交流星际圆桌派263期。目前所有参会者均处于静音状态，下面开始播报声明。本次电话会议仅服务于兴业证券客户，会议音频及文字记录的内容版权为兴业证券所有，内容必须经兴业证券审核后方可留存，未经允许和授权转载、转发此次会议内容均属侵权，兴业证券将保留追究其法律责任的权利。电话会议所有参会人员不得泄露内幕信息以及未公开重要信息。 00:00:40 涉及外部嘉宾发言的，兴业证券不保障其发言内容的准确性与完整性。兴业证券不承担外部嘉宾发言内容所引起的任何损失及责任，不承担因转载、转发引起的任何损失及责任。市场有风险，投资需谨慎。提醒投资者注意投资风险，审慎参考会议内容。 00:01:40 哎，老师，您这边可以开始发言了，目前没有声音。嗯，好的好的。呃，刚才信号不好啊，嗯，哎，各位领导，各位投资者朋友，大家呃下午好啊，我是咱们兴业证券计算机组的分析师陈鑫。呃，和我共同呃组织今天会议的同事是咱们的呃同事呃罗世静啊。那我们今天的会议主要是围绕着呃世界人工智能大会啊，以及AI端侧这个市场热点所展开，我们当下呃世界人工智能大会啊正在上海如火如荼的一个进行当中，呃产业的变化和AI在行业中的应用啊，这个是呃加速的这种呃去融合。那当前呢呃这个世界融大会啊呃专家您在呃观察过程中发现啊， 00:02:27 本届的主要的特点和展会的亮点有哪些，您可以帮我们先做一个展开吗？啊谢谢嗯。好的，好的。 00:02:35 啊，我们看一下就就是呃这个w IC它已经做了好几年了嘛，今年的话我们有几几个感官啊，第一个就是啊他从整个啊叫叫。 00:02:47 主要的参加力量我们把它分成三大类，第一大类的话就是叫具身智能，那具身智能的话，它整个参展企业占比23.6%啊，数量达到242家。也就是它基本上占了1/4的这样的展馆啊，去年的话相对才几十家，这是第一个啊。 00:03:07 另外就聚算智能里面有一些产品，它过去主要是拿来做demo。那现在的话我们看到从语速到宁波到银河通用啊到自研等等，他们已经有一些很多产品可以啊做比较落地的产呃场景了啊，而且就是可以突破一些过去从啊秒级抓起升级到几分钟的常任务啊，这是第一个。第二的话就是从整体的芯片算力测啊，参加企业也比较多啊，过去的话这7年的话大概就是二十三十几家。 00:03:40 今年的话在整个以升腾随缘啊阿里的平头哥。啊等等为为首的这些都展出了非常多的这些芯片产品啊，其中的话包括超节点啊，超节点的话呢，阿里的平头哥啊，升腾950这些呃阿特拉斯950，super port这些都是给了一个叫镇馆之宝的。这个就是说今年的话国产算力从过去的啊，从从这个参与者变成了主导者啊，从过去我们在主要是卖单卡啊，打卡服务器到啊这个超节点这。 00:04:17 第三块的话就是我们看到啊，大模型这个行业在收敛。那去年是我们在我们说是百模大战啊，有大概数呃大几十家，今年的话呢，我们数了一下，大概有18家。 00:04:32 18家的话呢，还是头部的这些叶子暗面啊，阿里啊，那这大这大的，然后又又出现一些啊啊分化，就是里面的话，比如说像百川它走向了。啊，医疗面对智能，它focus在端侧AI啊，今日星辰他又做这个智能体手机啊这些这些。那所以呢，从大部分比赛的话，从过去的这种机动模型玩家变少了，那么这些的话呢，它就全面走向了我们说啊，现在流行一个公式叫Agent等于基座模型加harmony。就是模拟厂家在发布自己的新的模型的同时，要找落地，要找生态啊，这个是我们从啊这个。 00:05:17 行业的维度啊，那么从呃这个啊这个啊，另外就是我们说在学术上学术上今年成立了一个专门叫ws academy啊，专门有这种啊模型展啊，就是论文展啊这一块啊，其是今年以上 是我们今年感到啊比较大的一个几个亮点来分享啊。 00:05:40 嗯，好的，明白。呃因为上周啊，呃国家网信办披露了7家手机厂商啊，啊对他们去提供，呃生成是呃这个呃AI人工智能这样一个服务做了备案信息的披露。那呃本届的人工大会啊，在端侧的AI场景包括可能呃手机啊，以及另外的可能提到的一些这个呃端子场景上，您觉得呃哪些是呃比较值得的这样的呃关注的这样一个重点产品，然后你可以做一个产业链上的一个呃展开和梳理嘛，谢谢，嗯，好的。 00:06:13 那么说在7月8号的时候，有好几家公司都通过了这个端侧的备案啊。大家可能比较热点的关注的是苹果，那这个背后的底层逻辑是像这种深层式人工智能，我们过去比较关注的是云端的模型，那么这种面向C端的啊端侧OS它也要备案啊。备案的话相当于是嗯这个行业进入规范的合规的一个门槛， 00:06:38 那为什么要备案呢？就是因为我们国家在整个生成人工智能管理办法，它在内容输入输出那一块是有严格的这个啊管制的啊。那么从这个他要去开放算法数据集啊，要看你的合规的一些算法啊等等，来控制我们整个的这个啊这个产品上线的合规性这一块。所以未来在合规这一块是进入行业的一个必经之路啊，它就有点像我们过去做啊，手机要做入网测试啊，现在是把模型单拉出来做这个啊这是一个，那么在啊还有的话我们再看到。 00:07:14 端侧哈它其实有两股力量在推动。第股力量的话就是我们说端侧芯片。端侧芯片的话我们今年啊有一个大的发现，就是整体的啊这个端侧芯片算力都比之前提升了啊，double了一下之前我们说很多的算力啊，包括像主导的这个高通的骁龙还有联发科的这些芯片。他们基本上是大概是几十个tops，那今年的这个算量的话也比之前啊提升了蛮多的啊，这个NPU而且支持64位的内存架构啊，而玩家的话也变多了，之前的话在芯片这的话主要是高通。啊MTK啊，现在的话有一些中小玩家包括像呃瑞芯威大科去啊，还有包括盘古自己的啊这种芯片啊，麒09200这些芯片，那么都有些都已经进入到160多tops这样的算力。 00:08:09 另外呢就是端侧部署的模型的体积也相对更大了一点，去年的时候我们记得是现在时是3B以下的1.5B3B这么小的。那近的话，我们看到有些模型它可以到啊7B或者是34B这样的一个模型，那么这两股力量从端侧的计算密度到模型的这个啊参数规模双向提升，这样的话就让端侧的算力和计算密度智能得到了整体提升。 00:08:39 那么从落地来说的话，我们现在看到从头部的芯片厂是跟手机厂之间啊，我们说从手机侧荣耀。荣耀啊搭载是高通的骁龙8啊，包括G越的以及啊中兴的等等，这些手机侧就广泛地开始接触了端侧的AI。 00:09:01 那我们今年看手机这个端侧AI跟T又不一样了，现的话很多厂家在做demo，那主要是chatbo的方式，比如说华为的。它华为有一个小艺啊，惯性小艺以后可以做手机的一些基础的chatbot或调起一些啊应用。做不了太复杂的操作，那今年的化技术架构就变成了叫端侧的AI叠加云端的Agent生态这个体系，虽然从荣耀的话，它端侧跟呃阿里合作以后，它就会打通从u u智能体到云端的那一套服务体系啊，从给手机充个值。到去购买一些门票。到去预定一些出行服务，这个链路就已经变了，所以它整个的服务的宽度在变宽啊。 00:09:49 那么眼镜的话呢，就是也是这个今年我们看到端侧比较热的一个赛道。我们数了一下市场上啊，大概有将近17家做这个眼镜的头部的，像千万的AI眼镜rocket啊，包括这个。新魔莫奈等等，包括雷鸟这些的话，在整个端侧它搭载的是也是一种芯片，以及它里面会用这种啊骁龙的空间计算芯片。 00:10:15 那么这一轮的这个AI眼镜的话，它体验比之前主要体现在几点，第一的话就是它的续航啊，现在的眼镜可以都可以连续戴一个白天没问题，8个小时续航，而且它的眼镜腿是可以去快速的。啊去去有备用电池，这样的话呢，它就像我们耳机里面有个备用电池一样快速地切换啊，它续航解决了，第二的话就是啊整个的体验提升啊，从带显示的不带显示的里面都是AI的加持。 00:10:46 那么最基础的服务，我们看千问，它可以做前双工的这种呃对话。一个是可以跟啊翻译翻 译通话，同时还带入了一些健康检测心率啊啊，包括这个啊一些跟健康相关的参数它都会监控啊体验上的话，它也可以一键去调取这些背后的服务，包括打车包括健康咨询，包括去一键支付这功能都有。这样的话他就把AI端测这个硬件的体验做比较好了， 00:11:18 它真正的定义叫第4代可穿戴设备，包括rocket这些产品，他们打的叫第4代可穿戴。 00:11:25 啊第一代我们说蓝牙耳机，第二代呃智能手表，第三代双耳蓝牙耳机，第四代就这种带AI功能的眼镜啊，同时我们看到他们也发出这个啊叫智能耳机啊，智能耳机它的场景呢就是啊开会开完会以后整个会议纪要就出来了。嗯，包括同声传译这些，而且现在这些延时非常低啊，几乎可以实时传啊。那么在这个端侧的话，我们看到说从模型侧芯片侧都在整体上往这个方向去靠拢，所以这个行业的话，它有力量在推动这些产业啊在往纵深发展。那么带端侧芯片和端侧AI的这些啊，自硬件，那么会是会品种越来越多， 00:12:10 我们刚刚说的主要是手机、可穿戴耳机，其实还有大量的AI硬件。包括可陪伴陪伴机器人啊，我们还看到一些比较创新的儿童的大人的陪养老的这些，它背后都是短期技术在去啊赋能这些硬件产品啊组成。嗯，明白对，伴随着呃端侧芯片能力的一个提升啊，目前在呃端测场景啊，包括像手机啊或者呃机器人场景，它的这个呃可以推理的模型的参数规模是大致多大啊？您对后续呃可能这个呃参数规模持续增长的这样一个预期怎么去判断？然后另外呃从场景上来看的话，呃，这些呃模型啊，能够解决哪些端侧上的一些问题，您可以再展开吗？嗯。 00:12:59 嗯好的啊，我们说端侧的话，它算力我们都是主流的，现在是100T呃呃以下啊，然后先进一点大概是160tops啊这样算力啊，这样的算力的话，它能做什么呢啊，那就几块啊。一个是基础的这个文本处理啊，包括我们在本地要去写个邮件啊，做一些实时的这个文件处理，扩写改写这些纯文本相关的都可以在本地解啊，包括你本地的一些基础的啊图片的优化啊都可以接啊。包括我们刚刚说的啊，你整个会议纪要里面的转转录这一块都可以在本地。那么在啊整个这个目前我们在端侧主要的主流的基本3B左右。 00:13:43 啊，如果是要放在汽车那一块，大概可以做呃7B耳机里面大概是也是3B啊。那这些模型它都是通过大的模型把蒸馏变成量化以后的，有的是整数式的啊，有些甚至是有一种叫1.5bit啊这种集成量化啊。你比如像联发科那个他就可以做1.5bit啊，然后苹果那个的话可以做整数4，华为那个也是整数4啊，所以它整体上是把大的蒸馏变小和量化是小的啊，那么汽车端7B啊，手机端啊，硬件端3B左右。 00:14:18 啊，有些也在尝试34B的，我们看了一下啊，有的厂家比如说像那个啊厚膜那个公司，他做的34B的，但是他用的量化会更小一点啊，所以整体这个行业成熟的基本上是3B7B这个这个范围没有到明年。 00:14:32 比如说我们看现在骁龙啊MTK的下一代芯片。它都是啊过百tops的，那到明年的话就会做到30B上下。30B上下的话基本上跟我们这个端侧智能就相对比较高了。 00:14:48 但是我们看另外一个趋势，就是说在整个架构上，我们说端侧它大致只能cover我们三四十的任务啊，我们说我们日常的任务里面有简单的啊有有中等难度或复杂的。像这种中高难度的任务啊，其实它它已经离开了这个chatbot本身嘛，那本地的模型它只能解决chatbot这一类的。如果要涉及到Agent啊，它一定是要跑到云上，那么它一定是在整个端侧发起意图的分析。然后再跟云端的哈梅斯对接，然后把这个任务做完再回弹回来啊。这两天就是从to消耗的角度来说，端侧大概可以cover到40%的这些透明消耗百分之六十七十，说到云上去走一圈再回来啊啊，是这样一个链路。 00:15:37 啊主持人明白，嗯明白。那呃展开两三个小问题啊，一个呢就是手机端测呃推理任务的工号，呃有没有相关的这样一个呃量化，呃然后它对手机散热，啊，或者呢就是端侧场景