大模型交流系列1国产开源大模型交流20260308

2026年03月12日13:30 发言总结 发言人2 讨论了访问中国官网API时主要使用国内算力的情况，但也提到当涉及海外平台时，部分算力可能会直接从海外获取，而部分来自国内，且这一情况在新加坡和东南亚地区尤为明显。大部分海外流量集中在新加坡和东南亚，节点选择通常位于新加坡，但也利用周边的东南亚基础设施及国内基础设施。应用服务与算力服务分离，用户感觉仿佛直接从海外接入，而调用算力时，部分算力会调用国内的资源。 大模型交流系列1：国产开源大模型交流20260308_导读 2026年03月12日13:30 发言总结 发言人2 讨论了访问中国官网API时主要使用国内算力的情况，但也提到当涉及海外平台时，部分算力可能会直接从海外获取，而部分来自国内，且这一情况在新加坡和东南亚地区尤为明显。大部分海外流量集中在新加坡和东南亚，节点选择通常位于新加坡，但也利用周边的东南亚基础设施及国内基础设施。应用服务与算力服务分离，用户感觉仿佛直接从海外接入，而调用算力时，部分算力会调用国内的资源。由于推理任务的计算需求相对较低，大量使用的是CPU服务器，成本较低，且云计算足以支撑海外访问量。大多数模型训练使用的非敏感数据，且在推理过程中使用的GPU也主要来自国内，因为数据并非高度敏感。许多创业公司采用这样的模式来应对海外市场需求，同时指出大模型的训练和推理成本较低，对中小企业和个人开发者而言，采用这种模式较为经济。他还讨论了数据合规问题，特别是在涉及到欧盟等严格数据保护法规的国家时，他们通过用户协议来处理相关问题，并强调数据在处理过程中已经过脱敏处理，符合监管要求。他进一步讨论了国内与海外模型的部署情况，指出国内厂商倾向于使用开源模型，并讨论了大模型公司与独立模型开发商之间的竞争态势，认为独立模型开发商因专注和快速响应市场变化的优势，在某些情况下可能更具竞争力。数据传输主要通过东南亚光缆进行，而当前推理对带宽要求不高。 发言人1 深入讨论了脱贫出海策略，着重分析了官网API的运用、国内与海外服务器的布局、数据中心位置选择、数据管控机制以及市场策略等关键点。他特别关注了数据出海的挑战，探讨了国内模型在海外市场上的表现，并讨论了第三方企业对数据管理的具体要求。此外，他还触及了国内外算力的使用情况，强调了营销策略实施的时间节点，并对小龙虾工具在促进国产模型应用及未来发展趋势中的角色进行了阐述。他进一步询问了光缆容量限制对服务的影响，以及利用国内算力服务于海外客户可能遇到的问题。最后，他表达了对国产模型未来发展潜力及提升出口市场份额的乐观态度，并对会议进行了总结。 发言人3 他首先介绍了电话端参会者提问的方式，即通过按星号键后接着输入数字1来参与提问。接着，他转向网络端参会者，说明他们可以通过直播间互动区域发送文字提问或申请语音提问，同时鼓励大家积极参与。此外，他对所有参会者的到来表示了诚挚的感谢。他进一步邀请参会者利用AI进宝获取复盘资料，并推荐使用进门APP探索更多专业AI工具和投研内容，最后，他以美好的祝愿结束了发言，希望参会者的工作顺利。 要点回顾 在官网API上访问的算力部分，是如何分布在国内和海外的？ 发言人2：如果访问的是国内官网的API，基本上使用的是国内的专利算力。但如果是通过海外平台访问，部分算力会直接调用海外资源，也会从国内调用部分算力。 在海外的部分，主要是在哪些地方？ 发言人2：主要是在新加坡等东南亚地区设置节点，大部分海外流量集中在新加坡或东南亚。 对于欧洲或新加坡的用户，通过海外地推平台访问贵司产品时，是否会使用新加坡或周边东南亚以及国内的服务器和基建？ 发言人2：对于这类用户，节点会选择新加坡，并可能同时使用周边东南亚及国内的基建资源，因为应用服务与算 力服务分离，虽然用户感受像是从海外直接接入，但在调用算力时会根据需求切换至国内或海外资源。 如果欧洲或新加坡的公司在官网或第三方平台调用API时，展示部分是否都在新加坡节点上，而在推理过程中是否涉及国内服务器？ 发言人1、发言人2：是的，在推理过程中确实会调用到国内的服务器，因为整个推理过程时间较长，一百多秒，网络延迟等因素影响不大。 在广告和营销部分是否全部在海外进行？ 发言人1、发言人2：对，广告和营销部分主要使用的是海外CPU服务器，成本较低且能满足海外访问量需求。 GPU推理是否也主要使用国内的资源？ 发言人2：是的，大部分GPU推理是使用国内的GPU资源进行的。 关于数据出境问题，是否会涉及到数据安全和机密性问题？ 发言人2：不会，因为数据主要是经过清洗后的非敏感代码数据，不涉及机密性和安全性问题。 对于第三方企业，在调用API时，是否有要求数据必须存储在特定地点（如数据中心位置）？ 发言人2：目前只有大型企业会对数据中心位置有明确要求，中小企业和个人开发者通常对此较为宽松。 在公司整体算力需求中，海外展示部分占比是多少？ 发言人1：海外展示部分占比非常低，可能不足个位数，而国内则是主要的算力需求方。 talking出海导致国内推理需求上涨的逻辑是怎样的？ 发言人2：这个因果关系在于，海外大量模型迁移到国内，使得国内策略变得紧张。特别是在12月份之前，国内存在闲置算力的情况，而随着美国失业率上升和token价格狂涨，12月开始，国内外模型都有一次大规模升级，从而拉动了国内推理需求。 国内推理需求上涨的时间节点是什么时候？ 发言人1：国内推理需求的突然上涨是从12月份开始的。 国内使用的模型引擎有哪些？ ：国内使用的模型引擎除了大厂的之外，还有很多小厂的，只要拥有专利，模型厂自己做部署即可。 营销策略方面，国内模型收入调用量占比增长是否有周期性？ 发言人2：国内模型收入调用量占比的增长一般在新模型发布时会有营销活动，效果最好。随着新模型不断推出，会切走一部分老模型的流量，若没有新模型更新，整体用户流量会下降，回归海外模型。 国内外模型差距如何，以及如何看待这种差距？ 发言人2：目前，国内模型在coding场景上接近exotic 4.5版本的水平，时间差大约三个月。尽管单价较低，但国内模型通过大量数据分流能够逼近海外模型效果。不过，长期来看，随着成本、性能需求提升，价差可能会缩小，因为高端显卡在国内推理上的使用会增加，以保证质量稳定性。 新模型上线后，真实调用量排名大概多久会回归到稳定状态？ ：新模型上线后，操作消耗量会随着发布周期逐渐减少，高峰期大约持续一两周，之后会平稳下降。 发言人2：现在看来还很难实现。国产模型在稳定性上与英伟达相比还有较大差距，例如国产芯片可能只能稳定运行五六分钟，而英伟达的芯片可以稳定运行几十分钟甚至更长时间。 国产芯片是否有可能短期内超越英伟达？ 发言人2：短期内国产芯片很难超越英伟达，因为英伟达不仅芯片强大，其生态系统也非常成熟且强大。而国产芯片大多没有类似的强大生态系统，建立这样的生态需要大量的工作量和长期投入。 国内原研模型能否通过蒸馏等方式，在短期内直接提升性能超过海外模型一代？ 发言人2：目前很难做到，因为蒸馏过程主要依赖于学习海外模型的数据，很难超越原有模型。此外，即使有新的工程和算法创新，能否显著提升智能水平仍是个未知数。 小龙虾模型（可能指某些低成本国产模型）被用于调用嵌入式AI应用中，这种趋势会成为主流吗？ 发言人2：类似小龙虾这样的产品在未来还会有更多形态的AI产品出现，它们可能会在一段时间内占据热度，但随着技术发展，会有更先进、更易用的产品取代它成为主流。 小龙虾模型带来的活跃度上涨还能持续多久？ 发言人1：活跃度的上涨可能已经接近尾声，因为渗透率已经趋于稳定，且目前大部分用户尚未将其深度整合到日常工作流程中，使用率和实际应用深度仍有待提高。 刚才提到海外推理主要使用国内算力，对于数据合规问题，特别是欧美地区严格的出境数据管理，是如何处理的？ 发言人2：我们通过用户协议提前告知用户并获取同意。实际上，我们处理的数据并非机密数据，海外也有类似数据存在。我们只是提供一种数据组织方式，并未直接迁移原数据至国内，而是通过用户协议层面与用户沟通清楚。 即使用户同意协议，欧洲对数据的理解和监管针对的是原始数据，你们处理的是中间过程数据，是否会有监管风险？ 发言人2：是的，我们的做法是确保只处理脱敏且非关键隐私数据（如邮箱、密码等），这些数据仅用于调用外部大模型时作为上下文信息，并不会保留在外部系统中，而是保留在欧洲本地机房，这样符合境外各国监管要求。 对于国内模型是否可以直接部署在海外服务器上？ 发言人1、发言人2：国内模型可以部署在海外服务器上，因为国内模型开源后，已在海外被广泛部署。但涉及到API调用时，会有价格区分，开源部分无限制，而商用部分则需付费使用算力。 公司是否有租赁亚马逊和谷歌云算力的情况？ 发言人2：公司有使用云算力，但更多偏向于测试用途而非大量用于服务运营，主要是考虑到海外基础设施成本高且部署门槛较高。 open cloud在云电脑和个人电脑上的使用比例？ 发言人2：目前难以统计具体比例，但总体上个人电脑占比更高。open cloud对用户电脑要求不高，支持多种操作系统，并通过调用外部大模型API运行，普通电脑即可配置使用。 推理过程中使用的算力以及客户接收的终端类型（云电脑vs个人电脑）？ 发言人1：目前云电脑的数量少于个人电脑，大部分用户仍倾向于使用个人电脑。尽管open cloud推理过程使用的算力与合作方的算力有关，但客户接收的终端主要是个人电脑。 长期来看，独立第三方模型提供商与互联网大厂之间的竞争关系及关键点是什么？ 发言人2：长期竞争中，大厂由于规模优势、生态能力以及对市场的响应速度较慢，可能存在犯错风险。而独立第三方厂商更具专注力和快速调整能力，可能在市场出现突发性变化时占据优势。但如果行业未出现新的突破事件，大厂凭借庞大的规模和技术优势将逐渐领先。 如果服务海外客户，使用国内算力是否存在带宽或光缆容量限制的问题？ 发言人2：目前中美之间有多条光缆连接，且东南亚也有相关通讯设施。推理服务对带宽要求不高，因此即使使用国内算力，目前尚未遇到因带宽或光缆容量限制的问题。