大模型与向量数据库专家交流纪要专家背景介绍：AI 目前看主要是公共大模型、企业大模型和个人端侧模型，公共大模型类似于 OPEN AI 等巨头参与，企业大模型就是我们经常说的行业垂类模型，用于行业特定需求，大模型有一定定制 化特征；个人端侧模型就是我们最近谈到的 AI-PC 或者 AI 手机，是个人 Agent，最近Intel、高通芯 片厂商，以及DELL、联想、小米 OPPP 等都会有相关动作，明年上半年会看到 AI-PC、和手机的商业 化。你们说的大模型和向量数据库的结合，主要体现在提升推理效率，他类似于人脑、存储相关数据知 识，解决短期失忆的问题；目前看无论公共的云端模型、企业垂类模型，甚至端侧的个人 AGENT 都 需要向量数据库的支持，只是技术的侧重点不一样，公共模型主要侧重于查询效率、端侧模型主要是 性能功耗比。Q：向量数据库目前商业化，市场空间怎么看？A：国外向量数据库已经很火，国内刚刚配合大模型商业化推广逐步起来，目前看主要是开源以及商业 套件两类；公共大模型主要是自己做，商业化套件，目前看主要是星环科技做的比较好，听说已经和 微软做 POC 测试；未来微软模型国内企业端落地，星环能够提供，他们是针对上面说的企业端（垂 类）模型。大模型与向量数据库专家交流纪要专家背景介绍：AI 目前看主要是公共大模型、企业大模型和个人端侧模型，公共大模型类似于 OPEN AI 等巨头参与，企业大模型就是我们经常说的行业垂类模型，用于行业特定需求，大模型有一定定制 化特征；个人端侧模型就是我们最近谈到的 AI-PC 或者 AI 手机，是个人 Agent，最近Intel、高通芯 片厂商，以及DELL、联想、小米 OPPP 等都会有相关动作，明年上半年会看到 AI-PC、和手机的商业 化。你们说的大模型和向量数据库的结合，主要体现在提升推理效率，他类似于人脑、存储相关数据知 识，解决短期失忆的问题；目前看无论公共的云端模型、企业垂类模型，甚至端侧的个人 AGENT 都 需要向量数据库的支持，只是技术的侧重点不一样，公共模型主要侧重于查询效率、端侧模型主要是 性能功耗比。Q：向量数据库目前商业化，市场空间怎么看？A：国外向量数据库已经很火，国内刚刚配合大模型商业化推广逐步起来，目前看主要是开源以及商业 套件两类；公共大模型主要是自己做，商业化套件，目前看主要是星环科技做的比较好，听说已经和 微软做 POC 测试；未来微软模型国内企业端落地，星环能够提供，他们是针对上面说的企业端（垂 类）模型。市场空间方面，据了解已经给不少金融客户 POC，价格大概一个节点 20 万，一般证券公 司 10-20 个节点；通常 300-400 万/中等公司，未来随着企业端 AI 应用的深入，存在扩容情况。Q：云端自己做，那么企业端市场空间，怎么看星环？A：星环他们和微软已经做了 POC 测试，据说 12 月份应该能通过，后面企业端大模型微软应该份额 比较大，目前企业端经过备案，是可以用的。因为向量数据库涉及到企业数据比较敏感，会选国内的 厂商，星环有很大优势。具体市场空间，一个企业 300-400 万，未来不亚于传统数据库的投入，市场 空间 500 亿计算，商业套件占比 40%-50%，星环市占率 30%的话，应该在 50 亿以上的可以触达的 营收空间。Q：公共大模型星环做么？A：目前看云端公共大模型，都是大模型公司基于开源自己来做，星环不涉及；星环前几天和 Intel 合 作，也是基于企业端模型来做，在服务器CPU 上为向量数据库优化计算效率。后面会切入个人端侧模 型，因为 Intel 在 AI-PC 上面战略重点也正在和星环谈合作。Q ：您说的 AI-PC 端侧模型，Intel 正在和星环谈？A：是的，星环公司董事长就是技术出身，也是 Intel 研究院出来的，和 Intel合作一直很紧密，前几天 已经落地了数据中心层面的合作。PC 市场一直是 WINTEL体系架构的，星环和 Intel 和微软之前都有 合作，目前在研发 PC 端的向量数据库，做系统优化。Q：企业端的商业模式比较清晰，端侧大模型怎么看？A：端侧主要是操作系统厂商、或者大模型厂商做优化，并且需要针对芯片做调优适配。目前星环的向 量数据库是，基于容器把版本缩小。未来端侧对于向量数据库的要求更高，刚性需求更强，因为算力 不充裕、向量数据库能够解决数据记忆问题，提升推理效率。Q：商业模式方面？A：目前在开发和谈判，一般而言是授权方面，可能类似于海外黑莓很多中间件的授权，一台电脑或者 手机大概几十块，十几块钱都有可能，一般都是这么谈。