计算机行业大模型应用落地的重要软件基础设施：向量数据库助推RAG加速大模型应用

投资建议：我们认为，现阶段本地部署可能是最适合大型企业和特殊行业企业的AI调用方式，得益于其对数据主权与模型可控性的双重保障，看好如向量数据库等新型基础软件的扩圈。推荐标的：星环科技-U。受益标的：拓尔思等。 向量数据库专业处理向量嵌入，全方位为大模型赋能。人工智能时代下，非结构化数据成为主流趋势，向量数据库具备系统处理由非结构化数据转换而来的向量嵌入，腾讯将自研的向量数据库用于大模型预训练数据的分类、去重和清洗，实现了10倍效率的提升。向量数据库为大模型提供外置记忆块，帮助企业整合私域数据并构建专属知识库，加速大模型在各业务场景落地。向量数据库为向量数据构建索引，利用语义搜索、混合搜索、关键词搜索等全面提升大模型检索速度、响应速度，Zilliz与英伟达携手发布Milvus2.4版本，通过集成GPU，进一步实现检索效率的飞跃。 DeepSeek开源重塑大模型竞争格局，本地部署成为主流趋势，叠加信创加速国产数据库渗透多行业。随着DeepSeek开源以及多个大模型均免费开放，企业本地部署一流大模型的资本开支大幅降低，多地政务系统、基金与券商行业、工业与高端设备制造业、交通与文旅等各个行业加速DeepSeek大模型的本地部署。向量数据库作为大模型发展的基础设施，正成为企业AI发展的重要一极。在信创浪潮中，国产AI生态加速构建，各类芯片厂商、科技公司纷纷与DeepSeek达成合作，实现产业链上下游协同发展。未来科技将朝着“大模型+GPU+向量数据库”方向发展，布局向量数据库的企业将深度参与国产替代浪潮。 向量数据库的激烈竞争获胜者应当是那些具备工程化降本能力与场景化产品创新优势的厂商。企业部署向量数据库需经历非结构化数据向量化处理的复杂工程链路，高昂的开发成本倒逼厂商强化产品化封装能力——头部企业需深度耦合大模型技术栈，在大模型应用落地过程中更需针对金融、医疗等高价值垂直场景开发端到端解决方案，并通过动态定价模型（按查询/存储/效果付费）构建商业化壁垒。此外长期来看，参考海外SaaS化集成路径，具备差异化技术能力的第三方厂商有望与云平台形成"能力互补+联合交付"的合作范式（如腾讯云生态案例），通过软硬一体解决方案输出实现协同增长，尤其在私有化部署、混合云架构等企业级需求场景中，技术生态整合能力将成为核心竞争壁垒。 风险提示：技术研发进展不及预期、资本投入不及预期、市场竞争加剧的风险。 1.向量数据库——AI Infra的兵家必争之地 1.1.向量数据库与AIGC密不可分 向量数据库，就是用于存储、索引和搜索向量数据的仓库。向量数据库早在2018年便开始应用，主要面向AI企业用户，曾被质疑天花板不高。一方面大模型出现前，向量数据库的使用场景常限于推荐系统、视觉检索等，应用场景局限被投资者质疑市场天花板不高，空间有限。另一方面由于用户可以基于诸如Faiss、pgvector等开源的向量检索插件自己研发满足需求，因此向量数据库被认为市场需求弱。 向量数据库作为大模型的外置“记忆体”，其重要性今非昔比。在AI时代浪潮下，涉及大型语言模型、生成式AI和语义搜索的应用程序，都依赖于向量嵌入，即不同于传统关系型数据库的数据以表格形式存储，向量数据库中的数据均以向量的形式存储。嵌入由AI模型生成，具有许多属性或特征，因此难以管理、复杂性较高，但是对于AI大模型和机器学习模型却至关重要。向量数据库允许以向量形式储存和索引向量嵌入，同时具备快速检索和相似性搜索的功能，借助向量数据库，我们可以向AI添加知识，例如语义信息检索、长期记忆等。与独立向量索引相比，向量数据库具备更专业的数据管理、数据存储和筛选、可扩展性、实时更新、备份和收集、生态系统集成、数据安全和访问控制等多个优势，为处理向量嵌入提供了卓越的解决方案。 向量数据库是大模型开发过程中的重要软件基础设施。在传统的关系型数据库中，数据往往被存储为表格形式。然而，随着AI时代的到来，众多企业面临着海量的非结构化数据，例如图像、音频和文本等。根据Gartner的数据，非结构化数据占企业生成的新数据比例高达90％，并且增长速度比结构化数据快三倍。这些数据无法简单地用表格形式存储，因此需要通过机器学习算法从中提取出“特征”，向量数据库的兴起便是为了解决对这些向量进行存储与计算的问题。向量数据库是专门用于存储和管理向量数据，其具备的快速检索、混合存储、向量嵌入等能力很好的解决了AI大模型技术中普遍存在的知识时效性低、输入能力有限、回答问题准确度低等问题。 向量数据库的优势：对比传统数据库可存储非结构化数据 向量数据库专门为非结构数据检索而设计，通过向量嵌入函数(vector embeding )来精准描写文本、语音、图像、视频等非结构化数据的特征，从而提供查询、删除、修改、元数据过滤等操作。而像SQL、Mysql这样传统的数据库根本无法完成这些操作。 近似最近邻搜索（Approximate Nearest Neighbor Search，ANNS）不同于传统数据库只能在行跟列中进行一一对应的精确检索，向量数据库通过将向量数据组成一个“立体高维空间”，在空间中进行模糊检索，输出权重最高的答案，向量数据库不仅能够完成传统数据库所具备的基本的CRUD（添加、读取查询、更新、删除）等操作，还能够对向量数据进行更快速的相似性搜索，商业化潜力巨大，可应用于搜索广告推荐、图像音视频检索、文本挖掘、语言识别处理等广泛领域。 具备高性能的快速检索与分析能力 向量化执行引擎可以减少节点间的调度，提高CPU的利用率。不同于传统模式的一次对一个值进行运算，向量化实现了到一次对一组值进行运算的跨越。通过实现批量读取和处理，大大精简了函数调用开销，减少了重复运算，提高了执行效率。 向量数据库实现了从数据预处理、存储到高效检索的端到端向量搜索解决方案。根据Pinecone公开的技术资料，向量数据库的整个处理过程高度系统化，性能显著提升。向量数据库通过创建索引结构以存储向量数据，并利用嵌入模型将原始数据转化为向量表示，再将向量及关联元数据导入索引，借助命名空间实现数据分区及多租户隔离。随后，将用户输入的查询内容转化为向量，并进行相似性检索，最后，通过元数据过滤、结果重排序或混合搜索策略优化来检索精度与效率。 图1：向量数据库实现了从数据预处理、存储到高效检索的端到端向量搜索解决方案 全球数据总量爆炸式增长，非结构化数据成为主流趋势。计算机信息化系统中的数据分为结构化数据和非结构化数据，结构化的数据通常是由二维表结构来表达和实现，包括文字、表格等形式，而非结构化的数据没有预定义的数据模型，具体表现为办公文档、文本、图片, HTML、各类报表、图像和音频/视频信息等等。未来，非结构化数据的增长将呈现稳定增长态势。 据IDC DataSphere数据显示，到2027年，全球数据总量从103.67ZB增长至284.30ZB，年复合增长率为22.4%，全球非结构化数据将占到数据总量的86.8%，达到246.9ZB。 向量形式储存非结构化数据，向量数据库成为大模型高效处理和准确检索高维数据的基石。由于数据源的多样化和数据量的激增，大模型需要处理图像、音频和文本等海量非结构化数据，并提取出以向量为表示形式的“特征”，以便模型能够理解和处理。向量数据库通过向量嵌入函数，支持在数据导入阶段，将各类非结构化数据转化为向量嵌入，同时擅长处理高维向量数据，这对于AI应用极为重要。因此，向量数据库较传统基于索引的数据库有明显优势。同时，这种存储结构还可以保证数据的快速读取，从而提高了查询的效率。根据腾讯云发布的公告，企业原先接入一个大模型需要花1个月左右时间，使用腾讯云向量数据库后，3天时间即可完成，极大降低了企业的接入成本。 向量数据库有效清洗数据，提升模型训练效率。在AI模型训练的数据导入环节，首先要进行数据清洗和筛选，向量数据库能够对大规模非结构化数据进行分类、标注和清理，优化数据集，从而极大程度提高AI模型的训练效率。在实际应用中，Altas数据管理平台，通过接入Pinecone、Weaviate等向量数据库，实现训练数据的清洗和去重，腾讯将腾讯云向量数据库用于大模型预训练数据的分类、去重和清洗，相比传统方式可以实现10倍效率的提升。 1.2.为大模型提供“外置海马体”，打破“AI幻觉” 数据实时交互，为大模型提供实时数据更新。大模型虽具备强大的向量计算能力，但本身存储空间有限，无法长期保存大量向量嵌入数据。向量数据库则如同“外置记忆块”，能将大模型产生的海量向量嵌入数据，以向量形式存储在多维空间中，每个向量代表一个点的位置。当大模型需要处理新问题时，能快速从向量数据库中检索相关向量数据，实现数据的实时交互，为模型推理提供最新信息，突破预训练带来的知识时间限制。比如，当智能客服大模型遇到新的客户咨询时，通过与向量数据库实时交互，获取以往相似问题的解答思路和相关知识，快速给出准确回复。目前，Qdrant向量数据库与Pienso合作，已经实现在开源AI大模型的基础上开发私域大模型。 整合私域数据，构建企业专属知识库，深化大模型业务理解能力。企业的私域数据在经过文本分割、向量化后，可以存储在向量数据库中，构建起企业专属的外部知识库，从而在后续的检索任务中，为大模型提供提示信息，辅助大模型生成更加准确的答案。通过将大模型与企业高质量私域数据相结合，能显著提升模型对业务的洞察能力，加速大模型应用落地。Zilliz开源方案Deep Searcher引入Milvus向量数据库，最大化利用私有数据，实现对用户存储在本地的数据进行海量低延时的离线搜索。 图2：腾讯云构建企业专属知识库，深化大模型业务理解能力 向量数据库作为“AI海马体”，突破大模型对文本数的限制，保留上下文信息。大模型均有上下文长度限制，超过最大输入token数，模型则会忘记上文信息，从而导致回答准确性降低。向量数据库通过记忆客户端和大模型之间的对话信息，为大模型提供长期记忆，打破“AI幻觉“。 1.3.提高大模型检索效率，改善用户体验 语义搜索帮助AI大模型更好地理解自然语言。过往最主流的搜索方式为关键词检索，搜索引擎事先收集数据并构建索引，接受用户输入的关键词后，将关键词进行匹配、计算相关性并排序，最后将结果呈现给用户。而随着AI大模型的兴起，以及海量结构化数据的应用，语义检索成为一种新的选择。 语义搜索通常将用户交互的信息转化成为向量数据，并通过计算其与另外一组向量的相似度，搜索到对应相似度较高的向量数据后，再生成回答，这帮助AI大模型真正理解了用户所表达的含义。 向量数据库为向量数据构建索引，提升大模型搜索效率、响应速度和推理能力。在应用阶段，AI大模型存在较多的向量相似性搜索需求，但是大模型进行语义搜索的过程耗时较长，响应速度较慢，可能会降低即刻需要得到内容生成的用户体验。而向量数据库通过ANN算法给不同的向量数据构建索引，有效提升搜索效率，缩短生成内容的反馈时间。 混合搜索结合语义搜索（Semantic search）和关键词搜索（keyword search），提升回答相关性，为下一代搜索和AI应用程序铺平了道路。混合搜索使得即使在查询文本与文档之间没有直接的关键词匹配，或者查询文本与文档之间的语义相似度较低，却含有相同关键词的情况下，结果仍能被检索出来，以此提高搜索结果的相关性，提升搜索结果的质量。星环科技在其自主研发的企业级向量数据库Transwarp Scope，支持混合搜索，能够高效处理多种数据类型，提供强大的数据检索和分析能力。Milvus引入全文检索功能，结合原有的稀疏向量检索和混合检索能力，改善语义检索在需要精确关键词匹配时存在的不足。 为大模型提供缓存能力，减少模型运算量，降低储存和计算成本。用户输入数据后，系统可以生成向量并执行缓存查找，若缓存命中，就可以直接返回结果，若缓存未命中，则调用AI大模型进行查找和推理，因此可以实现快速响应，并减少对大模型调用的开销。 向量数据库集成GPU，加速搜索速度