⼤模型最强外挂——向量数据库

⼤模型最强外挂⼀向量数据库 腾讯云向量数据库助⼒⼤模型激活企业内部数据价值 主讲⼈：腾讯云向量数据库产品经理熊鑫 章节⽬录 1.长⽂本杀不死RAG 2.召回率提升最佳实践 3.企业应⽤场景介绍 01长⽂本杀不死RAG ⼤模型的通病 正确的废话知识停滞 预训练模型的局限 外部知识库补充 私域数据 历史公域数据 ChatGPT3.5 2021年 实时公域数据 企业.. 企业B 企业A 据IDC预测，⾄2025年，全球每年产⽣的数据量将达到175ZB，这表明注重数据价值的时代已经来临，并逐渐取代了从模拟数据向数字化转变的时期；且其中超过80%的数据为⾮结构化数据 企业对向量的采⽤⽐ AIGC应⽤向量采⽤占⽐ 权威机构Gartner预测，在2026年将出现⼤规模向量数据增长 结构化数据：20% ⾮结构化数据：80% 文本 图片 Embedding模型 音频 视频 向量数据 向量数据库 向量数据库是⼀种专门进⾏⽂本、图⽚、⾳视频等⾮结构化数据存储和检索的数据库系统，其核⼼是将⾮结构化数据转换成向量的形式存储在数据库中，并通过相似性检索的⽅式快速查找和⽬标数据最相近的结果 0.2837 0.5182 0.1928 ... 0.1293 0.2837 0.5182 0.1928 ... 0.1293 0.2837 0.5182 0.1928 ... 0.1293 搜索/推荐 通过将企业内部的结构化和⾮结构化数据转为向量并存储于向量数据库中，即可构建企业内部的数据枢纽，相较于之前的单⼀的检索逻辑，借助向量的相似性检索，可做到对企业搜索、智能推荐等应⽤系统进⾏全⾯升级，并结合⼤模型LLM的能⼒，实现效率、⽤户体验等⽅⾯质的飞跃 企业知识库 代码助手 部门数据架构数据 Upsert Search 应⽤数据 多云数据 向量数据库 DeepSeek AI数据打标 企业数据…… 02召回率提升最佳实践 Flat Hnsw IVF DiskANN DiskFlat 数据规模 <100K <100M >100M <10M <10KPer Search 召回率 100% ~90% ~90% ~90% 100% 成本(100%Mem) 100% 100% 100% 20% 5% 性能(PerNode) <1k <50K <100K <10K <1k HNSW优化 性能提升50%+ 向量量化 成本降低50%-75% DiskFLAT 多租户场景成本下降90%召回率100% AutoIndex Next：根据数据规模⾃动构最佳召回率索引 向量检索(稠密向量) 优势:语义检索,能够召回近义、关联内容不⾜:可能会过度泛化,混⼊⽆关内容 全⽂检索(稀疏向量) 优势:全⽂检索⽅案,精确匹配关键词 不⾜:可能遗漏语义相关的内容,也可能检索出⽆关结果 混合检索(HybridSearch) 融合向量&关键字两种检索⽅式的优势,各取所长,提⾼召回率 向量检索（ANN） •语义搜索 •多语言支持 •输入容错性 稀疏向量检索（关键字） •精确匹配 •关键词汇匹配 •倒排索引性能提升、内存压缩 重排序（Rerank） •按权重排序 •RRF排序 •模型排序 向量+关键字双路检索⽅案，融合向量语义检索和关键字全⽂检索，提⾼RAG、搜索等场景的检索召回率 03企业应⽤场景介绍 腾讯云向量数据库（TencentCloudVectorDB）源自腾讯集团自研向量检索引擎OLAMA，自2019年上线至今，经过6年打磨，集团内部已有60+业务线上使用，覆盖搜索、推荐、AI场景，日均处理超8500亿次检索请求 OLAMA向量引擎日检索量（亿次/天） 9000 8000 7000 6000 5000 4000 3000 2000 1000 2019/12/1 2020/4/1 2020/8/1 2020/12/1 2021/4/1 2021/8/1 2021/12/1 2022/4/1 2022/8/1 2022/12/1 2023/4/1 2023/8/1 2023/12/1 2024/4/1 2024/8/1 0 腾讯云向量数据库发展关键历程 内部推出OLAMA 向量检索引擎 腾讯云向量数据库正式对外发布 首家上线Embedding及AI套件功能 腾讯云向量数据库正式商业化 迭代新版内核吞吐提升两倍 支持“关键字+向量”两路混合检索 提供精细化权限管理功能 2019年 2023年8月 2023年11月2024年3月 2024年6月 2024年9月 2025年1月 业务场景 在智能CRM系统中集成智能客服，通过机器人识别用户意图、分析多轮对话，从知识库中提取相关内容并精准回复，从而提升用户的接入效率、降低接入门槛 知识条目向量数据 向量写入 文档拆分 企业知识导入 方案效果 •一站式方案：一站式知识检索方案，同时提供数据切分和Embedding服务，降低算法 客户问题 ①输入问题 向量数据库VectorDB Embedding ③问题向量化 ④向量搜索 工程投入、提升效率 •准确率提升：通过腾讯云向量数据库为大模 意图识别 上下文对话 xxx大模型智能平台 生成答案 知识检索 型提供外部知识库，提高大模型回答的准确性，人力成本大幅降低 ②提炼问题 ⑤相关知识+问题 ⑥输出答案 业务场景 在拍照搜题的应用场景中，除了文本检索之外，还有1/4的题目包含图片信息，希望借助向量数据库以图搜图的能力，进一步提高拍照搜题的效果和准确率 业务痛点 •自建数据库运维难度高、服务不稳定 •性能要求高，其他产品难以满足 客户收益 •运维成本低：开源数据库（Milvus）运维难度高，腾讯云VDB云上托管，99.99%可用性承诺替换自建Milvus •高性能：分布式架构，平均QPS2000+，延迟 <20ms •双库切换：支持别名，模型更新后业务无感切换 性能提升 替换⾃建，免运维 业务场景 根据用户画像及内容的向量，计算某用户画像下感兴趣的内容或用户阅读过内容的相似内容，从而实现个性化推荐 核心能力 •满足大规模数据存储、稳定性要求：单机群可支持上千节点的管理，单索引可支持千亿级数据存储规模，SLA>99.99% •多年沉淀，性能领先：分布式向量数据库架构，针对向量检索场景专门优化，性能领先行业平均水平1.5倍以上 THANKS