⾯向⽣成式AI的向量数据库

向量数据库背景介绍

• 向量数据与向量检索：向量数据是高维度数据表示，向量检索通过计算距离（如L2、IP、Cosine）找到与查询向量最接近的TopK条向量。
• 向量数据库定义：专为存储和查询高维度向量数据优化的数据库系统。
• 应用需求：在AI 1.0时代广泛应用于推荐系统、搜索、风控、安防等场景；当前在Retrieval Augmented Generation（RAG）中作为知识存储体，增强LLM答案的相关性。
• 好向量数据库标准：性能、扩展性、易用性、功能、可观测可运维、生态集成、故障恢复、安全等。

Milvus整体架构设计

• 云原生分布式架构：包含Proxy（接入层）、Query（查询层）、Data（数据层）、Index（索引层）。
• 架构优势：隔离性强（建索引不争抢查询资源）、扩展能力支持百亿级向量、灵活的流式数据处理和增量更新/删除。
• 实时性与性能权衡：
  • Segment是查询最小单位，growing segment保证实时可见但性能差，sealed segment性能好。
  • 通过indexNode构建索引加速queryNode上的数据查询。
• 异步compaction：合并小segment加速查询，合并delete数据做物理删除。
• 批量写入：支持bulk insert（跳过消息队列直接插入对象存储）和Spark connector。
• 全局索引：按租户、标量过滤条件、向量空间分布划分数据。
• Zilliz Cloud：全托管企业级向量检索云服务，分为Serverless、SaaS、BYOC版本，已登陆AWS、GCP、Azure等云平台。

性能的关键-索引

• 主流向量索引：树索引（维度灾难）、哈希（精确有限）、量化（常用）、图索引（高资源占用但精度和性能优异）。
• Knowhere引擎：Milvus核心向量引擎，集成多种算法（FLAT、IVF、Product quantization、HNSW、DiskANN、GPU cagra），提供统一接口方便集成新索引。
• 索引选择策略：
  • 降低cost：采用Disk或量化方案。
  • 提高accuracy：避免激进量化，高要求使用FLAT。
  • 提高性能：采用内存图索引或GPU索引。
• Zilliz Cloud商业版索引引擎-cardinal：更工程化代码、智能参数学习、优化数据存储布局、极致SIMD优化。

面向AI持续进化

• Filter search：支持标量过滤条件，通过scalar index和融合索引加速。
• Sparse vector：关注关键词信息，与dense vector语义不同，在out of domain数据上更优。
• Hybrid search：支持多向量多模态存储和检索（dense/sparse组合）。
• Grouping search：通过doc维度做聚合搜索，弥补仅向量召回的不足。
• 更加易用：未来版本将支持调用第三方模型转向量，用户可直接使用非结构化数据。