火山引擎（桂峰）：火山引擎云搜索服务大规模技术应用实践

云搜索服务架构与实践

云搜索服务概述

• 火山引擎云搜索服务为全托管一站式分布式搜索服务，兼容OpenSearch和ElasticSearch
• 服务支持字节跳动内部头条、抖音、飞书、懂车帝等核心业务，具备丰富实践经验

高可用架构

AZ容灾方案

• 数据节点多AZ部署，每个AZ配置k8s StatefulSet，使用同AZ EBS云盘
• 结合ESAllocationAwareness确保分片跨AZ分配
• 支持EBS云盘容灾和AZ容灾，单节点故障时集群正常工作

多活方案

• 常见多活方案存在局限性
• Ebus双向同步方案通过订阅Translog实现实时数据同步
• 防回环机制通过数据Tag和消费侧过滤确保一致性
• 实时增量数据一致性检验

向量搜索引擎

向量搜索引擎价值

• 大模型时代重要的数据存储方式

常用ANN算法

• 基于空间划分算法（Kd-tree、K-Means）：高维场景效率低
• 向量压缩方法（PQ/OPQ、SQ）：降维但召回率低
• 基于图算法（NSW、HNSW）：HNSW应用最广，兼具效率和召回率

DiskANN技术

• 索引构建：PQ压缩向量，进一步优化搜索效率
• 查询优化：内存Cache存储近邻节点，并行搜索减少IO等待
• 技术整合：引入FAISS实现PQ压缩，构建HNSW/NSG和Lucene索引

混合搜索

适用场景

• 结构化文本数据搜索效率高
• 精确匹配但拼写/同义词支持不足

语义搜索

• 多模态支持（文本、图像、音视频）
• 理解查询意图和上下文
• 复杂度高、成本高、结果可能需要人工干预

Rerank阶段

• 关键字搜索与语义搜索结果融合打分
• 归一化&加权融合公式： $$RRF = \frac{A \ imes RRF_1 + (1-A) \ imes RRF_2}{RRF_1 + RRF_2}$$
• RRF融合技术

RAG结合

• 混合搜索结合RAG技术
• Oncall前置拦截率提升15%