向量数据库是大模型的外接存储,当前面临Embedding技术发展趋势、向量索引召回率提升与成本优化等挑战。RAG技术作为综合数据+模型的工程方案,目前仍处于起步阶段,主要挑战包括传统OCR工程难以对齐人类文本、行业OCR识别度不足70%以及多模态OCR才是出路等问题。
腾讯云向量数据库进展方面,TencentCloudVectorDB源自腾讯集团多年打磨的分布式向量检索引擎OLAMA,提供高吞吐、低延迟、低成本、高可用、弹性扩展的全托管向量检索数据库服务。OLAMA引擎日处理向量检索1600亿次,支持百万级QPS和十亿级单索引向量规模,具备多AZ部署和秒级故障自动切换能力,已通过信通院性能和规模测试,支持千亿级超大规模企业级向量数据库。
当前业务进展显示,腾讯云向量数据库已形成一站式RAG数据平台,并在实际业务中取得显著成果。