腾讯云大数据AI大模型增强及应用，赋能企业智能化转型

腾讯云大数据ES RAG应用实践分享 任翔主讲人： 产品优势4：LLM训练语料数据预处理业界最佳实践 在大模型数据预处理环节，凭借极致弹性+Spark调优+开箱即用，数据湖方案得到有效验证 RAG检索增强生成 RAG：Retrieval Augmented Generation 一种通过检索外部知识库来改进大模型内容生成效果的技术方案 腾讯云ES RAG体验馆 典型案例（扫描了解） 腾讯云ES一站式RAG技术架构 微信读书“AI问书” 通过生成式回答、标注引用来源、提供猜你想问，大幅提升阅读体验。 二维码 核心优势 ⚫低门槛：一站式向量检索平台⚫高性能：百万级QPS、千亿级向量⚫更精准：独有向量和文本混合搜索⚫更智能：与LLM大模型无缝集成 ES在向量检索与AI增强上的优势小结 一站式向量检索平台低门槛 支持百万级QPS、千亿级向量规模高性能 独有的向量和文本混合搜索能力更精准 更智能 与LLM大模型无缝集成，轻松构建AI智能问答应用 腾讯云ES-首个通过信通院RAG权威标准认证 中国信通院云计算与大数据研究所大数据与智能化部依托中国通信标准化协会大数据技术标准推进委员会（CCSA TC601），联合40余家企业的70余位专家共同编制完成了《检索增强生成（RAG）技术要求》标准。 RAG标准包含知识库构建能力、知识检索能力、内容生成能力、质量评估能力、平台能力等五大能力域，17个能力子域，50个能力项。 腾讯云是核心参编企业，也是首个通过RAG权威标准认证的企业 腾讯云ES是国内公有云首个从自然语言处理，到向量生成/存储/检索，并与大模型集成的端到端一站式技术平台 携手腾讯云ES共创阅读新场景 数据规模大 机器成本低 ES提供了低成本的索引存储和检索，提供了向量量化以及不要求全内存索引，机器成本大大降低 超10亿级向量规模，存储成本高，早期预估30亿768维的向量，需要超过400台64G机器 运维成本高 除了文本搜索服务，同时还需部署向量化服务，在外部进行向量化后，写入到向量数据库，同时向量数据库不存储原始meta信息，还需要额外部署正排服务，多套服务运维成本高。 开发成本高 调试召回过程中，需要在外部进行向量化后，从向量数据库召回，然后再用召回id访问正排获取meta信息 稳定性要求高 在线读书平台，超亿级用户，稳定性要求5个9 查询性能要求高 高并发场景下查询延迟需要毫秒级返回，全链路多路召回需控制在300ms以内 腾讯云ES实现RAG的优势 运维投入低 高准确率 稳定可靠 基于ES独立架构即可完成向量生成->向量存储->向量检索的全流程操作。 自研基于内存的熔断限流策略，有效应对高并发与大查询，为业务保驾护航。 文本+向量的混合搜索，有效应对各场景下的检索需求。 查询效率高 存储成本低 开发实现效率高 高并发场景下，十亿级向量检索查询延迟低至毫秒级。 支持LZ4、Deflate等压缩算法、有效降低存储成本。 一站式技术方案，上手容易，研发实现高效 自治系统：提升业务效率、运营效率和系统效率 自治系统价值 核心技术 三个方面核心价值： 业务效率 ⚫降低产品的使用门槛⚫提升开发和运维效率 AI中台能力 运营效率 ⚫平台大规模运营提效⚫解决运维效率、成本优化和稳定性难题 系统效率 ⚫复杂查询的优化和调度⚫数据放置、索引和缓存的优化