EY与Elastic合作：利用生成式AI增强数据提取
摘要
随着结构化数据库、非结构化文本和多媒体数据日益普及，组织在从复杂数据中提取有意义的洞察时面临重大挑战。传统搜索和检索方法已无法应对当今数据复杂性及海量数据。本文探讨了生成式AI（Gen AI）如何通过语言嵌入和来源定位增强检索策略，优化性能、速度和可扩展性，以有效应对这些挑战。研究聚焦金融服务业与环境、社会和治理（ESG）的交叉领域，具体分析从银行排放报告和季度报告中提取数据，并构建数据库，展示高级数据检索在金融服务领域的实际应用和优势。
引言
数据提取始终充满挑战，尤其是处理非结构化、不一致且大量数据时。传统方法依赖外部数据提供商或自建提取管道，成本高且更新不及时。Gen AI的出现改变了数据提取领域，可自动分析大量非结构化数据，显著提高准确性和速度。然而，Gen AI实施也面临新挑战，如LLM可能产生与上下文无关的虚假信息、成本和速度限制导致扩展性受限，以及现成LLM和搜索引擎难以根据需求设置。
当前状态和主要挑战
数据激增使传统数据提取和分析方法过时。这些遗留系统依赖手动关键词搜索和静态查询，难以应对当今庞大、动态和多样化的数据流。主要挑战包括：
- 关键词依赖：仅限于精确关键词匹配，无法捕捉语言 nuances 和语义变化。
- 静态查询：预定义查询缺乏灵活性，难以适应新数据类型。
- 可扩展性挑战：数据量和复杂性增长超出传统工具能力，导致搜索响应变慢。
- 非结构化数据复杂性：非结构化数据需要更高级的分析技术。
- 速度和容量障碍：传统架构难以应对数据速度和容量的快速增长。
Gen AI和检索策略
Gen AI驱动的先进检索系统通过语言嵌入和来源定位等技术，实现高效的数据搜索、存储和分析。这些系统可实时处理结构化、非结构化文本、数值和地理空间信息，支持复杂领域查询。检索系统管道包括：
- 向量存储：存储多种数据类型，包括非结构化文本、结构化数据和密集向量。
- 嵌入模型：如Elastic Learned Sparse EncodeR（ELSER），将自然语言转换为向量，强调上下文理解和用户意图。
- 排名模型：如Reciprocal Rank Fusion（RRF），结合多种搜索策略提高结果相关性。
- 相似性搜索：使用k-Nearest Neighbors（kNN）快速高效地查找相似文档。
用例实施评估
1. 从年度ESG报告中提取ESG变量
ESG报告是公司透明度和问责制的重要组成部分，但报告格式不一致、数据质量参差不齐，导致提取关键数据（如Scope 1、2、3排放）困难。EY解决方案利用Elastic RAG技术，通过语言嵌入和来源定位，实现高效、准确的ESG数据提取。与Naive RAG相比：
- 弹性RAG响应速度快3倍。
- 在上下文相关性和准确性方面均优于Naive RAG。
- 多种数据检索方法（如关键词过滤、混合检索）保持高准确性，证明系统鲁棒性和可扩展性。
2. 从财务报告中提取财务变量
从季度报告中提取40多个财务变量更具挑战性，因财务报告包含结构化表格数据，而LLM擅长处理文本数据。EY解决方案结合搜索能力和表格摘要技术，采用链式思维和验证过程提高准确性。混合检索系统（向量搜索+BM25）显著提升数据提取可靠性。2023年Q1财务报告测试显示，EY解决方案准确率提升近24%，优于传统RAG方法。
结论
生成式AI通过整合先进搜索技术与AI，显著提升复杂数据提取的准确性、速度和可扩展性，为金融服务行业树立新标准。这些解决方案不仅解决当前数据分析挑战，还为未来创新奠定基础，强调采用AI驱动策略以充分利用数据，支持更明智的决策。
