亚马逊云科技：LLMOps 驱动生成式 AI 应用的运营化

核心观点

• 生成式AI应用落地需LLMOps支持：生成式AI应用涉及模型选择、微调、部署和监控的全生命周期管理，需要精细化的角色划分（模型提供者、调优者、消费者）和技术方法（如RAG、PEFT）。
• 亚马逊云科技提供LLMOps解决方案：通过AmazonBedrock服务简化大模型调用和定制，提供持续优化和监控功能，确保模型稳定性和效果。
• 大模型在电商搜索中的应用：京东电商搜索采用Lexical-based和SemanticID-based两种生成式检索方法，提升搜索体验和商品匹配度。
• 大模型在电商推荐中的应用：京东健康利用大模型技术解决稀疏行为用户召回问题，并通过DeepI2I模型扩展I2I模型能力，践行ScalingLaw提升CTR模型性能。
• 大模型在数据分析中的应用：喜马拉雅基于ChatBl探索大模型在数据分析领域的应用，解决数据门槛高、响应时效差等问题；百度ChatBI通过自然语言对话进行数据分析，降低使用门槛，提升效率；网易数帆ChatBI聚焦数据可信，解决AI+BI分析中的准确性和可信问题；火山引擎DataWindChatBI提供智能数据洞察能力，覆盖BI工具生产链路，提升用户生产效率。
• 向量数据库对生成式AI至关重要：Milvus作为云原生分布式向量数据库，提供多种索引方法和功能，支持Filter Search、Sparse Vector、Hybrid Search和Grouping Search等，满足生成式AI对高维数据的高效处理和准确检索需求。

关键数据

• ChatBI上线两周UV超过自助取数工具，PV过半，取数响应效率提升数倍，准确率达到85%左右。
• Milvus支持多种向量索引方法，包括FLAT、IVF、Product Quantization、HNSW和DiskANN等。
• 网易数帆ChatBI自研NL2SQL大模型准确率高于GPT4，评测结果显示在排序、比较、聚合等多个能力维度上均优于GPT4、千问、百度GBI等模型。

研究结论

• 生成式AI技术正在改变数据分析领域，为数据分析带来了新的机遇和挑战。
• 大模型与BI的结合是未来趋势，能够降低数据分析门槛，提升效率，实现更加智能化的数据分析。
• 向量数据库是生成式AI的重要基础设施，能够高效处理和准确检索高维数据。
• 大模型在电商搜索、电商推荐和数据分析等领域具有广泛的应用前景。
• 未来需要进一步探索大模型在垂类场景、跨表构建业务主题分析域、指标治理与应用、多边系统协同等方面的应用，以推动大模型技术的持续发展和应用落地。