阿里云AI搜索RAG大模型优化实践

RAG背景

大模型知识问答存在局限性，RAG（Retrieval-Augmented Generation）架构通过检索增强生成，提升回答效果。RAG效果的关键点在于模块架构，阿里云AI搜索开发平台提供了完整的RAG解决方案。

文档结构化

文档切片问题在于PDF、纯文本等文件无法直接解析语义层级，导致切片语义不完整，回答不完整或出现大模型幻觉补全。阿里云AI搜索开发平台采用语义层级抽取模型，通过数据增强（纯文本构造、层级合并）和模型训练（SFT、StepDPO），基于qwen2-1.5B模型，约5万训练样本，保证切片语义完整，实现基于语义层级的内容摘要，回答全局问题。

大模型微调&Agent探索

RAG实际应用中模型幻觉率仍偏高，GPT4约7%，14B及以下模型普遍20%以上。复杂答案中容易遗漏部分内容。阿里云AI搜索开发平台采用大模型微调技术，基于Qwen1.5-14B微调后，14B模型达到72B模型效果，且幻觉率更优。RAG场景中的复杂问题需要多步推理和多轮搜索，传统RAG系统无法处理。阿里云AI搜索开发平台采用Agentic RAG，通过Planner Agent推理调度，显著减少推理步数，但仍近30%的复杂问题无法解答，且时延高、成本高、推理方向不准确。

RAG应用实践

RAG典型场景包括企业知识库、内容场景、教育搜题、电商场景等。阿里云AI搜索开发平台提供离线文档结构化、离线切片&索引、在线Agent等功能。例如，在线Agent通过多轮搜索和推理，回答用户问题，如“如何搭配食物才能满足高温作业的需求？”