张颖峰-RAG 2.0 引擎的设计挑战和实现

张颖峰/InfiniFlow创始人 DataFunSummit#2024 RAG 1.0的痛点和解决方向 如何有效Chunking 如何准确召回 高级RAG和预处理 RAG未来如何发展 01 RAG 1.0的痛点和解决方向 InfiniFlow RAG架构模式 RAG面临的挑战 n挑战一：向量的召回无法满足要求 n挑战二：文档结构复杂，数据太乱，Garbage In, Garbage Out n挑战三：问题和答案所在文档关联不大，很难通过问题找到正确文档 InfiniFlow 下一代RAG架构 InfiniFlow Infinity + RAGFlow =Infiniflow 02 如何有效Chunking InfiniFlow 概要 InfiniFlow 调整抽取模型的RAGFlow对比 InfiniFlow 表格识别模型 n单元格边界判定 n表头信息判定 n单元格合并判定 n表格跨页判定 InfiniFlow 表格识别模型 文档“大”模型 03 如何准确召回 InfiniFlow Indexing Database InfiniFlow Benchmark RAG数据库选型对比 几路召回？ InfiniFlow 排序模型 ColBERT的收益 ColBERT的收益 ColBERT ranker还是reranker？ InfiniFlow 延迟交互是RAG的未来 延迟交互是RAG的未来 answerai-colbert-small-v1基于JaColBERT 33M参数 n超过BGE 110Mn每个Token 96维nBinary量化后每个Token 12 byte 04 高级RAG和预处理 InfiniFlow 复杂问答之文档预处理——RAPTOR InfiniFlow 复杂问答之知识图谱 05 RAG未来如何发展 多模态RAG—“雕花”还是？ 多模态RAG与延迟交互模型 提问：2019年一天当中平均哪个小时电力消耗最高？ 记忆增强的Agent n角色扮演和社交模拟记忆个性化行为n个人助理记忆保存多次交互中的事实信息，以及用户的个人风格，方便提供个性化行为n游戏记忆获得的技能，行为轨迹等n推荐系统记忆保存用户行为，历史对话，提供个性化上下文n领域应用医疗/金融/法律：记忆案例、知识、市场信息、成功经验，辅助决策能力 THANKS https://github.com/infiniflow/infinityhttps://github.com/infiniflow/ragflow DataFunSummit#2024