使用 NLP 改进生成式 AI _ Seuss

使用 NLP 改进生成型 AI 提交时间:数据峰会 2024May 9, 2024 议程 使用生成人工智能进行商业研究 生成人工智能解决方案的选择 虚构与检索增强生成 语境窗口的重要性 克服语境窗口限制的方法 将自然语言处理应用于生成人工智能解决方案 SinglePoint 集成了与客户端相关的所有内容 ， 无论其来源如何 用于市场研究和竞争情报的生成 AI 是一种强大的新工具 哈佛商学院的一项研究发现，758名波士顿咨询集团（BCG）咨询顾问参与的研究表明，生成式和对话式AI对商业战略工作产生了巨大影响。 那些以前被认为高于平均水平的顾问的业绩提高了 17% 顾问分为使用 ChatGPT - 4 或不使用 ChatGPT - 4 的小组 给定一系列业务战略研究任务来执行 那些以前被认为低于平均水平的顾问将其绩效提高了 43 ％ 按数量和质量衡量的产出 使用 Gen AI 的小组完成任务的速度提高了 40% ， 质量提高了 25% 微软本周刚刚发布的对 30, 000 名 LinkedIn 会员的调查发现 ， 员工在采用 AI 方面遥遥领先于雇主 从婴儿潮一代(73 ％) 到 Z 世代(85 ％) 的所有世代都是 AI 的重度用户 75 ％ 的商业专业人士在工作中使用 AI 其中 78% (75 分中的 59 分带来自己的 AI点) 是工作工具 - 不愿意等待他们的公司提供它们 用户表示 ， 人工智能帮助他们节省时间(90%) ， 专注于最重要的工作(85%) ， 更有创造力(84%) ， 更享受工作(83%) 创造了新的缩写词 ： “BYOAI ”带来自己的 AI 创建 Generative AI 解决方案的三个选项 使用检索增强生成 幻觉问题：大语言模型（LLMs）是概率性的文本预测器，在聊天应用中往往依赖于其训练数据。 LLM 训练数据 ： 狗追逐(飞盘 [100] 汽车 [50] 猫 [10]) 用户输入 ： 一只狗在追 Fluffy 用户提问 ： 什么是 Fluffy ？ LLM 将问题表述为 ： • 什么单词最有可能完成“Dogs chase …”？• 查询其训练数据以找到最可能的答案• 这个单词是“Dogs chase frisbees”。 生成 AI 答案 ： 蓬松是飞盘 避免幻觉 从经审核的内容生成相关文档列表 将文档文本与用户的问题一起发送到 LLM 的 API 提示模型仅从提交的内容 使用 RAG 避免幻觉并确保准确性 • 什么词最有可能完成 “蓬松是一个... ”生成 AI 答案 ： 蓬松是猫LLM 训练数据 ： 狗追逐(飞盘 [100] 汽车 [50] 猫 [10])用户输入 ： 一只狗在追 Fluffy用户提问 ： 什么是 Fluffy ？搜索过程输入一组检索到的文档 ， 这些文档具有单词 “蓬松 ” 在他们检索到的文档中有这样一句话 ： “蓬松 ，尽管是一只猫 ， 喜欢追逐飞盘。 "生成 AI 将问题表述为 ：该过程提示 LLM 模型仅使用检索到的文档中的文本来回答问题 检索增强生成正在成为事实上的标准 检索增强生成是一种技术，可以在查询上提供比单独的大语言模型更准确的结果，因为RAG使用了大语言模型中已包含数据之外的知识。- Oracle 然而，在实际生产场景中使用[大规模语言模型（LLMs）]时，它们存在一些局限性，主要是因为它们只能回答与训练数据相关的提问。这意味着它们不知道发生在它们训练日期之后的事实，并且无法访问受防火墙保护的数据。检索增强生成（RAG）是一种模式，旨在通过向LLM提供与用户问题相关的最新数据来克服上述限制，这些信息是通过提示注入的。-微软 检索增强生成（RAG）是一种通过从外部来源获取事实来提升生成AI模型的准确性和可靠性的技术。- Nvidia RAG 是一个基于外部知识库检索事实的 AI 框架，用于使大型语言模型（LLMs）基于最准确和最新的信息进行grounding - IBM 检索增强生成（RAG）是优化大型语言模型输出的过程，在生成响应之前，它会参考其训练数据来源之外的权威知识库。-亚马逊 当前模型已在通过增强检索增强生成（RAG）前端来允许提取模型外部的信息，以解决依赖记忆信息模型的不足方面取得了显著进展。- Intel 商业问题 大型语言模型 (LLM) 具有表示为令牌限制的上下文窗口 (一个令牌平均. 75 个单词) • GPT - 3.5 Turbo 去年夏天有一个 4K 上下文窗口 • GPT - 3.5 Turbo 今天有一个 16K 上下文窗口 • GPT - 4- Turbo 有一个 128K 上下文窗口 上下文窗口约束输入和输出文本的总和多少就够了 ？ 多少上下文就足够了 ？ 适应上下文窗口的策略 使用具有更大上下文窗口的LLMs分块文档，仅发送相关片段使用LLM总结文档，在摘要上进行操作为每份文档分别发送交易；进行两轮处理使用NLP消除无意义的文字 使用更大的模型有一个经济问题 GPT - 3.5 Turbo 具有 16K 上下文窗口 •每 M 令牌 0.50 美元 GPT - 4 Turbo 具有 128K 上下文窗口 •每 M 令牌 10.00 美元 使用更大的上下文窗口每个令牌的成本增加 20 倍 将文件分块 ， 对分块进行操作 在古代(2023 年) ， 当上下文大小为 4K 时 ， 人们谈论得更多 将每个文档分解成段落大小的块 使用嵌入(矢量搜索的一种形式) 检索块 发送最相关的块 ， 并要求 Gen AI 响应 但是将文档分割可能会导致准确性丧失，因为相关上下文可能分布在不同的片段中而无法被检索到。 使用 LLM 汇总文档 ， 仅在 RAG 解决方案中发送摘要 会丢失很多没有进入摘要的信息 当只有一小部分将被使用时 ， 必须处理整个语料库 新闻示例 • 语料库中有1500万篇新闻文章 • 而在任何给定年份，仅有一百万篇会在特定客户用户的搜索结果中出现 •为什么需要为总结全部1500万篇付费？ 第二遍提供总体总结 用第二遍为每个文档发送单独的交易记录 适用于许多内容类型 不会最适合最具成本效率的模型，适用于部分二级市场研究和大部分一级市场研究。 使用 NLP 消除无用的文本 减少文档至其“值得总结的句子”。值得总结的句子是陈述性的，可以通过句子的解析树来确定。值得总结的句子表达一个有趣的想法。例如：IBM今天以300亿美元收购了Red Hat。不是值得总结的句子：IBM做了什么？请关注我们的社交媒体。本文件包含前瞻性声明……。[出版商名称]提供市场研究……。微软的新生产相似性。 SyntaxNet 和 Parsey 一起工作 ， 产生可以解释的图解句子 陈述性句子是思想和见解的单位。声明式句子有一个名词主语 ， 一个词根中的动词谓语和一个直接宾语。我们可以使用解析的句子图来评估一个句子是否表达了一个相关的精巧的想法。在这种情况下，机器学习到该句子的主题是IBM（名词主语），并且IBM收购了RedHat（动词谓语）。北极光每天计算三百万个句子的解析树 使用 NLP 专注于总结有价值的句子 ， 平均可将文档文本减少 55 ％ 即使是商业组织中最大的文档也可以适应 16K 模型 将 API 成本降低 95% 对于任何给定的模型 ， 将生成式 AI 解决方案的 API 成本降低 55% 分开拍摄 生成的 AI 改变了搜索范式 ， 精灵不能放回瓶子里 高回报将获得那些获得磁头开始 生成式AI显著减少了完成任务的时间并提高了业务分析的工作质量。 检索增强生成正在成为生成 AI 的事实上的标准 上下文窗口对 RAG 解决方案的设计和操作施加了严重限制 有许多策略可以克服这些限制，而将文档文本缩减为仅包含有意义句子的自然语言处理（NLP）方法往往非常有用。 谢谢 ！ C. David Seuss 首席执行官北极光 David @northernlight. com 1 -617 - 515 - 5771 此演示文稿完全由人类撰写，GPT-3.5 Turbo 不对作者所犯的错误承担责任。