后GPT时代开发范式思考

人类生产力与创造力解放万物智能成本无限降低 The Infinitely Lower Cost Of Intelligence In All ThingsHuman Productivity And Creativity Emancipated 实现管理通用人工智能AGI（ O p e n A I / C h a t G P T ）做可控核聚变电价降到一美分3 . 7 5 亿 美 元 投 H e l i o n成立由企业家组成的超级组织改 善 资 本 主 义 经 济建立宪章城市未来的基础设施测 试 未 来 的 管 理 方 式给普通人提供全民基础收入币虹 膜 识 别 ， 发 放 W o r l d C o i n AIGC-GPT-ChatGPT Business Paradigm Development Paradigm C O N T E N T目 录 Copilot & Plugins Function Calling GPT API Prompt Engineering 实践（创新工作室） 1. Business Paradigm商业范式 应用5范式：2层应用3层模型 ChatPPT = Chat + PPT ChatPPT 周泽安 C h a t P P T是 必 优 科 技 旗 下 A I 动 效 产 品「MotionGo」的全国首个“语义命令式”PPT内容创作功能。 依赖自研语义模型-Wernicke，能识别用 户 输 入 的 内 容 行 进 语 义 分 析 并 实 时 创建符合用户诉求的PPT内容，让PPT内容创作更简单更高效。 深度语义分析 应用层（软） 硅创社 AICG-应用 依赖数字人技术、数字孪生技术、全息投影技术等生成。Chat H-Box是极客湾（苏州）科技旗下数字孪生产品，可以实现真人与数字人互动、24小时广告轮播、定制内容投放、景点打卡、公司宣传栏指引等功能。 ChatH-BOX AICG-应用 ChatCRM = Chat + CRM（卞堉榕） 苏州馨璞信息科技有限公司AI+社会化营销 = 精准营销 ChatU = Chat + UI ChatU 刘海峰 全球领先的AIGC企业级产品，打造多引擎的AIGC操作系统。通过⼀键接入，AI多 引 擎 驱 动 ， 快 速 实 现 多 行 业 ， 多 场 景AI应⽤。分步开源计划：涵盖前端、中台 和 后 端 ， 为 开 发 者 提 供 更 广 泛 、 优 秀的工具和资源。全模态AI产品：包括文本，图像，音频(语音&音乐)，视频(高写实，2D&3D，动画，实时)。 即插即用 无缝对接 管理方便 硅创社 AICG-应用 ChatGPT ChatBox ChatBox是蝌蚪文数字科技旗下基于人工智能的语音对话智能音箱。 识别用户的语音，根据语义做情景回答。根据用户命令式语义，执行扩展物联相关操作。 AICG-应用 硅创社 ChatWriting = Chat + 写作（汤倩） ChatWriting ChatWriting是立信科技旗下中小学写作智能批改工具，是全国首个以“语义命令式”辅助完成学生写作批改与引导学生内容创作工具。 依赖自研语义模型-davinci，能识别用户输入的内容行进语义分析并实时引导中小学生开拓写作思路，从而让孩子们的写作兼具文学性和逻辑性，达到美与理的统一。超本地化 AI模型 AICG-应用 硅创社 BloombergGPT （彭博社） 在金融领域任务上，BloombergGPT综合表现最好；在通用任务上，BloombergGPT的综合得分优于相同参数量级的其他模型，并且在某些任务上的得分要高于参数量更大的模型。 这说明，开发金融专用的大语言模型在金融领域取得好效果的同时，并没有以牺牲模型通用能力为代价。 这一结论也可以给我们一个启示，在其他特定领域，我们也可以开发专用的大语言模型。 AICG-应用 2. Development Paradigm开发范式 Schillace Laws（“semantic”AI 的思考） 如果模型可以，就不要写代码；模型会变得更好，但代码不会。原则一 模型可以为差异化放弃准确性；准确性更多依靠与用户的交互。 代码用于语法和过程；模型用于语义和意图 原则九当心“意识的帕雷多利亚”;这个模型可以用来对付自己 AICG-应用 硅创社 后GPT时代：Prompt 即代码 GPT-1是第一次使用预训练方法来实现高效语言理解的训练GPT-2采用迁移学习技术，在多种任务中应用预训练信息，提高语言理解能力DALLE是走到另外一个模态GPT-3主要注重泛化能力，few-shot (小样本) 的泛化;GPT-3.5 instruction following (指令遵循)和tuning (微调)是最大突破GPT-4 已经开始实现工程化2023年3月的 Plugin 是生态化（初阶）GPT-1GPT-2DALL.EGPT-3GPT-3.5GPT-4PluginFunction2023年6月的 Function Calling 是生态化（进阶）, Prompt 即代码 硅创社 AICG-应用 常用技能 硅创社 LLM 的最大问题 问题 当前，LLM 的最大问题就是缺乏最新的知识和特定领域的知识。 方案 对于这一问题，业界有两种主要解决方法：微调和检索增强生成。 微调的成本更高，需要使用的数据也更多，因此主要适用于风格迁移（styletransfer）的场景。相比之下，RAG 方法使用例如 Milvus 之类的向量数据库，从而将知识和数据注入到应用中，更适用于通用场景。采用 RAG 方法就意味着使用向量数据库存储真理数据，这样可以确保应用返回正确的信息和知识，而不是在缺乏数据时产生幻觉，捏造回答。 对比 AICG-应用相比微调，RAG 是更好的解决方法。开源LLM + LoRA微调会成为企业的一种主流方式。现今，我们可以看到LLaMA 2、Code LLaMA 2等模型在不断刷新这种可能性。 结论 硅创社 大模型微调 有效参数微调PEFTParameter-Efficient Fine Tuning常 用 Tuning基座模型(Foundation Model)的参数不变，为每个特定任务，训练一个少量参数的小模型，在具体执行特定任务的时候按需调用。 Prefix Tuning在不改变大模型的前提下，在Prompt上下文中添加适当的条件，可以引导大模型有更加出色的表现。 A假设：我们现在看到的这些大语言模型，它们都是被过度参数化的。而过度参数化的大模型背后，都有一个低维的本质模型。适配特定的下游任务，要训练一个特定的模型。 QLoRA 基于AI反馈的强化学习微调RLAIFReinforcement Learning with AI Feedback QLoRA就是量化版的LoRA，它是在LoRA的基础上，进行了进一步的量化，将原本用16bit表示的参数，降为用4bit来表示，可以在保证模型效果的同时，极大地降低成本。 RAG（检索增强生成)/CVP Stack 154 种数据源的 loader47 种不同的向量存储方式37 种数据 embedding 方式65 个不同大模型的支持 Retrieval-augmented就是指除了LLM本身已经学到的知识之外，通过外挂其他数据源的方式来增强LLM的能力，这其中就包括了外部向量数据库、外部知识图谱、甚至直接把现有的ES接入，或者干脆把现有的生产环境下的搜索引擎接入等方式。接入的方式也大同小异，首先检索外挂数据源中与用户给出的上下文相关的内容，合并之后做embedding给到所用的llm，最后由llm根据模型自己的认知，做出回答。 CVP = ChatGPT + vector database +prompt-as-code AICG-应用 RAG vs FT RAG:这种方法将检索(或搜索)的能力集成到LLM文本生成中。它结合了检索系统(从大型语料库中获取相关文档片段)和LLM(使用这些片段中的信息生成答案)。本质上，RAG帮助模型“查找”外部信息以改进其响应。 微调:这是采用预训练的LLM并在较小的特定数据集上进一步训练它以使其适应特定任务或提高其性能的过程。通过调优，我们根据数据调整模型的权重，使其更适合应用程序的独特需求。 硅创社 AI Agents（智能代理） 「Turn your LLMs into reasoning engines」，reasoning engines 推理引擎，在Andrej Karpathy 和 Lilian Weng 近期不遗余力的鼓吹之后，成功变成了 LLMs 落地的另一篇超蓝海。所谓的 reasoning engines 就是基于LLMs 的理解任务、拆解任务、执行任务的集合 硅创社 LLMOps（人工智能的“Linux时刻”） ①选择基础模型专有模型开源模型GPT-3、GPT-4、Claude、Jurassic-2Stable Diffusion、LLaMA、BLOOM 使用LLM很容易制作出酷炫的东西，但是要使其达到生产级别却十分困难。（Chip Huyen） instruction tuning、prompt tuning、模型蒸馏 LLMOps（基于大模型的AI应用开发框架）是指用于管理LLM驱动的应用程序生命周期的一组工具和最佳实践，包括开发、部署和维护。重点不是从头开始训练LLM，而是适应下游任务的预训练LLM。涉及选择基础模型、适应下游任务、评估LLM性能、部署与监控四个阶段。 硅创社 AICG-应用 LLMOps（LangChain – 语言链） LangChain（LC）主要2个能力： •对索引的支持 •文档分割器•向量化•对接向量存储与搜索，如Chroma、Pinecone、Qdrand… 1、将LLM 与外部数据源进行连接 2、允许与 LLM 进行交互 •Chains•LLMChain•各种工具Chain•LangChainHub • LLM 调用 • 支持多种模型接口，如OpenAI、HuggingFace...• Fake LLM，用于测试• 缓存支持，如in-mem、SQLite、Redis、SQL...• 用量记录• 支持流模式，类似打字效果 https://github.com/jordddan/langchain- • Prompt管理，支持各种自定义模板• Email • Markdown• PDF• Youtube ... 硅创社 LLMOps（Semantic Kernel – 语义内核） Semantic Kernel （SK） 加速了利用 AI 的应用程序和服务的开发，封装了常见的 AI 应用程序设计模式 问天气 APISkill 问新闻APISkill 问政策APISkill •Prompt Engineering •Prompt Chaining & Prompt +Code Chaining•Chain of Thought (CoT)•Zero-shot / Few-shot •语义记忆索引和存储，上下文记忆检索•技能定义、托管、发现•自然语言处理，意图检测•多模型和多模态 问候语 AIGCSkill 问日常 AIGCSkill 问时间 AIGCSkill https://github.com/microsoft/semantic-kernel 硅创社 3. Copilot & Plugins实践 OPENAI重磅更新：ChatGPT plugings 硅创社 Build大会：战略、观点、更新 AICG-应用 AICG-应用 Copilot：WPS AI （功能） 硅创社 Copilot：WPS AI （