面向大模型的新编程范式

王昕 公司职位微软（中国）有限公司高级技术战略专家 王昕有20年从事软件系统设计、开发和产品管理的经验，目前在微软中国从事技术战略和技术生态孵化工作，推广基于OpenAI等大语言模型技术的新应用架构。王昕对IT行业新技术始终保持第一线的跟踪，多年在GOPS、InfoQ，CSDN等技术论坛从事技术布道和经验分享工作。 智 能 应 用 的 新 机 遇 目录 开 发 运 营 模 式 开 发 平 台 与 工 具 开 发 最 佳 实 践 智能应用的新机遇 生成式AI正在改变应用开发 生成式AI正在改变应用开发 GPT-4/3 Codex DALL·E 2/3 ChatGPT 提示： 提示：一只白色的暹罗猫回应: 提示： 陆地上跑得最快的动物是什么？ Table customers,columns =[CustomerId,FirstName,LastName,Company, Address,City, State, Country,PostalCode] 为一家冰淇淋店写一个标语。 猎豹，其速度可达每小时60英里（97公里）。 回应: 是什么让它们这么快？ 我们的每一勺都能带来微笑! 为德克萨斯州的所有名为Jane的客户创建一个SQL查询=回应: 猎豹是为速度而生的，有几种适应能力，使它们成为速度最快的陆地动物：苗条的身体、长腿、灵活的脊椎、大鼻孔和不会缩回的爪子。 引起变革的核心技术大型语言模型LLM 最新的大模型能力GPT-4o和其他模型能力比较 MMLU (Measuring Massive Multitask Language Understanding)的问题 MATH (Mathematical Problem Solving)的问题 MGSM (Multilingual Grade School Math)的问题 DROP (Discrete Reasoning Over Paragraphs)的问题 阅读以下文章，并回答问题："" 从1231年开始，高丽间歇性地遭到蒙古帝国的入侵。在此期间，高丽由崔氏家族领导的军事政权控制。1232年，名义上的国王带领政府逃到江华岛，蒙古骑兵无法登陆该岛，从而抵抗蒙古入侵。不幸的是，由于基础脆弱，高丽经常面临叛乱。1258年的叛乱导致蒙古人建立了双城和东宁府。与这些叛军不同，三别抄是军事政府的一个机构，由崔氏家族组织以维持安全。然而，不同于崔氏私人护卫队，三别抄承担了由警察和战斗部队执行的公共职能，实际上取代了六军。1258年，崔氏家族的第四代崔义被金俊利用三别抄推翻。金俊采取了亲蒙古政策，并派遣王储王沇到蒙古帝国。同时，国王高炯和王储接近蒙古人，以从金俊手中恢复权力。然而，在1268年，金俊被林衍下令的三别抄消灭。第二年，林衍试图替换王沇的计划被王储在蒙古军队的帮助下逆转。1270年，林衍的继任者林惟茂被亲蒙古派用三别抄杀死。这标志着军事政权的终结。 问题：文中提到的哪两个有年份的重要事件，发生年份正好相隔两年？ 人工智能先驱赫伯特·西蒙所期待的“人的智能” LLM引领的新的应用模式 G O P S全 球 运 维 大 会 暨X O p s技 术 创 新 峰 会2 0 2 4·北 京 站 传统智能对话应用开发 传统智能应用（例如Azure） •创建Azure租户和基础结构•对数以千计的话语和对话进行注释，以构建自定义NL模型•使用Visual Studio和BF SDK在代码中创建主题•托管Azure机器人服务并实例化相应的通道•将应用部署到服务•构建自己的自定义分析管道•每次您的知识内容发生变化（例如，不同的时间）时，请在代码中更新副驾驶 生成式AI的智能对话应用开发 Copilot Studio with GenerativeAI •完整的E2E SaaS–无需托管或管理基础设施•无需显式NL训练或自定义模型，自带强大的大型语言模型•使用生成式AI指向知识来源并在几分钟内拥有有用的机器人•使用易于使用的图形界面和1000多个预构建连接器，使用关键业务主题自定义副驾驶，或调用自定义API•开发人员、低代码用户可以在同一画布内进行协作，并排进行图形多创作和代码•只需点击几下，即可在几分钟内发布到您选择的频道 LLMOps——新的AI应用开发运营流程 在线监控和可观测性 运用Copilot Stack框架开发智能应用 形成完整智能应用的开发工作 开发一个Copilot类应用的工作 Set up hosting for your backend service 与所需的用户体验平台集成 Azure AI Studio生成式AI使用场景 企业级聊天Better knowledge mining 语音分析Better analytics and service Azure AI Studio使用场景 Build your own copilotYour data. Your apps. Your people 内容生成New products and services Hyper-personalizationBetter sales and marketing 引入企业自身的数据 PromptFlow在UI与代码之间无缝切换 基于无代码构建智能应用——Copilot Studio Copilot Studio是一款端到端的对话式AI产品，适用于使用生成式AI、大型语言模型和数据构建自己的Copilot或扩展Microsoft Copilot。 用于Copilot Studio开发智能应用 在几分钟内完成-全部来自一个工具和E2E SaaS服务 应用大模型主要的三种技术方式 •相当于知识的笔记本和字典，•针对可以微调的模型的Fine-Tuning API•将知识、格式、习惯、风格训练进入模型，相当于闭卷考试前背题库•提示是LLM时代的代码•模型：text-davinci-003 •针对Embedding模型的Embedding API•知识向量是文本的索引开卷考试前准备参考书•模型：text-embedding-ada-002 •针对LLM模型的Completion API•通过好的提问引导答案•通过举例促成上下文学习•模型：gpt-35-turbo, GPT-4 提示——用清晰的提示触发零样本（Zero-Shot）学习 G O P S全 球 运 维 大 会 暨X O p s技 术 创 新 峰 会2 0 2 4·北 京 站 提示——用匹配场景的示例触发少样本（Few-Shot）学习 Zero-Shot Few-Shot 应用大模型主要的三种技术方式 嵌入——将向量存储到向量数据库 微调——从原型时的大模型逐步降低到大规模生产的小模型 •模型并非越大约好。越大能力越强，但是速度也越慢，价格也越高 •建议先从Davinci开始建立一个benchmark，随后逐一降低模型复杂度验证Fine-Tuning能达到的结果 应用实现的新设计模式——RAG 嵌⼊+向量数据库（开卷考试） 微调训练（闭卷考试） 应用实现的新设计模式——大模型驱动FunctionCall ü大模型理解用户意图ü大模型理解函数作用ü大模型理解参数含义ü大模型解析上下文包含的参数值ü大模型驱动函数调用，动态传入合适的参数 应用实现的新设计模式——Agent模式 应用实现的新设计模式——LangChainExpressionLanguage (LCEL) 深度学习三巨头之一Jeff Hinton最新接受采访中表达的观点 理解大脑 •大脑里也应该有类似反向传播的机制，让大脑学习到梯度，这种机制为何，值得研究。•仅从语言来理解空间事物相当困难，尽管在多模态模型之前，GPT-4也能做到这一点。但是当GPT-4成为多模态模型时，它会更了解物体。 •大脑有多种时间尺度的学习能力，例如短期记忆和快速权重，这是人工智能值得去进一步研究借鉴的地方。 •符号进来，大脑将这些符号转换为嵌入，并使用多层嵌入。所以你将得到非常丰富的嵌入。但嵌入仍然与符号相关联，从这个意义上讲，符号有其对应的大向量。大模型不仅仅是预测下一个符号，是因为如果你问，预测下一个符号需要什么？具体来说，如果你问我一个问题，然后答案的第一个词就是下一个符号，你就必须理解这个问题。 未来研究