王昕-企业应用新范式：基于云智能平台实现 AI 应用开发

基于云智能平台实现AI应用开发 王昕技术战略专家 王昕 微软（中国）有限公司高级技术战略专家 王昕有20年从事软件系统设计、开发和产品管理的经验，目前在微软中国从事技术战略和技术生态孵化工作，推广基于OpenAI等大语言模型技术的新应用架构。王昕对IT行业新技术始终保持第一线的跟踪，多年在GOPS、InfoQ，CSDN等技术论坛从事技术布道和经验分享工作。 01A I技 术 发 展 引 领 新 的 应 用 变 革 02新 的A I应 用 开 发 运 营 流 程 03主 要A I应 用 开 发 最 佳 实 践 04常 见 的A I应 用 场 景 AI技术发展引领新的应用变革 AI工程演变及技术实现 各种AIGC技术 GPT-4/3 Codex DALL·E 2/3 ChatGPT 提示： 提示：一只白色的暹罗猫回应: 提示： 陆地上跑得最快的动物是什么？ Table customers,columns =[CustomerId,FirstName,LastName,Company, Address,City, State, Country,PostalCode] 为一家冰淇淋店写一个标语。 猎豹，其速度可达每小时60英里（97公里）。 回应: 是什么让它们这么快？ 我们的每一勺都能带来微笑! 为德克萨斯州的所有名为Jane的客户创建一个SQL查询=回应: 猎豹是为速度而生的，有几种适应能力，使它们成为速度最快的陆地动物：苗条的身体、长腿、灵活的脊椎、大鼻孔和不会缩回的爪子。 图片生成技术的发展——分辨率 DALL-E 3:1024x1024 Prompt:oil painting of BeijingNiaochao 图片生成技术的发展——人物细节 DALL-E 3:1024x1024 Prompt:一位商务女士和一位商务男士在办公桌前洽谈，真实画风 DALL-E 2:1024x1024 图片理解技术的发展 理解图片中的关键信息 理解图片的含义 图片生成技术的发展——技术比较 Sora–世界模拟器 Sora能够根据文本、图像、视频输入，生成（或合成、向前向后扩展、渲染）具有不同宽高比和分辨率的高质量、高保真度的1分钟视频（或高清图片），且生成的视频具有3D一致性、远程一致性、对象持久性以及环境交互等功能。 支持图片和视频输入 Prompt:一只戴着贝雷帽穿着黑色高领毛衣的柴犬。 Prompt:拼成“SORA”的逼真云的图像。 逼真如真实电影，时长可达60秒 Sora技术亮点 -Diffusion-Transformer -时空Patch：使Sora能够对可变分辨率、持续时间和纵横比的视频和图像进行训练 -采样灵活性，并改进取景和构图 -利用GPT的语言理解，将Prompt转化成更详细的字幕用以生成视频 视频生成模型细节对比 Sora的应用的场景 引起变革的核心技术大型语言模型LLM 人工智能先驱赫伯特·西蒙所期待的“人的智能” LLM引领的新的应用模式 新的AI应用开发运营流程 LLMOps——新的AI应用开发运营流程 LLMOps简介==如何将LLM应用投入生产 将人员、流程和平台结合在一起，实现LLM软件交付的自动化，并为我们的用户提供持续的价值。 现实世界中的LLM生命周期——构思和探索 探索全面的基础模型 大规模微调和操作基础模型 Azure OpenAI Service Llama-2-70b / 70b-chatLlama-2-13b / 13b-chatLlama-2-7b /7b-chat NV-GPT-8B-4k/16kNV-GPT-8B-Chat-SFT/RLHF/SteerLMNV-GPT-8B-QA GPT-4 Microsoft-beit-base (Vision) GPT-4-32k Falcon Text-embedding-ada-002 Stable Diffusion GPT-3.5-Turbo Dolly GPT-2 And more! 现实世界中的LLM生命周期——构建和增强 接地LLM响应：将您的数据带到提示符处 检索增强生成（RAG） 现实世界中的LLM生命周期——运营 在线监控和可观测性 LLMOps的可观测性和监控 LLM API性能和用法LLM应用程序监控✓令牌使用 ✓RAG质量✓生成质量✓内容安全✓痕迹和诊断 最佳实践 主要AI应用开发最佳实践 应用大模型主要的三种技术方式 •相当于知识的笔记本和字典，•针对可以微调的模型的Fine-Tuning API•将知识、格式、习惯、风格训练进入模型，相当于闭卷考试前背题库•提示是LLM时代的代码•模型：text-davinci-003 •针对LLM模型的Completion API•通过好的提问引导答案•通过举例促成上下文学习•模型：gpt-35-turbo, GPT-4 •针对Embedding模型的Embedding API•知识向量是文本的索引开卷考试前准备参考书•模型：text-embedding-ada-002 提示——用匹配场景的示例触发少样本（Few-Shot）学习 Extract the name and mailing address from this email: Dear Kelly,It was great to talk to you at the seminar. I thought Jane's talk was quite good.Thank you for the book. Here's my address 2111 Ash Lane, Crestview CA 92002 Best,Maya Completion:Name: MayaMailing Address: 2111 Ash Lane, Crestview CA 92002 提示——用清晰的提示触发零样本（Zero-Shot）学习 Extract job titles from the following sentences. Sentence: John Doe has been working for Microsoft for 20 years as a Linux Engineer.Job title: Linux Engineer###Sentence: John Doe has been working for Microsoft for 20 years and he loved it.Job title: none###Sentence: MarcSimoncini| Director |MeeticJob title: Director###Sentence: Damien is the CTO of Platform.sh, he was previously the CTO of Commerce Guys, a leadingecommerce provider. Completion:Job title:CTO 嵌入——将文本（句子、段落、文章）编码成实数向量 嵌入——将向量存储到向量数据库 微调——从原型时的大模型逐步降低到大规模生产的小模型 •模型并非越大约好。越大能力越强，但是速度也越慢，价格也越高•建议先从Davinci开始建立一个benchmark，随后逐一降低模型复杂度验证Fine-Tuning能达到的结果•选出一个认为最均衡的模型 应用技术实现的模式 嵌入+向量数据库（开卷考试） 微调训练（闭卷考试） 常见的AI应用场景 典型行业和常用场景 典型行业和常用场景 金融/保险 制造业/汽车 医疗 •生产计划、供应链计划状态查询•产线预测性维保辅助•产品质量分析与溯源•自动驾驶全场景模拟训练及虚拟汽车助手•线上购车品牌、配置对比分析 •远程医疗的虚拟助手•医疗写作和文档化•患者分诊•医学教育•心理健康支持•临床试验招募 •个人金融理财顾问•贷款信息摘要及初始批复•识别并检测欺诈活动风险•客服中心分析及内容洞察•保险理赔处理及分析•投资者报告/研究报告总结 企业运营 零售/电商 生命科学 教育 •舆情、投诉、突发事件监测及分析•品牌营销内容撰写及投放•自动化库存管理•自动生成或完成SKU类别选择、数量和价格分配•客户购物趋势分析及洞察 •日常办公文档材料撰写整理•营销：对话机器人，市场分析，销售策略咨询等•法务：法律文件起草，案例分析，法律条文梳理•人力资源：预招聘，简历筛选、员工培训 •协助评估学生学习状况，为职业规划提供建议•针对学生情况及兴趣定制化学习内容，因材施教•论文初稿搭建及论文审核•帮助低收入国家/家庭获得平等的教育资源 •研发阶段靶点发现及产品成药性•医学文献内容检索、重点摘要提取、相关法规整理•医药代表培训及知识库建立•分诊导诊助理、诊疗助理、术后护理及复健辅助 基于云智能平台实现AI应用开发——总结 开发模式 技术变革 ✓大语言模型✓文生图模型✓文生视频——世界模型✓新的AI应用范式 ✓构思探索：尝试Prompt，验证LLM✓构建扩增：提示微调，成本管理，例外处理，效果评估✓运营：部署、版本迭代、监控、内容合规 应用场景 最佳实践 ✓提示工程✓嵌入与向量数据库✓训练与微调 ✓内容生成✓归纳总结✓代码合成✓语义检索 高效运维社区DevOps时代 荣誉出品 感谢大家观看