江凯-Lowcode x AI云凤蝶的思考与实践_opt

江⽊蚂蚁集团2024/06 ⼤纲 ⼀.AI对Lowcode⾏业的冲击⼆.业界变化趋势洞察三.云凤蝶产品与技术实践四.总结与展望AI辅助编程⻜速发展对话式应⽤⽣成百花⻬放编辑态+AI=辅助提效运⾏时+AI=???垂直业务+AI=???运⾏时+AI=???垂直业务+AI=???提示词⼯程微调multi agentRAG ⼀、AI对LowCode⾏业的冲击 AI辅助编程⻜速发展 Cursor: AI辅助编程 清华开源ChatDev：AI游戏公司 ⼀、AI对LowCode⾏业的冲击marblism:对话式全栈应⽤⽣成（React/NodeJS） 对话式应⽤⽣成百花⻬放 ⼀、AI对LowCode⾏业的冲击难道就到此为⽌了吗… ⼀、AI对LowCode⾏业的冲击 如何看待这波冲击？认清LLM的本质和能⼒边界 predict next token（概率） \ ⼀、AI对LowCode⾏业的冲击 Text2Code是怎么搞出来的？能彻底替代程序员吗？ Text2Code的关键还是⾼质量的问答数据集 ⼀、AI对LowCode⾏业的冲击 ⼈⼯智能三要素 如何看待这波冲击？lowcode平台可以搞⼀个text2dsl模型彻底从配置式升级成对话式吗？ Q1：pre train的基座模型⾥⾯包含海量的dsl数据吗？ 没有，但从lowcode平台积累的历史应⽤可以清洗出来 Q2:有⾼质量的text2dsl的数据集来做指令微调吗？ 没有，需要⼈⼯标注 Q3:标注成本如何？ https://codefuse.alipay.com/welcome/openCase1:蚂蚁代码⼤模型（Codefuse）开源指令微调数据集6.6W⾏csv Case2: OpenAI数据标注千万美元投⼊，上千名数据处理团队与外包团队 理论可⾏，实际很难，需要lots of💰 ⼤纲 ⼀.AI对Lowcode⾏业的冲击AI辅助编程⻜速发展对话式应⽤⽣成百花⻬放 ⼆.业界变化趋势洞察编辑态+AI=辅助提效运⾏时+AI=???垂直业务+AI=??? 三.云凤蝶产品与技术实践提示词⼯程微调multi agentRAG 四.总结与展望运⾏时+AI=???垂直业务+AI=??? ⼆、业界变化趋势洞察 ⼆、业界变化趋势洞察 编辑态+AI =辅助提效：Power Platform AI代码⽣成 AI代码建议 ⼆、业界变化趋势洞察编辑态+AI =辅助提效：Power Platform ⾃然语⾔⽣成表单+存储模型 ⼆、业界变化趋势洞察 编辑态+AI =辅助提效：Mendix ⼆、业界变化趋势洞察编辑态+AI =辅助提效：Wix 结构化需求⽣成⻚⾯ ⾃然语⾔对话提取结构化需求 ⼆、业界变化趋势洞察 ⼤纲 ⼀.AI对Lowcode⾏业的冲击AI辅助编程⻜速发展对话式应⽤⽣成百花⻬放 ⼆.业界变化趋势洞察编辑态+AI=辅助提效运⾏时+AI=???垂直业务+AI=??? 三.云凤蝶产品与技术实践提示词⼯程微调multi agentRAG 四.总结与展望运⾏时+AI=???垂直业务+AI=??? 三、云凤蝶的产品与技术实践云凤蝶是什么 三、云凤蝶的产品与技术实践 云凤蝶与AI结合的规划 三、云凤蝶的产品与技术实践产品演示 产品演示：多模态，根据表单内容智能⽣成Banner 三、云凤蝶的产品与技术实践 LLM简要技术⼤图 三、云凤蝶的产品与技术实践⼀些经验总结 三、云凤蝶的产品与技术实践不要⼩看提示词⼯程（以意图识别为例） 需求：将⽤户的⾃然语⾔输⼊识别为n个⼦任务的⼀种 Q:诸多bad case，如何解决？需要微调吗？A:这是⼀个通⽤的分类任务，没有太多领域知识，先尝试继续优化提示词 三、云凤蝶的产品与技术实践 不要⼩看提示词⼯程（以意图识别为例） 本技巧除了应⽤在开发时，也可以应⽤在线上以⾃然语⾔创建表单为例，⽤户输⼊不会像PRD⼀样详细可以预设⼀个PRD Agent，让Agent先基于⽤户简单输⼊扩写需求，或多轮对话追问细节 三、云凤蝶的产品与技术实践 不要⼩看提示词⼯程（以意图识别为例） 三、云凤蝶的产品与技术实践 如何判断需要微调？（以⾃然语⾔⽣成表单为例） 遇到问题了 三、云凤蝶的产品与技术实践 微调数据集不够怎么办？（以⾃然语⾔⽣成公式为例） 三、云凤蝶的产品与技术实践 微调数据准备有哪些容易踩的坑？ 三、云凤蝶的产品与技术实践 微调数据准备有哪些容易踩的坑？ 三、云凤蝶的产品与技术实践 如何在业务中实践multi agent架构？ 三、云凤蝶的产品与技术实践 如何在业务中实践multi agent架构？（以IDE修改组件属性为例） 三、云凤蝶的产品与技术实践 如何在业务中实践multi agent架构？ 多个相关微调任务合并成⼀个蚂蚁开源多任务微调MFTCoder框架 https://github.com/codefuse-ai/MFTCoder 研发时：提升训练效率运⾏时：节省前置意图识别性能开销 三、云凤蝶的产品与技术实践 如何让LLM理解需求⽽不是指令？（以IDE修改组件属性为例） 将商品和收货⽅式放到同⼀⾏，突出显示商品信息 能理解需求的Copilot才是好的Copilot 指令: 1.把商品组件布局属性改成内联2.把收获⽅式组件布局属性改成内联3.把商品信息组件字体加粗 三、云凤蝶的产品与技术实践 如何让LLM理解需求⽽不是指令？（以IDE修改组件属性为例） 三、云凤蝶的产品与技术实践 如何解决AI⽆法100%准确的问题？（以⾃然语⾔⽣成表单为例） ⽤好的产品设计来兜底提供对模型中间推理产物的介⼊修改能⼒ 三、云凤蝶的产品与技术实践 如何确保可⽤性持续提升？ ⼤纲 ⼀.AI对Lowcode⾏业的冲击⼆.业界变化趋势洞察三.云凤蝶产品与技术实践四.总结与展望AI辅助编程⻜速发展对话式应⽤⽣成百花⻬放编辑态+AI=辅助提效运⾏时+AI=???垂直业务+AI=???运⾏时+AI=???垂直业务+AI=???提示词⼯程微调multi agentRAG 四、总结与展望 回顾⼀下业界变化趋势洞察 四、总结与展望 运⾏时+AI =新体验：Retool 四、总结与展望 运⾏时+AI =新体验：Retool 四、总结与展望运⾏时+AI =新体验：Power Platform 四、总结与展望 运⾏时+AI =新需求 ⾯向未来，GUI和CUI 四、总结与展望 运⾏时+AI =新需求 激进派 废弃GUI让AI通过function calling重新对接API根据Data Schema智能推理UI 2.编写RPA脚本将传统GUI服务变成AI可调⽤的能⼒节点 四、总结与展望 运⾏时+AI =新需求：钉钉智能助理 运⾏时+AI =新需求：百度超级助理四、总结与展望 会议室预定，对接API,根据API Data Schema⾃动渲染卡⽚ 四、总结与展望 垂直业务+AI =端到端免研发 端到端的对话问卷⽣成、数据采集 对话式交互问卷、训练⾃⼰的AI回答 四、总结与展望 垂直业务+AI =端到端免研发 四、总结与展望 AI⽤户体验监控 垂直业务+AI =端到端免研发 传统的监控：⽹络错误、代码错误基于⽤户⾏为的监控：⽤户疯狂重复点击按钮、⽤户在⼀个请求等待过程中⿏标⽆意义的烦躁移动、某⼀个按钮或者链接点击之后⻚⾯没有反应 ⽤AI做啥：LLM给抓取到的这个⽤户case⽣成⾃然语⾔描述的标题通过机器学习从⼤量数据中识别出当下对⽤户影响最严重的⼀些问题push改进 四、总结与展望 AI改变LowCode⾏业格局和市场前景了吗 Everest Group 2023低代码报告AI会改变lowcode商业模式和格局吗 思考 •先解决基模和卡的可⽤性问题，从⼩功能和简单⽅案⼊⼿，不设边界的尝试AI，遇到问题解决问题 •承认当下LLM能⼒缺陷，在想做和能做之间找平衡 •除LowCode编辑态辅助提效，还需投⼊助⼒⽣产更智能的应⽤，以及投⼊⾯向AINative的新形态对话式应⽤⽣产，以应对需求侧变化 AI会进⼀步激活LowCode，从需求侧和能⼒侧都是 •在通⽤LowCode平台上结合AI暂⽆杀⼿级场景，寻找垂直业务场景AI零代码免研发，端到端解决⽅案更有想象空间完。感谢