路宁-驾驭大模型开发真实项目代码

路宁 ⽬录 ⼤模型辅助开发⽣态
开发真实需求的挑战 切换到知识⽣产和消费的思维框架 依赖经验知识的编码任务实验 知识分类及提⽰词框架 ⼤模型辅助开发的实⽤形态 ⼤模型辅助开发⽣态 -任务全貌1
⼤模型辅助开发⽣态 -主⼲任务相关应⽤现状1
Devin, MetaGPT, ... Github Copilot Workspace, Cursor, ... ChatGPTo with canvas, Claude workspace ⼿搓ChatGPT, o, Claude ⼤模型辅助开发⽣态 -了解测评背后的任务1
SWE-Bench Lite评估集有300个case，18%仅1⾏改动，30%在2⾏以内，20+⾏改动的占7.3%。被解决的问题集中在评估集中的简单任务。项⽬都是纯python的库，如django和pytest。 任务是⽤JS开发⼀个Web Server得出结论 - 效率提升55% 较为独⽴的函数级任务 ⾯试题 vs 实际项⽬任务 开发真实需求的挑战 -看⼀个例⼦2
⽤最好的模型⼿⼯实验才能得到最好的⽣成效果。⽬录结构+代码⽂件+任务描述作为提⽰词的起点。选个真实需求，⼈⼯做任务的规划。 实现步骤类似粗粒度的伪码，包含： 改动⼊⼝或函数签名及输⼊输出格式：如何与现有代码集成。复⽤的约束：遵循设计约束，⽽⾮新写⼀套。新能⼒实现的提⽰：提⽰⽐较难的细节。开发步骤提⽰的⾜够细⽣成的效果就⾜够好，但是... 开发真实需求的挑战 -分析任务难度2
⼤模型能⼒：规划推理、指令遵从、窗⼝⻓度、注意⼒、输出倾向等 切换到知识⽣产和消费的思维框架 依赖经验知识的编码任务 依赖经验知识的编码任务 -利⽤"通过框架完成任务的⽅法描述" 经验 代码上下⽂中已蕴藏这些经验，但加⼊经验描述影响⼤窗⼝中的注意⼒分布，降低推理负担，提升⽣成效果。 依赖经验知识的编码任务 -利⽤"相关任务的实例化经验" 加⼯⼀个任务的具体实例（changelist），⽤来刻画在设计约束下实现⼀个任务的细节经验，给其他编码任务做参 依赖经验知识的编码任务 -利⽤"相关任务的实例化经验" 知识分类及提⽰词框架 产物知识：在流程中以产物形式显性表达的知识。 经验知识：⽣产产物知识过程中使⽤的经验，往往是隐性的。 衍⽣数据知识：程序运⾏时的数据，还有基于代码分析出来的数据，⽤于知识相关性计算或直接拿来提升某些任务效果。 知识分类及提⽰词框架 在什么上下⽂下（基于什么），应⽤什么样的经验（怎么⼲），完成⼀个什么样的任务（⼲什么）。 ⼤模型辅助开发的实⽤形态6
⼯具能做到什么程度？知识⼯程+Agent⼯程师是否需要裸⽤⼤模型？⼯程师是否必须要能驾驭⼤模型？⼈的精⼒能被释放到什么程度？追求多⼤⽐例的效率提升⽐较现实？个⼈维护知识⼯程是否可⾏？ THANKS! 1. 主⼲任务难度远超⽀撑性任务。2. 从知识⽣产和消费的⻆度思考。3. 如何遵循设计是重要挑战。4. 从历史记录中加⼯经验知识。5. 知识分类指导知识⼯程建设。