徐磊-解决企业个性化代码生成准确率的核心实践

核心观点与关键数据

1. 代码生成中的提示工程原理

• 通过解构真实代码补全的提示词，优化使用SmartCode的方式以获得最佳代码生成效果。
• FIM提示词格式：包含前文、后文、当前文件名和路径、相关文件内容、光标前后内容等关键元素。
• 示例的重要性：通过场景化示例描述业务规则，引导SmartCode按编码风格生成代码，利用“多个”示例展示不同输入/输出场景。

2. 企业是否需要私有化代码训练

• 微软O产品团队基于GPT 3.5模型微调支持个性化代码生成的案例，展示了私有化训练的可行性前提：
  • 团队规模巨大
  • 单一代码库
  • 代码足够特殊
  • 代码规模巨大
  • 容忍训练失败
  • 足够不可变基础代码

3. 大模型应用工程能力建设

• 目标：确保应用场景的性能、质量和用户体验。
• 维度：上下文优化（补充数据和知识）和行为优化（提供行为示例）。
• 方法：
  • 提示词工程：经济、高效的应用优化路径。
  • RAG：提高模型对私域数据的认知能力。
  • 模型微调：提高模型响应的规范性和标准化。

4. 提示工程、RAG和微调的选择

• 提示工程：解决知识和行为问题，但受限于模型数据窗口大小。
• RAG：解决知识补充问题，但不擅长改变模型行为。
• 微调：改变模型行为，但不适合补充知识。

5. 大模型应用的持续交付

• 建立系统化的大模型应用改进路径，用工程化方法提升内容相关性和输出稳定性。

6. 提示工程核心原则（4S）

• 高效提示词=单一具体的意图+足够的上下文。
• 4S原则：简洁（Simple）、具体（Specific）、相关（Relevant）、足够（Sufficient）。
• 反模式与模式示例：给出更丰富的上下文以完成复杂任务。

7. 动手实验案例

• 使用SmartCode开发自动推荐系统：通过字典树数据结构实现前缀匹配和自动完成。
• 使用SmartCode开发销售报表系统：完成数据结构建模、样例数据生成、数据统计和数据展示。

8. RAG的重要性

• 相关代码文件的引入和识别可大幅提升准确率。
• 构建代码和文本的双向向量索引，预构建智能体利用RAG、向量数据库和优化过的索引引擎。
• 双向向量索引和传统IDE技术加持：自动扫描代码库，建立多级代码库向量索引。

9. AISE智能体能力矩阵

• 推理：支持OpenAI、DeepSeek、TGI、VLLM、MindIE等，GPU支持Nvidia和华为晟腾系列。
• 提示工程：代码解释、评审、测试、注释、检查，提示词仓库，角色定义。
• 人工任务编排：可视化工具支持手工编排复杂任务，函数调用能力。
• 智能体开发框架：多角色智能体互动和自动规划能力。
• 记忆：短期记忆（多轮对话）和长期记忆（对话数据持久化）。
• 嵌入模型：基于OpenAI、JinnaAI的向量化模型，向量数据库Milvus。
• 文档对话：自动切片向量索引和基于文档内容的对话能力。
• 可扩展的数据连接器：支持自定义连接器。
• 文件和跨文件认知：SmartCode代码生成器，AST代码结构分析。
• 项目级认知：Workspace代码库索引、代码文本双向向量检索、代码库语义摘要生成。

10. AISE的价值思考

• 代码生成是GenAI最早实现商业化成功的领域。
• AI应用不被LLM吃掉的关键：引入AI即可迅速体现价值的场景。
• 评估AI带来的研发效能的方法。

11. AISE愿景

• AI驱动的研发场景端到端覆盖。

研究结论

• 提示工程和RAG是提升代码生成准确率的关键技术。
• 私有化代码训练在特定条件下可行，但需满足多方面前提。
• AISE提供端到端的AI驱动研发解决方案，涵盖推理、提示工程、智能体开发等能力。