腾讯云AI代码助手

模型与应用形态

• LLaMa系模型存在token window size限制（2048），不适用于代码理解/生成任务，易导致任务中断。
• 针对专业开发者，AI辅助生成代码需具备批判性思维；针对代码学习用户，需创建小任务型应用程序。
• LLaMa系模型在humanEval和MBPP测试中表现低于专用代码生成模型。
• 基于更小模型可提升响应速度和降低成本。
• LLaMa为综合模型，预训练阶段代码知识库占比仅6.5%，工程知识存在天花板。
• 高粘度的编程体验可及时补全函数、方法等辅助编码实践。

企业需求（SMAF）

• 代码补全（高频场景）：需优先保障二次训练及行业代码训练效果。
• 效能指标：需提供指标帮助管理者观察工具对开发工作的提升。
• 多模能力：需支持代码扫描、评审及DevOps规划。
• 安全性：需保障训练代码及补全代码的安全性。
• 个性化：需根据业务特性进行二次训练，补全模型。

腾讯AI代码助手

• 基于混元代码模型，支持Python、JavaScript/TypeScript、Java等十余种语言，兼容JetBrains和VScode。
• 核心功能：
  • 根据注释生成代码、补全行内代码、根据上下文生成业务逻辑代码。
  • 情境感知技术对话、提问推荐、对话生成代码建议。
  • 支持翻译、互转、解释、排错等指令操作。
  • 自动化测试（冒烟测试、接口测试）、生成优化方案。
  • 代码诊断（发现隐患、修复建议）、强化代码可读性。
• 优势：提高编程效率、降低错误率、提升代码质量、支持跨领域协作、应对复杂问题。

部署与资源估算

• 部署架构：TCS容器平台、后端服务（无状态，支持扩容）、模型服务（运行于TCSWorker）、Ti-One训练平台（可选）。
• 显卡资源估算：
  • 代码补全场景：吞吐量与GPU型号/数量正相关，A10卡支持6用户（1s延时）/1.2用户（200ms延时），A100约等于2.5张A10。
  • 技术对话场景：A10卡支持18/s输出token，1张A10约支持1-1.5个对话并发，满负载可支撑15人左右。

需求与痛点

• 金融机构面临代码外泄、开源模型定制难、开发成本高、测试用例缺失、技术方案查找耗时等问题。
• AI代码助手可赋能全新开发形态，实现降本增效。
• Demo案例：传统开发时长2H，AI辅助5min完成短信发送功能开发。