ModelArts最佳实践（中国站）

012025-06-23 版权所有©华为云计算技术有限公司2025。保留一切权利。非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。商标声明和其他华为商标均为华为技术有限公司的商标。本文档提及的其他所有商标或注册商标，由各自的所有人拥有。注意您购买的产品、服务或特性等应受华为云计算技术有限公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。除非合同另有约定，华为云计算技术有限公司对本文档内容不做任何明示或暗示的声明或保证。由于产品版本升级或其他原因，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。华为云计算技术有限公司地址：贵州省贵安新区黔中大道交兴功路华为云数据中心网址：https://www.huaweicloud.com/文档版本01 (2025-06-23)版权所有©华为云计算技术有限公司 邮编：550029 i 目录1 ModelArts最佳实践案例列表.................................................................................................. 12昇腾能力应用地图...................................................................................................................... 83 DeepSeek系列模型推理应用................................................................................................. 173.1 DeepSeek蒸馏版模型基于ModelArts Lite Server适配vLLM的推理部署指导................................................. 173.2基于ModelArts Studio（MaaS）DeepSeek API和Dify快速构建网站智能客服............................................. 193.3基于ModelArts Studio（MaaS）DeepSeek API和Cherry Studio快速构建个人AI智能助手.................... 253.4基于ModelArts Studio（MaaS）DeepSeek API和Cursor快速构建代码编辑器.............................................303.5基于ModelArts Studio（MaaS）DeepSeek API和Cline快速构建AI编程助手..............................................333.6基于ModelArts Studio（MaaS）DeepSeek API和RAGFlow快速构建AI助理.............................................. 383.7基于ModelArts Studio（MaaS）DeepSeek API和Deep Research快速实现行业洞察.................................434 LLM大语言模型推理............................................................................................................... 504.1在ModelArts Studio（MaaS）基于Qwen2-7B模型实现新闻自动分类.............................................................. 504.2主流开源大模型基于Lite Server&Cluster适配Ascend-vLLM PyTorch NPU推理指导（6.5.905）............. 594.2.1 Ascend-vLLM介绍............................................................................................................................................................. 594.2.2支持模型列表....................................................................................................................................................................... 614.2.3支持的推理特性................................................................................................................................................................... 634.2.3.1推理特性列表.................................................................................................................................................................... 634.2.3.2 Reasoning Outputs........................................................................................................................................................ 644.2.3.3 CANN Graph.................................................................................................................................................................... 644.2.4资源规划、准备环境.......................................................................................................................................................... 654.2.4.1各模型支持的最小卡数和最大序列.............................................................................................................................654.2.4.2准备资源环境.................................................................................................................................................................... 674.2.4.2.1准备Cluster环境......................................................................................................................................................... 674.2.4.2.2准备Server环境.......................................................................................................................................................... 674.2.5部署依赖包........................................................................................................................................................................... 674.2.5.1部署依赖包版本说明.......................................................................................................................................................674.2.5.2安装KubeInfer................................................................................................................................................................. 684.2.5.2.1 Cluster安装kubeinfer............................................................................................................................................... 684.2.5.3获取配套软件、基础镜像.............................................................................................................................................. 694.2.6 Cluster部署推理服务........................................................................................................................................................ 704.2.6.1部署准备....................................................................................................................................................................