量化漫谈系列之十四：DeepSeek部署与蒸馏模型推理评测

2025年2月11日 2 简单对话与批量化调用 3 4        5   6 7 本地化部署方式对比 8      9 10    ollama–v ollamarundeepseek-r1:7b   11 12 pipinstallollama   13 14 15 nvcc–V pipinstallvllm   vllm–v 16    llm.generate(prompts)  python-mvllm.entrypoints.openai.api_server--modeldeepseek-ai/DeepSeek-R1-Distill-Qwen-7B  模型怎么选？——配置与性能对比 17 18 19       20 21 22  23 24  25 26 •1、大语言模型输出结果具有一定随机性的风险； •2、模型迭代升级、新功能开发可能会导致结论不同的风险； •3、人工智能模型得出的结论仅供参考，可能出现错误答案的风险 27