量化漫谈系列之十四：DeepSeek部署与蒸馏模型推理评测

2025年2月11日 2 3简单对话与批量化调用 4 5 6 7 8本地化部署方式对比 9 10ollama –vollama run deepseek-r1:7b 11 pip install ollama12 13 14 nvcc –Vpip install vllmvllm –v15 llm.generate(prompts)python -m vllm.entrypoints.openai.api_server --model deepseek-ai/DeepSeek-R1-Distill-Qwen-7B16 17模型怎么选？——配置与性能对比 18 19 20 21 22 23 24 25 •1、大语言模型输出结果具有一定随机性的风险；•2、模型迭代升级、新功能开发可能会导致结论不同的风险；•3、人工智能模型得出的结论仅供参考，可能出现错误答案的风险26 27