一、vLLM 部署 DeepSeek-R1-Distill-Qwen-32BDeepSeek-R1-Distill系列模型是DeepSeek-R1的蒸馏模型官方提供了从1.5B - 70B不同尺寸大小的模型。特别适合在计算资源有限的环境中部署。DeepSeek-R1各个版本的蒸馏模型评估结果如下其中DeepSeek-R1-Distill-Qwen-32B是通过对Qwen2.5-32B模型进行蒸馏得到的版本。该模型在评估结果中整体表现优异在多项测试中均超过GPT-4o-0513、o1-mini、Claude-3.5-Sonnet-1022且在DeepSeek-R1-Distill系列中效果和DeepSeek-R1-Distill-Llama-70B相差不大但参数量近乎是DeepSeek-R1-Distill-Llama-70B的一半只有32B大小因此可谓是本地部署的绝佳选择。本次实验就基于DeepSeek-R1-Distill-Qwen-32B模型本地私有化部署其中推理优化框架采用vLLM。vLLM是一个快速且易于使用的大模型库专为大模型的推理和部署而设计。可以无缝集成HuggingFace、Modelscope上的模型。关于vLLM的安装可参考下面这篇文章利用 vLLM 优化部署私有化大模型让推理速度飞起vLLM环境部署好后首先使用modelscope下载DeepSeek-R1-Distill-Qwen-32B模型到指定目录下modelscope download--modeldeepseek-ai/DeepSeek-R1-Distill-Qwen-32B--local_dirDeepSeek-R1-Distill-Qwen-32B然后使用vLLM读取模型启动API服务。注意下面参数需要依据自己的算力环境适当修改exportCUDA_VISIBLE_DEVICES0,1vllm serveDeepSeek-R1-Distill-Qwen-32B\--host0.0.0.0\--port8060\--dtypebfloat16\--tensor-parallel-size2\--cpu-offload-gb0\--gpu-memory-utilization0.8\--max-model-len8126\--api-key token-abc123\--enable-prefix-caching --trust-remote-code关键参数说明export CUDA_VISIBLE_DEVICES0,1指定所使用的GPU由于我本地有两块这里指定了0,1, 如果只有一块的情况下可指定0dtype: 数据类型其中bfloat1616位浮点数适合NVIDIA A100等设备。tensor-parallel-sizeTensor并行的数量当多GPU分布式推理时使用建议和GPU的数量一致。cpu-offload-gb允许将部分模型权重或中间结果卸载到CPU的内存中单位为GB。模拟GPU内存扩展如果部署的模型大于了显存大小可以设置该参数但是推理速度会大大下降。gpu-memory-utilization设置GPU内存利用率的上限。max-model-len允许模型最大处理的Token数该参数越大占用显存越大。enable-prefix-caching启用前缀缓存减少重复计算。显存占用情况基于以上配置启动后整体大概占用了79.2G显存。如果启动显存不足可适当调整gpu-memory-utilization和max-model-len参数或通过cpu-offload-gb将部分模型权重卸载到内存中。启动成功后通过/v1/models接口可查看模型列表curlhttp://localhost:8060/v1/models-HAuthorization: Bearer token-abc123测试API交互curlhttp://localhost:8060/v1/chat/completions\-HContent-Type: application/json\-HAuthorization: Bearer token-abc123\-d{ model: DeepSeek-R1-Distill-Qwen-32B, messages: [ {role: system, content: You are a helpful assistant.}, {role: user, content: 你好介绍一下你自己} ] }二、Open-WebUI 部署Open WebUI是一个开源的、可扩展的、功能丰富的自托管AI平台旨在完全离线运行。它主要设计用于与大型语言模型LLMs进行交互支持多种模型和API提供了直观的图形用户界面使得用户可以更方便地管理和运行模型。Github地址https://github.com/open-webui/open-webui1. 部署下载open-webui依赖 pipinstallopen-webui启动open-webuiopen-webui serve--port4096启动成功后浏览器访问http://ip:4096/即可打开Open-WebUI页面。首次进入需要设置管理员账号密码设置完毕后进入到如下所示主页2. 连接DeepSeek-R1-Distill-Qwen-32B模型。点击左下角进入管理员面板将OpenAI API和Ollama API关闭前提如果你有这两个连接的话可以开启。然后保留直接连接的开启然后再次点击左下角进入设置在外部链接中添加上面vLLM的服务模型ID可以留空会自动从/v1/models接口中获取。保存后点击左上角新对话 即可看到默认选择了DeepSeek-R1-Distill-Qwen-32B模型三、对话测试