一、QWQ-32B 介绍QWQ-32B是阿里巴巴最新开源的一款新型推理模型规模仅拥有320亿参数但在多项基准测试中性能几乎媲美DeepSeek-R1 满血版甚至某些测试中超越了DeepSeek-R1 满血版。官方提供的评估对比图从上图可以看出QwQ-32B表现出色整体几乎超越OpenAI-o1-mini在AIME24(数学推理)和LiveCodeBench(代码评测)测试集上与DeepSeek-R1满血版几乎持平在LiveBench(混合任务)、IFEval(指令遵循)、BFCL(函数调用)测试中均超越DeepSeek-R1满血版。但其只有32B的参数量在如此优秀效果的前提下又大幅降低了部署使用的成本。modelscope 地址https://modelscope.cn/models/Qwen/QwQ-32Bhuggleface 地址https://huggingface.co/Qwen/QwQ-32B本次本地部署QWQ-32B推理优化框架采用vLLM使用Open-WebUI交互测试依赖的版本如下torch2.5.1cu118modelscope1.23.1transformers4.49.0vllm0.7.2二、vLLM 部署 QWQ-32B首先使用modelscope下载QWQ-32B模型到本地modelscope download--modelQwen/QwQ-32B--local_dirQwQ-32B使用vLLM读取模型启动API服务。exportCUDA_VISIBLE_DEVICES0,1vllm serveQwQ-32B\--host0.0.0.0\--port8060\--dtypebfloat16\--tensor-parallel-size2\--cpu-offload-gb0\--gpu-memory-utilization0.8\--max-model-len8126\--api-key token-abc123\--enable-prefix-caching\--trust-remote-code关键参数说明export CUDA_VISIBLE_DEVICES0,1指定所使用的GPU。dtype: 数据类型其中bfloat1616位浮点数适合NVIDIA A100等设备。tensor-parallel-sizeTensor并行的数量当多GPU分布式推理时使用建议和GPU的数量一致。cpu-offload-gb允许将部分模型权重或中间结果卸载到CPU的内存中单位为GB。模拟GPU内存扩展如果部署的模型大于了显存大小可以设置该参数但是推理速度会大大下降。gpu-memory-utilization设置GPU内存利用率的上限。max-model-len允许模型最大处理的Token数该参数越大占用显存越大。enable-prefix-caching启用前缀缓存减少重复计算。显存占用情况如果启动显存不足可适当调整gpu-memory-utilization和max-model-len参数或通过cpu-offload-gb将部分模型权重卸载到内存中。启动成功后可通过/v1/models接口可查看模型列表curlhttp://localhost:8060/v1/models-HAuthorization: Bearer token-abc123测试API方式交互curlhttp://localhost:8060/v1/chat/completions\-HContent-Type: application/json\-HAuthorization: Bearer token-abc123\-d{ model: QwQ-32B, messages: [ {role: system, content: You are a helpful assistant.}, {role: user, content: 你好介绍一下你自己} ] }三、Open-WebUI 交互测试连接QWQ-32B模型。模型ID可以留空会自动从/v1/models接口中获取。保存后回到对话窗口 可在左上角选择QWQ-32B模型对话测试