第一步 先安装docker 这个教程已经很多了我就不在多赘述了第二步下载模型 我在以下网站下载的模型。里边有很多想用什么下载什么魔搭社区汇聚各领域最先进的机器学习模型提供模型探索体验、推理、训练、部署和应用的一站式服务。https://modelscope.cn/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B/files在windows 窗口在安装了python3.8 的环境下1.如果只需要通过ModelScope SDK或者ModelScope命令行工具来下载模型可以只最轻量化的安装ModelScope的核心hub支持在窗口执行 pip install modelscope2.如果需要更完整的使用ModelScope平台上的一系列框架能力包括数据集的加载外部模型的使用等则推荐使用framework的安装选项也就是在窗口执行 pip install modelscope[framework]这个是在执行了第一个命令后没有办法下载模型所以执行了第二个命令下载模型的命令modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Qwen-14B --local_dir D:\models\deepseek-14b把模型保存到D:\models\deepseek-7b 目录可自定义 最好不要默认 要不然会找不到模型位置启动vllm的时候需要读取模型安装vllm在docker环境下 先安装 vllm因为docker国外环境的限制如果有条件可以翻墙 直接下载无条件也可以用国内的镜像# 国内测试机无法直接下载试了很多国内加速器都不能正常下载可以在海外机器下载镜像然后上传到国内自有库再从国内自有库下载镜像# 国内自有库下载镜像docker pull swr.cn-east-3.myhuaweicloud.com/kubesre/docker.io/vllm/vllm-openai:latestDocker运行vllmdocker run -d --gpus all -p 8000:8000 -v D:\models\deepseek-7b:/app/model --name deepseek vllm/vllm-openai:latest --model /app/model --port 8000 --max-model-len 12048 --gpu-memory-utilization 0.95 --served-model-name deepseek-7B以下是一些参数的解释我这个是4090显卡24g显存只能运行7B的模型。如果运行14B的就 需要更好的显卡或者主板支持显卡集火的。 这里只是个笔记 可以忽略。这段是先启动容器然后再容器中在读取模型。开始用的后来感觉不用这么麻烦。直接启动容器就好了 7B docker run -it --gpus all --shm-size 15.24g -v D:\models\deepseek-7b:/app/model -p 8000:8000 --ipchost --name deepseek7 --entrypoint /bin/bash vllm/vllm-openai:latest python3 -m vllm.entrypoints.openai.api_server --model /app/model/ --port 8000 --tensor-parallel-size 1 --served-model-name DeepSeek-7B --gpu_memory_utilization 0.95 --max-model-len 8192 --trust-remote-code --enforce_eager 14B docker run -it --gpus all --shm-size 15.24g -v D:\models\deepseek-14b:/app/model -p 8000:8000 --ipchost --name deepseek14 --entrypoint /bin/bash vllm/vllm-openai:latest python3 -m vllm.entrypoints.openai.api_server --model /app/model/ --port 8000 --tensor-parallel-size 1 --served-model-name DeepSeek-14B --gpu_memory_utilization 0.98 --max-model-len 18192 --trust-remote-code --enforce_eager D:\models\deepseek-7b 启动命令中这个是模型的下载位置。--served-model-name deepseek-7B 这个参数请求的时候需要用的。务必加上。参数说明可以先不看-it等价于 -i -t-i--interactive保持容器的标准输入STDIN开放允许用户与容器交互如输入命令。-t--tty为容器分配一个伪终端pseudo-TTY使容器的输出格式化为终端友好的形式如支持颜色、光标移动。-d--detach让容器在后台运行守护进程模式不占用当前终端--restart always让容器自启动因意外中断可自行重启--name指定容器名为vllm_ds32-v本地目录与容器内目录进行映射如上命令将本地/data/chuangchuang/LLM_stores路径与容器内/data路径映射-p端口映射18005:8000 本地18005端口和容器内8000端口映射--gpus device1,4指定使用本地服务器某几张显卡--dtype指定模型参数类型可选项为 auto (自行根据情况加载) 、float32、bfloat16、float16等可自行查阅部署模型可选参数类型有哪些不知道的情况可选 auto 。若模型支持bfloat16,建议选择此项同时兼具保证模型性能良好和显存消耗降低。--served-model-name为部署模型自定义名称--gpu-memory-utilization控制 GPU显存的利用率范围在 0~1 之间。默认值0.9即占用 90% 的可用显存。当多卡部署时默认每张卡都会占用相同比例显存若某张卡显存不足可能导致失败--model容器内模型所在路径地址--tensor-parallel-size多卡部署指定所需卡数其需要和--gpus参数所设置显卡数量保持一致可选参数--max-model-len 16384设置模型处理的最大上下文长度token数。默认行为从模型配置如 config.json 的 max_position_embeddings自动推断。Deepseek-32B模型默认为1310727B类型的模型一般为3万多具体视情况而定--enforce-eager强制使用 PyTorch Eager 模式禁用 CUDA 图优化。默认行为混合使用 CUDA 图和 Eager 模式以优化性能。启用场景调试兼容性问题如内核不兼容报错避免 CUDA 图内存泄漏长期运行服务性能影响可能降低推理速度 10%~30%。--privilegedDocker 参数作用赋予容器 特权模式允许访问宿主机设备如 GPU、NVIDIA 驱动。必要性在容器内使用 GPU 时通常需启用否则无法调用 CUDA 接口--enable-auto-tool-choice启用模型的自动工具选择能力允许模型根据用户输入和预定义的工具列表自动决定是否需要调用工具以及选择具体的工具。默认行为若未启用该参数模型可能仅生成文本回复而不会触发工具调用逻辑。--tool-call-parser hermes指定模型工具调用响应的解析器风格hermes 表示使用与 Hermes 模型兼容的解析格式。Hermes 格式特点工具调用结果以 JSON 形式嵌套在 tool_calls 字段中。每个工具调用包含 id、function.name工具名称和 function.arguments参数 。其他可选解析器defaultvLLM 原生格式可能兼容性较差。自定义解析器需扩展 vLLM 代码。更多可选参数可查阅https://vllm.hyper.ai/docs/models/engine-arguments/请求验证可以用postman参数如下{model: deepseek-7B,messages: [{role: user,content: 你说什么是爱}]}model: deepseek-7B,和vllm启动时的 --served-model-name 值保持一致。完工撒花撒花