龙蜥 8.9 部署大模型服务实战全流程海光 DCU vLLM在龙蜥Anolis OS8.9操作系统上基于海光开发者社区提供的vLLM Docker 镜像部署大模型服务的完整流程涵盖 DCU 驱动安装、Docker 环境搭建、镜像拉取、服务部署与调用验证。目录一、环境概览二、DCU 驱动安装三、Docker 环境搭建四、获取 vLLM 镜像五、部署模型服务六、服务调用验证七、常见问题一、环境概览项目说明操作系统龙蜥Anolis OS8.9加速硬件海光 DCUHygon DCU驱动版本rock-6.3.30对应 DTK 26.04推理框架vLLM 0.11.0运行环境Docker 容器Ubuntu 22.04 Python 3.11什么是 DCUDCUDeep Computing Unit是海光推出的深度计算加速卡其编程模型兼容 ROCm 生态可通过 vLLM 等框架高效运行大模型推理任务。二、DCU 驱动安装1. 选择驱动版本目前主流的 vLLM Docker 镜像基于DTK 26.04构建因此需要下载对应的驱动.run文件。驱动版本与硬件、DTK 的兼容关系如下驱动版本支持硬件推荐 DTK 版本rock-6.3.8BW1000 / K100-AI / K100 / Z100L / Z10025.04rock-6.3.30BW1100 / BW1000 / BW150 / BW100 / BW10 / K100-AI / K100 / Z100L / Z10026.04DCU 驱动下载地址请前往海光开发者社区官方下载页获取对应.run文件。2. 安装依赖根据操作系统选择对应的依赖安装命令# CentOS / Anolis龙蜥yuminstall-yrpm-build gcc-c cmake automake elfutils-libelf-devel\libdrm libdrm-devel pciutils yuminstall-ykernel-devel-uname-rkernel-modules-extra-uname-r# Ubuntuaptinstall-ygcc g cmake automake libelf-dev\libdrm_amdgpu1 libtinfo5 pciutils libdrm-devaptinstall-ylinux-headers-uname-rlinux-modules-extra-uname-r⚠️libdrm_amdgpu1在不同 Ubuntu 版本中包名可能为libdrm-amdgpu1若安装失败可尝试替换。3. 安装驱动# 修改驱动安装包权限chmodx rock*.run# 执行驱动安装./rock*.run安装过程中会提示更新vbios选择是Yes。安装完成后重启驱动服务# 重启驱动服务systemctl restart hymgr4. 驱动验证# 6.3.x 及其以上的驱动检查内核模块lsmod|grep-Ehydcu|hycu# 查看显卡信息/opt/hyhal/bin/hy-smi执行/opt/hyhal/bin/hy-smi后若能正常列出显卡信息说明驱动安装成功。三、Docker 环境搭建1. 在线安装 Docker# 安装依赖工具sudodnfinstall-yyum-utils device-mapper-persistent-data lvm2# 添加阿里云 Docker CE 镜像源sudoyum-config-manager --add-repo\https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo# 安装 Docker 相关组件sudodnfinstall-ydocker-ce docker-ce-cli containerd.io docker-compose-plugin2. 启动并设置开机自启# 启动 Dockersudosystemctl startdocker# 设置开机自启sudosystemctlenabledocker四、获取 vLLM 镜像前往光源 vLLM 镜像仓库找到需要的 vLLM 版本点击对应镜像右下角的复制按钮即可获得拉取命令例如dockerpull harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.11.0-ubuntu22.04-dtk26.04-py3.11镜像命名解析vllm:0.11.0表示 vLLM 版本ubuntu22.04为容器基础系统dtk26.04为对应的 DCU 工具包版本py3.11为 Python 版本。五、部署模型服务1. 启动容器dockerrun-d\--namedcu-model-service\--restartunless-stopped\--networkhost\--ipchost\--shm-size16G\--device/dev/kfd\--device/dev/mkfd\--device/dev/dri\-v/data/model/llm:/model\-v/opt/hyhal:/opt/hyhal\--group-add video\--cap-addSYS_PTRACE\--security-optseccompunconfined\-eVLLM_LOGGING_LEVELINFO\harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.11.0-ubuntu22.04-dtk26.04-py3.11\python-mvllm.entrypoints.openai.api_server\--model/model\--served-model-nametest\--host0.0.0.0\--port30000\--max-model-len20000\--tensor-parallel-size4\--gpu-memory-utilization0.9\--trust-remote-code\--dtypebfloat162. vLLM 服务参数说明参数值说明--model/model模型路径容器内挂载路径--served-model-nametestAPI 中显示的模型名称--host0.0.0.0监听所有网络地址--port30000服务端口--max-model-len20000最大序列长度--tensor-parallel-size4张量并行度对应 4 张 DCU--gpu-memory-utilization0.9GPU 显存利用率上限--trust-remote-code—信任模型仓库中的远程代码--dtypebfloat16推理数据类型3. Docker 运行参数说明参数分类参数值说明基础-d—后台运行容器--namedcu-model-service容器名称重启策略--restartunless-stopped异常崩溃自动重启手动停止后不重启网络--networkhost使用宿主机网络无网络隔离内存/IPC--ipchost共享宿主机 IPC 命名空间--shm-size16G共享内存大小 16GB设备挂载--device/dev/kfdDCU 核心驱动设备--device/dev/mkfdDCU 辅助设备文件--device/dev/driDCU 显示/计算设备数据卷-v模型目录:/model挂载模型文件-v/opt/hyhal:/opt/hyhal挂载 DCU 运行时库权限--group-addvideo加入 video 组以访问 DCU--cap-addSYS_PTRACE允许 ptrace 系统调用--security-optseccompunconfined禁用 seccomp 限制环境变量-eVLLM_LOGGING_LEVELINFO设置日志级别镜像—harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.11.0-ubuntu22.04-dtk26.04-py3.11vLLM DCU 镜像4. 验证服务状态# 查看容器是否正常运行dockerps# 查看启动日志确认无报错dockerlogs-fdcu-model-service容器启动后可通过hy-smi观察到显卡显存被占用说明模型已成功加载。六、服务调用验证服务启动成功后通过 OpenAI 兼容接口进行调用测试curl-s-XPOST http://127.0.0.1:30000/v1/chat/completions\-HContent-Type: application/json\-d{ model: test, messages: [ {role: user, content: Hello} ], max_tokens: 200, temperature: 0.7, stream: true }返回符合 OpenAI Chat Completions 格式的响应即表示部署成功。七、常见问题Q1容器启动失败提示无法找到/dev/kfd驱动未正确安装或未重启服务。执行以下命令检查lsmod|grep-Ehydcu|hycusystemctl restart hymgrQ2--tensor-parallel-size应该如何设置应设置为参与推理的 DCU 卡数量且需能整除模型的注意力头数。例如 4 卡则设置为4。Q3显存不足OOM如何调整适当降低--max-model-len或--gpu-memory-utilization的值。参考链接https://developer.sourcefind.cn/servicelist/detail?post_id61036870-b3c7-11f0-9989-acde48001122activeOverviewhttps://download.sourcefind.cn:65024/6/main/