SGLang 部署指南从安装到高并发调优的完整上手路径【免费下载链接】sglangSGLang is a high-performance serving framework for large language models and multimodal models.项目地址: https://gitcode.com/GitHub_Trending/sg/sglang导语你需要把一个大语言模型比如 Llama 3.1 8B跑成一个高并发的在线推理服务但装完环境卡在 CUDA 报错、起服务后吞吐上不去、压测一开就 OOM。这篇 SGLang 部署指南带你在一张 NVIDIA GPU 上把服务跑起来、把并发调到位、把常见故障排掉。读完你能拿到三个结果一条可访问的 30000 端口服务、一组能压出目标 QPS 的调优参数、一张对着改就行的一行排障表。SGLang 是一个高性能的 LLM 与多模态模型推理服务框架核心卖点是 RadixAttention 前缀缓存、零开销调度、prefill/decode 分离、投机解码与连续批处理目标是在单卡到大规模集群上都给出低延迟、高吞吐。岔路口选路线先判断你在哪条硬件与运维路线上再往下走避免照抄用不上的配置。路线适用场景上手难度可扩展性pip/uv 安装单卡开发、快速验证低中Docker 容器生产环境、环境隔离低中docker compose常驻服务、健康检查低中Kubernetes多副本、高可用高高源码编译改内核/定制后端高高新手直接走 Docker 这条主路径要改代码或调 kernel 再考虑源码。主路径最短可用路径这一节帮你用最少命令把服务跑到「能访问」。假设你有 NVIDIA GPU 和 NVIDIA Container Toolkit。1️⃣ 拉镜像并起服务secret换成你的 HF tokendocker run --gpus all --shm-size 32g -p 30000:30000 \ --ipchost --env HF_TOKENsecret \ lmsysorg/sglang:latest python3 -m sglang.launch_server \ --model-path meta-llama/Llama-3.1-8B-Instruct \ --host 0.0.0.0 --port 300002️⃣ 用 curl 打健康检查确认起来了curl http://localhost:30000/health返回 200 就算服务可访问了。多卡就把--model-path后加--tp 2或卡数。不想碰 Docker 就用uv pip install --prereleaseallow sglang再跑同一条launch_server命令。其余路线只记住入口compose 走 docker/compose.yamlK8s 走 docker/k8s-sglang-service.yaml源码看 install 文档。对号入座环境与硬件适配按你的硬件对下表取配置不用把所有平台都看一遍。场景推荐配置关键动作NVIDIA GPUH100/A100/消费卡默认 CUDA 13 镜像--attention-backend flashinfer提性能NVIDIA 但驱动是 CUDA 12lmsysorg/sglang:latest-cu129镜像加-cu129后缀Intel Xeon 纯 CPUdocker/Dockerfile.xeon构建--privileged --ipchost --networkhostAMD GPUMI300/MI355docker/rocm.Dockerfile走 ROCm 镜像参考 amd_gpu 文档大模型单机放不下多卡--tp/ 多机tp 数卡数跨机走 k8s-distributed-sts调优旋钮参数速查这些参数都挂在launch_server上改完重启生效。默认值不填时框架会自动估算压测不达预期再手动拧。参数作用推荐值出现什么信号往哪调--mem-fraction-static静态显存占比权重KV池0.85报 OOM 就降到0.7--max-running-requests最大并发请求数256排队多、P99 高就上调--chunked-prefill-sizeprefill 分块 token 数4096长文本卡 decode 就调大--schedule-policy请求调度策略lpm大量长尾短请求就换lof/fcfs--stream-interval流式输出 token 间隔1前端卡顿就调小--kv-cache-dtypeKV 缓存精度fp8_e5m2显存吃紧、上下文长就启用排障速查对着报错/现象改一行别去翻长篇日志。报错或现象原因一行修复CUDA_HOME environment variable is not set没设 CUDA 根目录export CUDA_HOME/usr/local/cuda-12启动即 OOM / KV 分配失败静态占比过高加--mem-fraction-static 0.7请求频繁 retracted回退并发超 KV 容量降--max-running-requests或降并发首次请求慢冷启动未预热发一条 warmup 请求再压测端口 30000 拒连服务没起/host 没开确认--host 0.0.0.0 --port 30000Docker 里显存不足共享内存太小--shm-size 32g --ipchost上线门槛Checklist用 Docker 固定了不可变版本 tag如:v0.5.18不是可变latest配了/health健康检查与自动重启restart: always接了 Prometheus 抓取见 examples/monitoring5s 间隔用bench_serving压过目标 QPS记录 P99 延迟显存留了余量mem-fraction-static未顶满HF token、模型缓存目录已挂载且可访问进阶出口延伸阅读全部参数说明server_arguments 文档安装与平台矩阵install 文档部署后想量化压测吞吐直接用仓库自带python -m sglang.bench_serving出基线。把 30000 端口跑通、把上表两个内存参数拧到位你的 SGLang 服务就够扛住生产并发了。【免费下载链接】sglangSGLang is a high-performance serving framework for large language models and multimodal models.项目地址: https://gitcode.com/GitHub_Trending/sg/sglang创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考