在阿里云 ECS 上部署通义千问Qwen大模型核心难点在于显存VRAM。Qwen2.5-7B/14B入门级显卡即可运行。Qwen2.5-32B/72B需要高端显卡或量化技术。以下提供两种最主流的部署方案方案一WebUI交互版适合人类聊天和方案二API服务版适合程序调用。具体模型选择可参考https://www.aliyun.com/product/tongyi️ 前置准备服务器选型不要使用 CPU 服务器太慢必须使用GPU 实例。模型大小推荐量化版本最低显存需求推荐阿里云实例预估月费Qwen2.5-7BINT4 (4-bit)~6 GBecs.gn6i-c8g1 (T4 16G)¥800-1000Qwen2.5-14BINT4 (4-bit)~10 GBecs.gn6i-c8g1 (T4 16G)¥800-1000Qwen2.5-32BINT4 (4-bit)~20 GBecs.gn7i-xlarge (A10 24G)¥2000Qwen2.5-72BINT4 (4-bit)~40 GB双卡 A10/A800¥5000 省钱建议如果只是个人玩买抢占式实例Spot Instance价格能打 1-2 折方案一部署 Ollama WebUI (最简单适合聊天)这是目前最流行的“傻瓜式”部署方式自带美观的网页界面。第一步连接服务器使用 SSH 连接你的 GPU 云服务器。确保已安装 NVIDIA 驱动和 Docker。# 检查驱动是否就绪 nvidia-smi第二步一键启动 OllamaOllama 是一个管理本地 LLM 的工具支持一键拉取 Qwen。# 安装 Ollama (自动检测 GPU) curl -fsSL https://ollama.com/install.sh | sh # 启动 Ollama 服务 ollama serve 第三步拉取并运行 Qwen 模型这里以Qwen2.5-7B-Instruct为例速度快效果不错。如果你显存够大可以换成qwen2.5:14b或32b。# 拉取模型首次下载约 4-5GB ollama pull qwen2.5:7b # 测试运行 ollama run qwen2.5:7b此时你会看到命令行里的对话窗口。按CtrlC退出。第四步部署 Chatbox/WebUI (可选更美观)为了让界面更好看我们可以搭配一个前端。推荐使用Open WebUIDocker 部署。# 创建目录 mkdir -p /root/open-webui/data # 启动 Open WebUI (绑定 8080 端口) docker run -d -p 8080:8080 --gpus all -v /root/open-webui/data:/app/data --name open-webui ghcr.io/open-webui/open-webui:main第五步访问网页打开阿里云控制台找到你的 ECS 实例。在“安全组”规则中添加入方向规则协议 TCP端口范围8080授权对象0.0.0.0/0。浏览器访问http://你的公网IP:8080设置用户名密码即可开始与 Qwen 聊天方案二部署 vLLM API (高性能适合开发集成)如果你要将 Qwen 集成到自己的 App、Bot 或后端系统中推荐使用vLLM。它支持高并发和 PagedAttention 技术吞吐量极高。第一步安装依赖pip install vllm transformers torch第二步编写启动脚本start_vllm.pyfrom vllm import LLM, SamplingParams # 加载模型 llm LLM( modelQwen/Qwen2.5-7B-Instruct, tensor_parallel_size1, # 如果使用多卡改为2, 4等 dtypefloat16 ) # 定义采样参数 sampling_params SamplingParams(temperature0.7, max_tokens1024) # 启动 HTTP Server import uvicorn from fastapi import FastAPI from pydantic import BaseModel app FastAPI() class PromptRequest(BaseModel): prompt: str app.post(/generate) def generate(request: PromptRequest): outputs llm.generate([request.prompt], sampling_params) return {text: outputs[0].outputs[0].text} if __name__ __main__: uvicorn.run(app, host0.0.0.0, port8000)第三步启动服务python start_vllm.py第四步调用 API同样需要在安全组开放8000端口。curl -X POST http://你的公网IP:8000/generate \ -H Content-Type: application/json \ -d {prompt: 请写一首关于秋天的诗}⚠️ 关键注意事项显存溢出OOM如果报错CUDA out of memory说明模型太大。解决使用更小的模型如 7B 代替 14B或使用更高量化的版本如qwen2.5:7b-q4_K_M。网络延迟国内用户务必选择国内地域如华东2上海、华北2北京的 GPU 实例否则推理速度会极慢。数据安全不要在公开暴露的 API 中输入敏感信息。建议加上简单的鉴权Token 验证。成本优化如果不常使用用完即停Stop 实例而不是 Delete否则即使关机EBS 云盘和弹性公网 IP 也会产生少量费用。 总结想快速体验用方案一 (Ollama Open WebUI)5 分钟搞定界面好看。想集成开发用方案二 (vLLM)速度快接口标准。硬件选择个人玩T4 (16G)足够跑 7B/14B企业用建议A10 (24G)或更高。