百川2-13B-Chat WebUI v1.0 故障速查表5分钟定位nvidia-smi显存冲突与supervisor异常1. 问题来了服务突然挂了怎么办你正用百川2-13B-Chat写代码写得飞起突然网页打不开了。刷新、重启浏览器都没用心里一凉“完了服务挂了。”别慌这种情况我遇到过太多次了。百川2-13B-Chat WebUI v1.0运行起来很稳定但偶尔也会出点小状况。最常见的就是两个问题GPU显存被其他进程占用或者Supervisor服务管理出了问题。今天我就给你一份“故障速查表”照着做5分钟内基本都能定位问题。就算你是刚接触Linux的新手也能跟着一步步排查。2. 第一步快速诊断30秒出结果遇到问题先别乱操作用这个检查脚本看一眼心里就有数了。2.1 运行状态检查脚本打开终端输入这个命令/root/baichuan2-13b-webui/check.sh你会看到类似下面的输出。我带你解读一下关键信息╔══════════════════════════════════════════════════════════════╗ ║ 百川2-13B-Chat WebUI 状态检查 ║ ╚══════════════════════════════════════════════════════════════╝ 【服务状态】 ❌ 停止 baichuan-webui STOPPED Not started 【端口监听】 ❌ 7860 端口未监听 tcp 0 0 0.0.0.0:7860 0.0.0.0:* LISTEN - 【GPU 状态】 型号: NVIDIA GeForce RTX 4090 D 显存: 21500 MiB / 24576 MiB (87.5%) 利用率: 85% 【WebUI 访问】 ❌ 不可访问 URL: http://0.0.0.0:7860 【开机自启】 ✅ 已启用 Supervisor 服务: enabled 项目配置: 已安装 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ ❌ 发现问题 1. 服务未运行 2. 端口未监听 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━看到那个红色的“❌ 停止”了吗这就是问题所在。服务没跑起来所以网页打不开。2.2 看懂检查结果检查脚本会告诉你几个关键信息服务状态运行中✅还是停止❌端口监听7860端口有没有被占用GPU状态显存用了多少利用率高不高访问状态网页能不能打开如果服务状态是“停止”那问题就出在服务本身。如果服务状态是“运行中”但网页还是打不开那可能是网络或防火墙的问题。3. 第二步定位GPU显存冲突2分钟解决百川2-13B-Chat需要大约10GB显存。如果其他程序把显存占了百川就启动不了。3.1 检查谁在占用GPU在终端输入nvidia-smi你会看到一个表格类似这样----------------------------------------------------------------------------- | NVIDIA-SMI 535.161.07 Driver Version: 535.161.07 CUDA Version: 12.2 | |--------------------------------------------------------------------------- | GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. | || | 0 NVIDIA RTX 4090 D On | 00000000:01:00.0 Off | N/A | | 30% 45C P2 75W / 450W | 21500MiB / 24576MiB | 85% Default | | | | N/A | --------------------------------------------------------------------------- ----------------------------------------------------------------------------- | Processes: | | GPU GI CI PID Type Process name GPU Memory | | ID ID Usage | || | 0 N/A N/A 1234 C .../python3.10/site-packages 10500MiB | | 0 N/A N/A 5678 C /usr/bin/python3 8000MiB | | 0 N/A N/A 9012 C .../torch/lib/libtorch_cuda.so 3000MiB | -----------------------------------------------------------------------------重点看下面“Processes”这部分。这里列出了所有正在使用GPU的进程。3.2 常见显存占用情况占用情况可能原因解决方法显存几乎满了23GB有其他AI模型在运行或者之前的百川进程没完全退出关掉其他AI应用或者重启服务显存占用正常10-15GB百川服务正在运行但网页打不开检查网络和防火墙显存占用为0百川服务根本没启动启动服务有未知进程占用可能是之前运行的其他程序残留结束这些进程3.3 如何释放被占用的显存如果发现不是百川的进程在占用显存你需要结束这些进程。方法一结束指定进程假设你看到PID为5678的进程占用了8000MB显存而且不是百川的进程# 先确认这个进程是什么 ps aux | grep 5678 # 确认后结束进程 kill -9 5678方法二结束所有非百川的GPU进程谨慎使用# 查看所有GPU进程 nvidia-smi --query-compute-appspid,name,used_memory --formatcsv # 如果你确定哪些进程可以结束逐个结束 # 注意不要结束系统关键进程方法三最简单的办法——重启服务大多数时候重启服务就能释放被占用的显存supervisorctl restart baichuan-webui等30秒左右让模型重新加载然后再检查nvidia-smi这时候应该能看到百川的进程在运行显存占用在10GB左右。4. 第三步解决Supervisor服务异常2分钟搞定Supervisor是管理百川服务的工具。有时候Supervisor自己会出问题导致服务起不来。4.1 检查Supervisor状态# 查看Supervisor服务本身的状态 systemctl status supervisor.service # 查看百川服务的状态 supervisorctl status baichuan-webui正常情况应该看到supervisor.service - Supervisor process control system for UNIX Loaded: loaded (/lib/systemd/system/supervisor.service; enabled; vendor preset: enabled) Active: active (running) since Mon 2024-01-01 10:00:00 CST; 1 day ago baichuan-webui RUNNING pid 12345, uptime 1:23:45如果看到的是“STOPPED”或者“FATAL”那就是Supervisor出问题了。4.2 常见Supervisor问题及解决问题现象可能原因解决方法supervisorctl status 报错Supervisor服务没启动systemctl start supervisorbaichuan-webui: FATAL配置文件错误或权限问题检查配置文件baichuan-webui: STOPPED服务被手动停止或崩溃重新启动日志文件找不到日志路径错误或权限不足检查日志目录权限4.3 一步步修复Supervisor问题第1步重启Supervisor服务# 重启Supervisor本身 systemctl restart supervisor.service # 等待几秒 sleep 5 # 查看状态 systemctl status supervisor.service第2步重新加载配置# 让Supervisor重新读取配置文件 supervisorctl reread supervisorctl update # 启动百川服务 supervisorctl start baichuan-webui # 查看状态 supervisorctl status baichuan-webui第3步检查配置文件如果还是不行检查一下配置文件# 查看配置文件 cat /etc/supervisor/conf.d/baichuan-webui.conf # 应该看到类似这样的内容 [program:baichuan-webui] directory/root/baichuan2-13b-webui command/usr/bin/python3 app.py autostarttrue autorestarttrue stderr_logfile/root/baichuan2-13b-webui/logs/error.log stdout_logfile/root/baichuan2-13b-webui/logs/access.log第4步查看详细日志有时候错误信息在日志里# 查看Supervisor日志 tail -f /var/log/supervisor/supervisord.log # 查看百川的错误日志 tail -f /root/baichuan2-13b-webui/logs/error.log4.4 如果Supervisor彻底坏了怎么办如果Supervisor怎么都修不好有个备用方案直接手动启动百川服务。# 进入项目目录 cd /root/baichuan2-13b-webui # 手动启动服务注意这样启动不会自动重启 python3 app.py # 或者用nohup在后台运行 nohup python3 app.py logs/manual.log 21 手动启动后服务应该就能访问了。但这只是临时方案最好还是把Supervisor修好。5. 第四步其他常见问题排查1分钟检查如果GPU和Supervisor都没问题但服务还是不正常检查下面这些地方。5.1 端口被占用有时候7860端口被其他程序占用了# 检查7860端口被谁占用 netstat -tulpn | grep :7860 # 如果看到其他进程占用了7860端口 # 可以结束那个进程或者修改百川的端口修改端口的方法如果需要# 编辑配置文件 vi /root/baichuan2-13b-webui/app.py # 找到这行大概在第50行左右 demo.launch(server_name0.0.0.0, server_port7860) # 把7860改成其他端口比如7861 demo.launch(server_name0.0.0.0, server_port7861)5.2 防火墙问题如果是远程访问可能是防火墙挡住了# 检查防火墙状态 sudo ufw status # 如果防火墙开着开放7860端口 sudo ufw allow 7860 # 或者临时关闭防火墙测试用不建议生产环境 sudo ufw disable5.3 模型文件损坏极少数情况下模型文件可能损坏# 检查模型文件大小正常应该在10GB左右 ls -lh /root/baichuan2-13b-webui/models/baichuan2-13b-chat-4bits/ # 如果文件大小不对可能需要重新下载 # 但这种情况很少见6. 总结5分钟故障排查流程好了现在我们把整个流程串起来形成一个完整的排查指南6.1 快速排查流程图服务无法访问 ↓ 运行检查脚本/root/baichuan2-13b-webui/check.sh ↓ ├─ 服务状态停止 → 检查Supervisor → 修复或重启 │ ├─ 服务状态运行中但无法访问 │ ├─ 检查端口netstat -tulpn | grep :7860 │ ├─ 检查防火墙ufw status │ └─ 检查网络连接 │ └─ GPU显存不足 → 检查占用nvidia-smi → 结束占用进程6.2 最可能的问题及最快解决方法根据我的经验90%的问题用这两个命令就能解决问题1网页突然打不开之前是好的# 大概率是服务崩溃了重启就行 supervisorctl restart baichuan-webui # 等待30秒让模型加载 sleep 30 # 再访问网页问题2重启服务器后服务没起来# 检查Supervisor是否自动启动 systemctl status supervisor.service # 如果没启动手动启动 systemctl start supervisor.service # 然后启动百川服务 supervisorctl start baichuan-webui问题3显存不足无法启动# 查看谁在占用显存 nvidia-smi # 结束不必要的进程或者重启服务器释放所有显存 reboot6.3 预防措施为了避免这些问题频繁发生你可以定期检查每周运行一次check.sh看看服务状态监控显存如果经常显存不足考虑升级显卡或优化其他应用备份配置备份Supervisor和项目配置文件写个监控脚本自动检查服务状态出问题自动重启#!/bin/bash # 简单的监控脚本可以放到crontab里每小时运行一次 STATUS$(supervisorctl status baichuan-webui | awk {print $2}) if [ $STATUS ! RUNNING ]; then echo $(date): 百川服务异常状态: $STATUS正在重启... /root/baichuan2-13b-webui/monitor.log supervisorctl restart baichuan-webui fi7. 最后的建议百川2-13B-Chat WebUI v1.0整体来说很稳定我跑了几个月大部分时间都很顺畅。偶尔出问题基本都是上面说的这几种情况。记住这个口诀网页打不开先跑check.sh服务没启动检查Supervisor显存不够用看看nvidia-smi实在搞不定重启试试看大多数问题都能在5分钟内定位并解决。如果遇到特别奇怪的问题记得查看日志文件里面通常有详细的错误信息。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。