1. 一次SSH断线引发的“翻车”为什么后台任务不能裸奔先讲一个我自己的真实经历。有一回我在服务器上跑一个数据清洗脚本大概要执行五六个小时。当时图省事直接在前台运行想着挂着终端就行结果中途网络闪断了一下SSH连接断开脚本跟着死掉跑了两小时的数据全部白费。更憋屈的是我又得重新启动任务还要仔细检查之前那两小时产生了哪些半成品数据。大部分第一次接触Linux后台任务的人第一反应是nohup。nohup command 这招确实管用进程不会因为终端退出而被杀。但用多了你会发现nohup有几个很棘手的短板启动之后基本是“眼不见为净”你想看输出只能重定向到日志文件然后tail -f去盯。想临时交互一下几乎不可能比如任务跑到一半让你确认某个参数nohup完全没法处理。任务进程是黑盒管理多个后台任务时你很难直观地知道每个任务现在跑到哪了、占了多少资源、输出的是什么。我真正开始认真用screen是因为上面三件事同时踩了一遍。screen的核心思路特别直白它把你跑的程序放进一个“虚拟终端”里面这个虚拟终端不跟着你的SSH连接走。你断开SSH它照样运行你重新连上服务器还能回到这个虚拟终端继续盯着看、继续敲命令。这篇文章我就围绕“利用screen进行后台运行程序”这件事把我日常用的操作、踩过的坑、总结出来的经验整理成一份可以直接上手的参考。如果你也是那种需要远程跑长任务、跑批处理、维护多个服务终端的人这篇文章应该能帮你省下不少折腾时间。2. screen的三层认知会话、窗口与“甩不掉”的伪终端scren上手不难但很多人只是记住了命令不知道它背后在干什么一出问题就懵。我建议你在敲命令之前先把它的模型想清楚。2.1 会话与窗口的关系像极了浏览器与标签页你可以把screen的“会话Session”理解成一个独立的浏览器窗口窗口里的每个“screen窗口Window”就像是浏览器里的标签页。一个会话可以同时开多个窗口每个窗口运行各自独立的程序窗口之间互不干扰。平时你登录服务器终端绑定的是SSH连接的输入输出。而screen会创建一个“伪终端Pseudo Terminal”来接管程序的输入输出。程序以为自己还在一个正常的终端上运行实际上它连接的是screen提供的虚拟设备。所以即使你的SSH断开了程序所在的伪终端还在screen进程还在任务就不会中断。我一般建议把“会话”当成“任务组”来用。比如我同时跑一个数据同步、一个日志分析、一个模型训练我会为这三种任务各建一个screen会话让它们井水不犯河水。需要看哪个任务就单独screen -r到对应的会话里。2.2 理解detach与attach后台运行的命门screen最独特的机制就是“分离detach”和“重新连接attach”。分离的意思是你把当前这个虚拟终端从你的控制终端上摘下来它不跟着你的SSH走继续在系统里独立跑着。重新连接则是你再次进入这个虚拟终端找回之前正在运行的程序界面。通常你不需要特意记忆复杂的命令因为它太常用了——快捷键CtrlA再按D就分离了。注意这里的分离和你直接关掉SSH是完全不同的。CtrlA D是主动分离程序继续跑会话保留。而直接断开SSH、或者直接关掉终端窗口session里的程序也不会死因为screen已经把它们托管起来了。这就是它跟裸跑程序在本质上最大的区别。我见过不少人刚开始用screen时习惯性地exit掉会话结果连程序一起退出了。要记住退出会话窗口等于结束窗口里的程序但分离会话只是把控制权交出去任务还在。2.3 三个最基础命令先背下来screen命令语法很多日常最核心的就三个命令作用screen -S 会话名创建一个指定名字的会话并进入CtrlA然后按D分离当前会话回到系统终端screen -r 会话名重新连接到指定会话围绕这三个命令你就能完成“创建会话→分离会话→重新进去”这条完整的后台运行链路。3. 手把手把程序放到后台从创建会话到安全退出这一节是我今天最想写的部分。光讲概念没用得把一条完整的操作路径走一遍。我以实际操作中最常见的场景为例我要在服务器上运行一个大文件压缩打包的任务同时我还想做别的事情不希望它占用我的终端。3.1 创建会话并运行程序第一步先建一个命名清晰的会话screen -S backup_task这会进入一个看起来和平时一模一样的终端界面。你敲什么命令它都按常规执行。然后正常启动你的程序tar -czvf /data/backup.tar.gz /data/www此时你会看到压缩进度不断滚动。如果这个命令要在前台跑很久你不想等它就按CtrlA再按D回到原始终端。这时的界面一般是这样的提示[detached (from session backup_task)]任务进程现在由screen托管你可以放心地关闭SSH、下班、泡杯茶。3.2 重新连接到会话查看进度第二天或者几个小时后重新登录服务器用screen -ls或者直接screen -r backup_task都能找回这个会话# 列出所有会话确认backup_task还在 screen -ls # 直接重新连接 screen -r backup_task回到会话后你会看到压缩进度还在继续或者已经跑完了。注意如果你发现界面上全是乱七八糟的输出、滚动得飞快可以按CtrlA然后按Esc进入拷贝/回滚模式用方向键往上翻看历史输出。翻完之后按Esc退出这个模式。这一步是最让我觉得screen比nohup舒服的地方我不用另外开一个日志文件去看输出直接在原来的终端界面里就能看到程序跑到了哪里。3.3 任务结束后主动退出会话窗口当任务完成后你留在会话里其实会看到一个普通的shell提示符。这时这个会话已经没用了你得手动退出否则它一直占着一个会话名额。exit或者按CtrlD。退出后screen会提示screen: session backup_task terminated整个会话被清理掉。这一步千万别省因为会话多了以后screen -ls会列出一大堆僵尸会话你会分不清哪个还活着。经验之谈我习惯在创建会话后用“会话名”来表示任务内容比如screen -S tar_backup、screen -S python_train、screen -S mysql_restore。名字越直观后面管理多个会话时越省心。3.4 如果你连第一次都不想进去直接以分离模式启动有些场景下你其实根本不需要进入到会话里去启动程序比如你知道这个任务只是跑批处理根本不需要交互。这时可以用下面这种写法screen -dmS backup_task tar -czvf /data/backup.tar.gz /data/www拆开解释一下-d -m表示“直接以分离模式启动会话”-S指定会话名会话创建后立刻在后台跑后面的命令这种方式的好处是SSH连上去敲一条命令就能启动任务终端不会卡住。之后你再想看状态随时screen -r backup_task进去就行。注意-d -m之后跟的命令如果是有交互的那这个方式就不太合适因为程序在后台运行没人能对它输入。像数据库交互命令、需要手动确认的脚本还是老老实实先进入会话再跑。4. 多窗口协同一个会话管理多个后台程序上面讲的是最基本的“一任务一会话”。如果你任务不多这个模式够用了。但如果你像我一样经常得同时维护好几个服务、好几个任务那一定要学会在一个screen会话里多开几个“窗口”。4.1 在同一会话里新建窗口并切换进入一个已存在的会话screen -r work_session然后按以下快捷键操作快捷键作用CtrlAC创建一个新的窗口等同于新开一个shellCtrlAN切换到下一个窗口CtrlAP切换到上一个窗口CtrlA列出所有窗口弹窗选择窗口多时很好用CtrlAW在底部显示当前所有窗口的标题CtrlAA给当前窗口重命名举个例子。我现在有一个dev_env会话里面我开了三个窗口分别叫nginx、mysql、worker。进入会话后我会先按CtrlA看看有几个窗口再用快捷键切到具体窗口去查看服务状态或重启服务。每切换到一个窗口就相当于进入一个独立的终端。我可以在这个终端里跑一条跑几分钟的任务按CtrlAD暂时不管它切去另一个窗口处理别的事。这种方式特别适合在运维Web服务时用一个窗口开tail -f实时看日志一个窗口执行重启命令而所有窗口都在同一个会话里我只需要一次连接就能管全局。4.2 “会话内分屏”让多个任务同时可见有时候你想在同一屏上同时看两个任务的输出。screen还支持分屏Region。快捷键如下CtrlAS横向切分屏幕CtrlA|纵向切分屏幕CtrlATab光标跳到另一个分屏区域CtrlAQ关闭其他区域只保留当前区域分屏的实用性在于一边开着监控日志的窗口一边开着一个命令执行窗口两边互不干扰。这在postmortem排查的时候非常爽不然光切换窗口就能把人逼疯。4.3 会话共享让同事也能看到你的终端screen有个容易被忽略的功能就是多人共享同一个会话。你可以让同事用以下命令附加到同一个会话screen -x 会话名多人附加到同一会话后大家看到的是同一个终端输出任何一个人敲命令其他人也能看到。这在联调接口、共同排查问题的时候太实用了。现实中我经常和同事用这个方式做“远程结对排障”我在这边复现问题他在那边看输出双方不用反复截图、发日志。要注意一点共享会话时两个人都能输入操作容易互相干扰。所以约定好“谁打字谁负责”否则你敲到一半对方也在敲命令就串了。这也是screen的特性之一不是bug。4.4 用死命令向会话发指令批量处理多个窗口screen还支持向会话内的窗口发送指令。这个功能我是在批量运维时偶然发现的。比如我想让某个会话里的所有窗口都执行同一个命令screen -S work_session -X eval at # stuff uptime\n拆解一下-X表示向会话发送命令at后面选择窗口#表示所有窗口stuff表示向窗口输入内容uptime\n就是要执行的命令和回车平时不需要这么复杂的写法但如果你批量对几十个窗口执行命令这个能力会非常省事。日常用得多的是这个变体# 向指定窗口发送命令 screen -S work_session -p 窗口号 -X stuff systemctl restart nginx\n-p指定窗口编号后面的stuff就是模拟键盘输入。要小心\n别漏否则命令不会执行。经验之谈-X stuff本质上是在模拟按键输入。如果当时那个窗口里的程序正在交互状态你发的命令可能被误解或者被吞掉。所以批量发命令前最好确认目标窗口处于空闲shell状态。5. 长任务与守护类场景如何不丢输出、不丢任务后台运行程序通常有两种典型目的一种是“跑批处理跑完即止”另一种是“长期运行的守护类程序比如Web服务、消息队列消费者”。screen对两种场景都支持得不错但用法上有些细节不一样。5.1 长任务场景日志输出与滚动查看跑批处理任务最怕的就是“跑完不知道成功没”或者“跑了一半崩了没日志”。screen的好处是你的程序所有输出都会保留在虚拟终端里。但有个坑如果程序输出特别多screen终端缓冲区有限你重新进去时早期的日志已经被冲掉了。这时可以用以下方式在启动时把输出同时写进日志文件screen -dmS data_task bash -c python run.py 21 | tee /data/logs/run_task.log21把标准错误合并到标准输出tee一边输出到终端、一边写入日志文件。这样即使终端被冲掉你还能在日志文件里找到完整记录。另外screen在执行时也支持使用logfile参数开启自带的日志功能。在进入会话后按CtrlAH会在当前目录生成screenlog.0文件记录这个窗口的所有输出。再按一次CtrlAH关闭记录。如果我从一开始就知道某个任务需要复盘全程输出我会直接打开这个功能。5.2 守护类程序场景重启与退出要小心判断守护类程序通常应该由systemd来管但如果你的环境不允许、或者你临时要手工起一个服务screen确实是最灵活的选择。这种场景下我最常用的模式是# 进入专属会话 screen -S celery_worker # 进入会话后运行程序 celery -A proj worker -l info程序会一直在前台运行看起来像“卡住”了。其实这正是我们想要的服务在前台运行时如果崩溃你能在同一个终端里看到报错如果正常运行它就一直刷日志。之后按CtrlAD分离服务继续在后台跑。这里要特别提醒当你在会话里看到一个服务还在运行想把它停掉时很多人习惯直接按CtrlC。这没什么问题。但如果你在一个会话里开了多个窗口记得先通过CtrlA确认你在正确的窗口里再按CtrlC否则把别的任务杀了就尴尬了。5.3 任务异常退出后的处理流程如果程序异常退出你的screen窗口并不会自动关闭它会留在shell提示符处。这时你应该做的事是向上翻日志CtrlAEsc再按方向键记录关键报错信息按exit退出当前窗口或者直接按CtrlD千万不要在程序已经退出的窗口里还傻傻等着以为程序还在跑。之前有个朋友说他的screen会话“死了”我连上去一看程序早就崩了窗口只是停在shell提示符他误以为会话运行着。6. 最容易翻车的几个坑以及对应的修复手段写这节的时候我特意回忆了这些年踩过的坑挑几个高频的、网上资料讲得不够细的说一下。6.1 误按CtrlA后的“卡死”感screen把所有快捷键都绑在CtrlA前缀上。新手很容易犯的错是在普通shell里想按CtrlA跳到行首结果直接触发了screen的模式切换——最常见的是按了CtrlA然后按S于是屏幕被分屏了你感觉“界面坏了”。遇到这种“界面坏了”的情况不要慌如果你看到屏幕被分成了两块按CtrlAQ把其他区域关掉如果你发现自己进入了回滚/拷贝模式屏幕左上角出现-- Copied --之类的提示按Esc退出如果窗口标题变了按CtrlA切回原来的窗口CtrlA之后跟的按键非常重要误触之后不用退出。我当时第一次误按是把窗口给锁屏了提示Screen is locked, password:当时以为账号挂了后来才搞明白这是screen自己的锁屏功能。遇到这个提示输入当前系统用户的密码就能解。6.2 网络断了之后怎么找回会话这是screen后台运行场景里最尴尬的问题服务器一直连着你却重连不上。很多人会先screen -r尝试连接结果看到提示说会话已经被占用There is a screen on: 4017.work_session (Detached)请注意状态如果是Detached表示会话是分离状态可以直接screen -r连上。如果提示是Attached说明有一个会话被“挂住”了一般是因为之前SSH断线时系统认为那个会话还被某个终端占着。解决方式很简单强制踢掉旧连接screen -d -r work_session这个命令的意思是“先分离掉Detach那个占用中的会话再重新连接Reattach”。几乎能解决80%的“连不上去”问题。如果这招不行比如会话处于Unresponsive状态再往下走是查看进程是否存在ps aux | grep screen如果screen主进程还在通常可以恢复。如果进程已经没了那说明会话本身崩溃了只能重新创建。6.3 提示 “Cannot open your terminal /dev/pts/x”有时候你直接执行screen -r会看到类似下面这样的报错Cannot open your terminal /dev/pts/4 - please check.这个原因通常是你的SSH登录方式没有分配合适的PTY终端比如某些跳板机、某些定时任务触发的shell环境。解决办法是执行script /dev/null命令然后再次尝试screen -r。这个命令会强制为当前shell分配一个PTY脚本环境。之前我在一个自动化平台上执行远端脚本时就遇到过平台本身不开PTY导致所有用screen的命令都报错。加了script /dev/null后顺利解决。6.4 会话里文字显示乱码或颜色不对screen刚启动时有时会出现中文乱码、或者ls没有颜色。这些和TERM环境变量有关系。步骤如下# 进入会话后临时设置 export TERMxterm-256color更彻底的解决办法是在~/.screenrc里加上term xterm-256color这样每次进入screen都自动使用合适的终端类型。另外如果你在screen里看到输出有方块字符多数是LANG或locale设置问题确认服务器的LANG改成en_US.UTF-8或者zh_CN.UTF-8再重新连接会话即可。6.5 窗口突然无法输入但进程还在这个困扰了很多人。现象是进程还在跑CPU占用正常但终端不响应键盘输入。常见原因是终端处于滚动模式或者拷贝模式。你只需按几下Esc再按CtrlL刷新一下屏幕。如果输入仍有问题按CtrlA[看看是不是进入了拷贝模式再按Esc退出。我在实际使用时还发现过另一种情况程序本身在等待输出缓冲区刷新比如tail -f或less这种全屏交互程序按Q退出当前交互状态即可不是screen的问题。7. 后台运行任务的更进一步与nohup、tmux、systemd的取舍想把后台运行的功夫练扎实光会screen还不够得知道它和别的工具之间的边界在哪里。7.1 和nohup怎么选如果只是临时跑一条命令不需要交互、不需要看进度、不需要多窗口那nohup完全够用。尤其你是写一次性脚本、只需要输出重定向到文件时完全没必要多此一举开screen。但如果任务需要随时查看、可能需要二次干预或者任务很多且需要分类管理那就用screen。一句话总结nohup 是让你“放出去不管”screen 是让你“放出去之后随时还能管”。7.2 和tmux怎么选tmux在窗口管理、分屏、自定义状态栏方面确实比screen更强社区活跃度也更高。但screen几乎是所有Linux发行版默认安装的工具或者一条apt install screen/yum install screen就能装好兼容性极佳。在极简环境、容器环境、老旧系统上screen往往是最稳的选择。从项目维护的角度看一个脚本用screen还是用tmux最好保持统一。我自己一台机器上通常两个都装但日常操作习惯以screen为主因为它太“轴”了不容易踩版本差异的坑。7.3 和systemd怎么选如果你要把守护类服务长期跑在生产环境首选一定是systemd。它有完善的开机自启、崩溃拉起重启、日志管理。但systemd的入门门槛比screen高而且需要root权限写service文件。在很多不够规范的使用场景下临时起一个服务时用screen更省事。我的建议是开发调试、临时任务、快速启停服务用screen完全没问题生产环境的持久服务还是找机会迁移到systemd。8. 给常年使用screen的人配置优化与效率技巧这节算是我个人使用screen的“提效笔记”。配置大多写在~/.screenrc里写一次长期受益。8.1 状态栏显示会话名与窗口列表默认的screen底部是空白窗口一多就乱。我的~/.screenrc里加了一段hardstatus alwayslastline hardstatus string %{ kG}[ %{G}%H %{g}][ %{ kw}%?%-Lw%?%{r}%n*%f %t%{G}%?%?%{g}%?%{ kw}%Lw%? ]效果是所有screen会话底部都会出现一条状态栏显示当前机器名、窗口序号和窗口标题。当前窗口会用红色高亮标出。这样切换窗口时不用每次按CtrlA去预览状态栏一目了然。如果你不想记这段复杂字符串也可以只用简单的startup_message off vbell off这两行分别关掉每次启动时的欢迎信息、关闭“屏幕闪烁提醒”模式能让界面少一些打扰。8.2 创建会话时自动加载环境有些会话里我希望自动进入某个工作目录、自动激活某个Python虚拟环境。可以在~/.screenrc里写screen -t main 0 select 0 chdir /data/project screen -t worker 1 chdir /data/project/logs这样每次创建这个会话时会自动创建两个命名窗口并把目录切换到指定位置。配合 shell 的exec bash之类的启动逻辑可以实现“创建会话后直接进入工作环境”。8.3 Escape键位修改以免误触CtrlA这个前缀在很多软件里有别的含义比如shell里跳转行首。误触多了确实烦。你可以把前缀改成别的键位escape ^Zz这一行的意思是用CtrlZ加z作为前缀。注意改成CtrlZ后在screen里想用CtrlZ暂停进程的快捷键就失效了。有人改成 ^B b也有人改成 ^O o各有利弊。我自己没有改因为已经习惯了CtrlA而且改掉之后所有快捷键都要重新记反而容易混。但如果你总是误触改键是解决办法。8.4 多用户共享时开启写时拷贝screen的-x多人共享模式是实时同步的。你希望协作方只能看不能操作目前screen没有纯只读模式但可以通过在会话内提前设置权限来限制或者直接约定协作方不碰键盘。如果对权限有严格要求不如上tmux或VNC这类工具。8.5 临时日志记录上面提到过CtrlA H开启日志。这块有个细节如果你想保留某个窗口的完整执行记录我建议在窗口刚启动时立刻开启。否则等到程序已经刷屏很久前面的日志只能从回滚缓冲区里捞screenlog.0里不会出现旧内容。9. 最后的建议把screen放进你的日常工具箱使用screen的本质是你要养成“程序在虚拟终端里托管”的习惯。一旦用顺了你会发现自己运维服务器的安全感提升不少不用再提心吊胆地怕网络抖动、怕终端误关。我个人的经验是接触screen之后几乎所有远程任务的操作路径都趋向统一有交互的需要则screen -S taskname进入会话后手动启动没交互的批处理则screen -dmS taskname command直接后台跑查看进度则screen -r taskname连回去任务结束后记得exit清掉会话这套流程熟练之后甚至可以不用nohup、不用额外写日志脚本就能把一件比较混乱的事梳理得非常规整。最后分享一个小技巧写脚本时如果你要用screen启动某个任务最好在命令里加一个健壮性判断先删除同名会话再创建screen -S my_task -X quit /dev/null 21 screen -dmS my_task bash -c echo task start; python my_script.py第一行命令会先关闭可能存在的同名旧会话第二行再创建一个新会话。这样脚本重复执行时不会因为同名会话堆积而报错。这个习惯帮我避免了非常多次定时任务重复启动的麻烦。screen本身不复杂但它提供了后台运行这件事的一个完整思路。希望这篇文章能把你在后台任务管理这条路上的坑提前填平。