1. 从一次深夜告警说起etc目录下的文件为什么碰不得凌晨两点收到监控告警一台跑了三年多的业务服务器CPU持续跑满SSH登录上去之后发现/etc目录下多了几个从来没见过的文件名字是一串随机字符权限位显示为e开头的一长串属性。第一反应是rm -f删掉结果终端直接甩回来一句Operation not permitted。换成sudo rm一样。chattr -i还是不行。chmod 777纹丝不动。到这一步基本可以确认这台机器被人动过手脚了而且对方用了一些非常规手段把文件钉在了文件系统层面。这个场景其实在运维圈子里并不罕见。很多朋友第一次遇到时的反应是是不是权限不够然后一路sudo到底最后发现连root都动不了这个文件才开始慌。问题的本质不在于用户权限而在于文件系统级别的不可变属性和内核层面的保护机制被攻击者利用了。Linux的权限模型是分层的最上层是常规的rwx权限位中间是扩展属性xattr和文件属性chattr最底层还有SELinux/AppArmor这类强制访问控制再往下还有文件系统本身的特性。攻击者往往会在多个层级同时下手让你从任何一个单一维度都无法突破。这篇文章适合谁看如果你是一名运维工程师、DevOps从业者或者自己维护着几台Linux服务器那么这类问题迟早会碰到。我会把整个排查链路、每一层保护机制的绕过思路、以及事后加固的完整方案都拆开讲清楚。不是那种执行这三条命令就好了的速食教程而是让你理解为什么删不掉、攻击者是怎么做到的、每一步操作背后的原理是什么。看完之后再遇到类似情况你能自己判断走到哪一层了而不是盲目试命令。需要先说明一点本文讨论的所有技术手段目的都是应急响应和系统恢复也就是在已经确认被入侵的前提下如何把系统夺回来。这些知识本身是中性的关键在于用在什么地方。下面进入正题。2. 文件删不掉的五层拦截从权限位到内核模块很多人以为Linux删文件就是看rwx权限其实远不止。一个文件能不能被删除、被修改要穿过至少五层关卡。攻击者只要在任意一层设卡你从上层就过不去。理解这个分层模型是排查一切Operation not permitted问题的前提。2.1 第一层常规权限位与属主属组这是最基础的一层ls -l就能看到。文件有属主owner、属组group、其他用户other三组权限每组有读r、写w、执行x。删除一个文件实际上取决于它所在目录的写权限而不是文件本身的写权限——这一点经常被忽略。如果/etc目录本身没有写权限你连目录项都改不了自然删不掉里面的文件。但这一层最好突破sudo或者切到root基本就能解决。如果sudo rm都报Operation not permitted说明问题不在这一层往下看。2.2 第二层文件不可变属性chattr i / a这是最常见的钉子。chattr i会给文件加上immutable属性加上之后连root都不能修改、删除、重命名这个文件。chattr a则是append-only只能追加内容不能删除或覆盖。用lsattr命令可以看到这些属性lsattr /etc/suspicious_file # 输出类似----i--------e-- /etc/suspicious_file那个i就是immutablee表示extent格式正常属性不用管。看到i或a基本可以确定有人手动加过属性。正常系统文件极少会带i属性/etc下更是罕见。绕过方法理论上很简单chattr -i去掉属性再删。但攻击者不傻他们往往会配合下一层手段让你连chattr -i都执行不了。2.3 第三层扩展属性与ACL扩展属性xattr和访问控制列表ACL是比rwx更细粒度的权限控制。ACL可以用getfacl查看xattr用getfattr查看。攻击者可能通过ACL给某个特定用户授予特殊权限或者通过xattr设置一些标记。这一层相对少见但在高级持续性威胁中会出现。getfacl /etc/suspicious_file getfattr -d /etc/suspicious_file如果ACL里有异常条目用setfacl -b清除xattr异常用setfattr -x删除。但同样如果上层有immutable属性挡着这些命令也会失败。2.4 第四层SELinux / AppArmor强制访问控制SELinux在 enforcing 模式下会根据安全上下文security context决定一个进程能不能操作一个文件。即使你是root如果SELinux策略不允许照样Operation not permitted。查看状态getenforce # Enforcing / Permissive / Disabled ls -Z /etc/suspicious_file # 查看安全上下文攻击者可能修改了文件的SELinux上下文让它落入一个受限的type导致常规工具无法操作。临时排查可以把SELinux设为permissivesetenforce 0但这只是排查手段不能作为最终方案因为关掉SELinux等于拆掉了整台机器的一道重要防线。AppArmor类似通过aa-status查看配置文件在/etc/apparmor.d/下。2.5 第五层内核模块与系统调用劫持这是最狠的一层也是普通运维最难处理的。攻击者通过加载恶意内核模块LKMLoadable Kernel Module劫持系统调用syscall让unlink、chmod、chattr这些操作在特定文件上直接返回错误。这种情况下你在用户态做任何操作都是徒劳的——因为内核本身在骗你。判断方法对比lsmod的输出和正常基线看有没有可疑模块检查/proc/kallsyms里系统调用表有没有被篡改用dmesg看内核日志有没有异常加载记录。更彻底的方法是重启进入救援模式从外部挂载文件系统检查。lsmod | head -50 cat /proc/modules | wc -l dmesg | grep -i module\|taint如果内核被污染tainted/proc/sys/kernel/tainted的值会非零。这一层的处理已经超出常规运维范畴通常建议直接重装系统因为无法保证清理干净。下面这张表把五层拦截整理在一起方便对照排查层级检查命令典型现象绕过思路权限位ls -l权限不足sudo / root文件属性lsattr显示 i 或 achattr -iACL/xattrgetfacl/getfattr异常条目setfacl -b/setfattr -xSELinux/AppArmorgetenforce/aa-statusEnforcing调整策略或上下文内核模块lsmod/dmesg可疑模块、tainted救援模式 / 重装3. 攻击者是怎么把文件钉进etc的入侵链路还原知道了有五层拦截接下来的问题是攻击者是怎么一步步做到的还原这条链路不仅能帮你理解现象更能帮你在排查时找到攻击者的落脚点。下面这条链路是基于常见入侵手法的合理推演实际案例中可能只用到其中几步。3.1 入口弱口令、暴露的服务与已知漏洞绝大多数Linux服务器被入侵入口无非三类SSH弱口令被爆破、对外暴露的服务存在已知漏洞比如某些Web中间件、数据库的未授权访问、以及供应链投毒。其中SSH爆破是最常见的尤其是那些把22端口直接暴露在公网、又用了简单密码的机器。攻击者拿到一个低权限账号后第一件事是提权。常见提权路径包括内核漏洞比如某些版本的本地提权漏洞、SUID程序配置不当、定时任务cron里可写的脚本、以及sudo配置错误。提权到root之后才具备往/etc写文件的能力。3.2 落地往etc写什么、为什么选etc/etc是Linux系统的配置中心几乎所有系统级服务都从这里读配置。攻击者往这里写文件通常有几个目的持久化写一个恶意的systemd service或者cron配置让恶意程序开机自启。劫持修改/etc/ld.so.preload让所有动态链接的程序都加载恶意库或者改/etc/passwd、/etc/shadow加后门账号。隐藏把恶意文件放在/etc下因为这里文件多、杂不容易被一眼发现。写进去之后立刻用chattr i锁死防止被清理。有些高级攻击者还会同时修改lsattr、chattr这些工具本身或者用别名alias覆盖让你执行lsattr时看到的是假结果。3.3 加固多层锁定让清理变得困难单一手段容易被突破所以攻击者会叠加多层保护。典型组合是chattr i锁文件 修改SELinux上下文 加载内核模块劫持相关系统调用。这样一来你从用户态无论用什么命令都删不掉因为rm被内核模块拦截直接返回EPERM。就算绕过拦截chattr -i也被拦截。就算chattr -i成功SELinux策略又不允许删除。这种纵深防御的思路本来是安全设计的正道被攻击者反过来用在了恶意文件上确实让人头疼。3.4 隐藏让排查工具说谎这一步是最阴的。攻击者会替换或篡改常用的排查工具让你看到的信息是假的。常见手法包括替换ls、ps、netstat、ss等二进制文件过滤掉恶意进程和文件。修改/etc/ld.so.preload让所有程序加载一个恶意so在里面hook掉相关函数。用alias覆盖命令比如alias lsattrecho ----e----。修改/proc文件系统的读取逻辑通过内核模块。所以排查时不能完全信任系统自带的工具最好用静态编译的busybox或者从外部挂载的干净系统里的工具来检查。这一点后面会详细讲。4. 实战排查一步步定位文件被哪一层锁住理论讲完了进入实操。假设你现在登录了一台疑似被入侵的机器/etc下有个文件删不掉报Operation not permitted。下面这套排查流程按顺序走一遍基本能定位到问题在哪一层。4.1 先确认现象把错误信息看全不要急着敲命令先把错误信息完整看一遍。Operation not permitted对应的是EPERM错误码和Permission deniedEACCES不是一回事。EACCES是权限位不够EPERM是更底层的拒绝通常来自文件属性、SELinux或者内核。rm -f /etc/suspicious_file # rm: cannot remove /etc/suspicious_file: Operation not permitted记下这个错误后面每一步操作都观察错误信息有没有变化。如果从EPERM变成了EACCES说明你突破了一层进入了下一层。4.2 查文件属性lsattr是第一站lsattr /etc/suspicious_file如果输出里有i或a那就是文件属性在挡路。尝试去掉chattr -i /etc/suspicious_file如果这条命令成功再lsattr确认属性没了然后rm。如果chattr -i也报Operation not permitted说明有更底层的东西在拦截继续往下。注意有些攻击者会把chattr和lsattr替换成假程序或者用alias覆盖。执行前先用type chattr和which chattr确认调用的是哪个二进制必要时用绝对路径/usr/bin/chattr或者从外部挂载的干净系统里拷贝一个过来用。4.3 查SELinux和ACL别忽略强制访问控制getenforce ls -Z /etc/suspicious_file getfacl /etc/suspicious_file如果SELinux是Enforcing且文件的上下文明显异常比如type是unconfined_u:object_r:default_t:s0这种不该出现在/etc下的可以尝试恢复上下文restorecon -v /etc/suspicious_file或者临时把SELinux设为Permissive来验证是不是它在拦截setenforce 0 rm -f /etc/suspicious_file setenforce 1如果Permissive下能删掉说明是SELinux策略问题。但不要长期关闭SELinux正确做法是修复策略或恢复正确的上下文。4.4 查内核层lsmod、dmesg与tainted标志如果前面几层都排除了就要怀疑内核被动了手脚。cat /proc/sys/kernel/tainted # 非0表示内核被污染 lsmod # 对比正常基线看有没有不认识的模块 dmesg | tail -100 # 看有没有异常的内核消息还可以检查系统调用表有没有被篡改需要root且有一定风险grep sys_call_table /proc/kallsyms如果发现可疑模块尝试rmmod卸载。但如果是恶意模块通常会拒绝卸载引用计数被设为不可卸载。这种情况下用户态已经无能为力必须重启进入救援模式。4.5 用干净工具交叉验证别信被入侵系统的命令这一步非常关键。被入侵的系统里任何命令的输出都可能是假的。正确做法是准备一个U盘或者通过网络挂载一个干净的Linux系统比如发行版安装镜像的救援模式。从干净系统里拷贝静态编译的工具busybox是个好选择到被入侵机器上。用这些干净工具重新执行上面的排查命令。# 假设把干净的busybox放到了/tmp/busybox /tmp/busybox ls -la /etc/ /tmp/busybox lsattr /etc/suspicious_file如果干净工具看到的结果和系统自带工具不一致那基本可以确认系统工具被替换了。这时候要做的就不是删文件而是全面取证和重装。下面这张表总结了每一步的检查点和可能的结论步骤命令正常结果异常结果与含义看错误rm -f成功EPERM底层拦截查属性lsattr无i/a有i/a文件属性锁查SELinuxgetenforceEnforcing正常上下文异常策略问题查ACLgetfacl无异常条目有异常ACL锁查内核lsmod/dmesg模块正常可疑模块内核劫持交叉验证干净busybox结果一致不一致工具被替换5. 突破与清理从救援模式到系统重建排查清楚之后就是清理。清理的难度取决于攻击者用了多少层手段。如果只是chattr i那很简单如果涉及内核模块基本就得走救援模式甚至重装。下面按难度从低到高讲。5.1 常规清理属性、ACL、SELinux逐层剥离如果排查发现只是文件属性和SELinux的问题在确认系统工具没被替换的前提下可以这样操作# 1. 去掉immutable属性 chattr -i /etc/suspicious_file # 2. 清除ACL setfacl -b /etc/suspicious_file # 3. 恢复SELinux上下文 restorecon -v /etc/suspicious_file # 4. 删除 rm -f /etc/suspicious_file每一步之后都用lsattr、getfacl、ls -Z确认状态变化。如果某一步失败说明还有更底层的拦截回到上一节的排查流程。清理完文件之后一定要检查关联的持久化点/etc/systemd/system/下的service、/etc/cron.*下的定时任务、/etc/rc.local、/etc/ld.so.preload、/etc/passwd和/etc/shadow里的异常账号。攻击者往往不止放一个文件而是布了一整套持久化机制。5.2 救援模式从外部挂载文件系统如果内核被劫持用户态无法操作就需要重启进入救援模式。以常见的GRUB引导为例重启机器在GRUB菜单出现时按e编辑启动项。在linux那一行末尾加上init/bin/bash或者single进入单用户模式。如果文件系统是只读挂载的先重新挂载为读写mount -o remount,rw /。此时内核模块还没加载或者加载的是最小集可以尝试直接操作文件。mount -o remount,rw / lsattr /etc/suspicious_file chattr -i /etc/suspicious_file rm -f /etc/suspicious_file如果单用户模式下还是删不掉说明恶意模块在initramfs阶段就加载了。这时候需要用发行版的安装镜像启动选择救援模式从外部挂载根文件系统# 假设根分区是/dev/sda2 mkdir /mnt/sysroot mount /dev/sda2 /mnt/sysroot lsattr /mnt/sysroot/etc/suspicious_file chattr -i /mnt/sysroot/etc/suspicious_file rm -f /mnt/sysroot/etc/suspicious_file从外部挂载的好处是被入侵系统的内核完全没有运行恶意模块无从加载文件系统层面的一切操作都是真实的。5.3 内核被污染后的取舍清理还是重装如果确认内核模块被恶意加载且无法通过救援模式彻底清除比如恶意代码写进了initramfs或者内核镜像本身那么最稳妥的选择是重装系统。原因很简单你无法保证清理干净。一个被root权限入侵过的系统理论上任何地方都可能被植入后门包括引导程序、内核、固件。如果业务不允许重装至少要做到备份重要数据注意备份前要确认数据本身没被篡改。从可信来源重新安装内核和关键系统包。重建initramfs。全面审计所有用户账号、SSH密钥、cron任务、systemd服务。更换所有密码和密钥。但说实话这些操作的工作量和风险往往比重装还大。我的经验是生产环境一旦确认被root入侵重装是唯一负责任的选择。5.4 清理后的验证确认没有残留清理完不等于结束必须验证。验证清单如下lsattr -R /etc确认没有异常的i/a属性文件。find /etc -newer /etc/passwd -type f找出最近被修改的文件。systemctl list-units --typeservice检查有没有可疑服务。crontab -l和ls /etc/cron.*检查定时任务。cat /etc/passwd和/etc/shadow检查异常账号。ss -tlnp检查监听端口。cat /etc/ld.so.preload确认没有恶意预加载库。用rpm -Va或dpkg -V校验系统包完整性如果包管理器没被替换。任何一项有异常都要追查到底。攻击者往往留不止一个后门。6. 事后加固让下一次入侵没那么容易清理完、系统恢复之后最重要的事情是加固防止同样的事情再发生。下面这些措施按优先级排列都是实战中验证有效的。6.1 SSH加固从源头堵住爆破SSH是最大的入口加固SSH能挡掉大部分自动化攻击。# /etc/ssh/sshd_config PermitRootLogin no PasswordAuthentication no PubkeyAuthentication yes MaxAuthTries 3 LoginGraceTime 20 AllowUsers your_user关键点禁用密码登录只用密钥。这一条能挡掉99%的爆破。密钥要设置passphrase并且定期轮换。如果必须用密码至少配合fail2ban做频率限制。# fail2ban配置示例 [sshd] enabled true maxretry 3 bantime 3600 findtime 6006.2 文件完整性监控第一时间发现异常被入侵最怕的是不知道。部署文件完整性监控如AIDE、Tripwire定期对关键目录做哈希校验一旦有文件被修改或新增立刻告警。# AIDE初始化 aide --init mv /var/lib/aide/aide.db.new /var/lib/aide/aide.db # 定期检查 aide --check重点监控/etc、/bin、/sbin、/usr/bin、/usr/sbin这些目录。把aide --check加到cron里每天跑一次结果发到你的邮箱或告警平台。6.3 最小权限与审计减少攻击面日常操作不用root用普通账号sudosudo配置里限制可执行的命令。关闭不需要的服务和端口systemctl disable掉用不上的服务。部署auditd记录关键系统调用和文件访问。# auditd规则示例监控/etc下的写操作 auditctl -w /etc -p wa -k etc_write这样任何对/etc的写操作都会被记录包括是谁、什么时候、改了什么。事后追溯非常有用。6.4 备份策略被入侵后的最后一道保险再好的防护也可能被突破所以备份是必须的。但备份要注意几点离线备份备份数据不能和被备份的系统在同一个网络里否则勒索软件会一起加密。定期验证备份不是做了就行要定期恢复验证确保备份可用。保留多版本至少保留最近7天、4周、12个月的备份防止备份本身被污染后无可用版本。我见过太多案例被入侵后想恢复结果发现备份要么是坏的要么也被加密了。备份这件事平时看不出价值出事的时候就是救命稻草。6.5 一个容易被忽略的点/etc/ld.so.preload这个文件正常情况下不应该存在。如果它存在里面列出的so文件会在所有动态链接程序启动时被加载。攻击者常用它来hook系统函数实现隐藏和拦截。ls -la /etc/ld.so.preload # 如果存在查看内容 cat /etc/ld.so.preload发现异常内容直接清空或删除该文件然后重启相关服务。同时检查/etc/ld.so.conf.d/下有没有异常的库路径配置。加固这件事没有一劳永逸。安全是一个持续的过程不是装几个工具就完事。定期审计、及时打补丁、保持警惕才是长久之道。我自己维护的机器每周会花半小时过一遍关键日志和完整性检查结果这个习惯帮我提前发现过好几次异常。