1. 为什么 sed 值得你花时间搞透刚接触 Linux 那会儿我对 sed 的态度就是“能用就行”——替换个字符串、删个空行基本靠搜命令拼凑。直到有一次处理一批日志文件几千行内容需要按规则批量改写用交互式编辑器一个个改根本不现实我才真正意识到sed 不是“可选技能”而是文本处理的基本功。它的全称是 Stream Editor流编辑器核心工作模式是逐行读取输入、按规则处理、输出结果整个过程不需要打开文件、不需要人工干预特别适合批量化、自动化的场景。这篇文章面向的是已经会用 Linux 基本命令、但 sed 还停留在“复制粘贴别人命令”阶段的同学。我会从 sed 的工作模型讲起把地址定址、模式空间、常用命令、正则配合这些核心概念拆开揉碎再配上大量可以直接抄作业的实操案例。看完之后你至少能做到看到一条 sed 命令能读懂它在干什么遇到文本批处理需求能自己写出命令而不是每次都去搜索引擎碰运气。sed 的价值在于它把“编辑”这件事从交互式变成了程序化。你用 vim 改一个文件改完就完了但你用 sed 写一条命令它可以套用到一万个文件上。这种从“手工”到“自动化”的跨越才是 sed 真正值得投入时间的原因。而且 sed 的语法一旦掌握配合 grep、awk、find 这些工具能组合出非常强大的文本处理流水线这在日志分析、配置管理、数据清洗等场景里几乎是刚需。2. sed 的工作模型与核心概念拆解2.1 逐行读取sed 到底是怎么“流”起来的理解 sed 的第一步是搞清楚它的执行模型。sed 处理文件的方式和 vim 完全不同vim 是把整个文件加载到内存里让你交互编辑而 sed 是逐行读取、逐行处理、逐行输出。具体流程是这样的sed 从输入源文件或管道读取一行内容存入一个叫“模式空间”Pattern Space的临时缓冲区然后按照你给的命令对模式空间里的内容进行操作操作完成后默认把模式空间的内容输出到标准输出接着读取下一行重复这个过程直到所有行处理完毕。这个模型解释了很多 sed 的行为特征。比如为什么 sed 默认不会修改原文件因为它只是把处理结果输出到标准输出原文件根本没动。比如为什么 sed 处理大文件时内存占用很低因为它一次只持有一行内容不需要把整个文件加载进来。再比如为什么 sed 的某些命令比如n、N、D看起来行为很“怪”因为它们本质上是在控制这个逐行读取的流程改变模式空间的填充和输出时机。模式空间之外还有一个概念叫“保持空间”Hold Space可以理解为一个辅助缓冲区。模式空间是当前正在处理的那行内容保持空间则像一块草稿纸你可以把模式空间的内容暂存进去也可以从里面取出来。sed 提供了一组命令在两者之间搬运数据h模式空间覆盖到保持空间、H追加到保持空间、g保持空间覆盖到模式空间、G追加到模式空间、x交换两者。这些命令单独看很抽象但在处理需要跨行操作的场景时非常有用后面会结合案例详细讲。2.2 地址定址告诉 sed “对哪些行动手”sed 的命令格式是[地址]命令[参数]地址部分决定了命令作用于哪些行。如果不写地址命令就作用于每一行。地址的写法非常灵活常见的有以下几种行号sed -n 3p file只打印第 3 行。sed -n 2,5p file打印第 2 到第 5 行。行号加步长sed -n 1~3p file从第 1 行开始每隔 3 行打印一次即打印 1、4、7、10……行。这个在按固定间隔抽样时很好用。正则匹配sed -n /error/p file打印所有包含 error 的行。sed -n /^#/p file打印所有以 # 开头的行常用于提取配置文件里的注释行。范围匹配sed -n /start/,/end/p file打印从包含 start 的行到包含 end 的行之间的所有内容含首尾。这个在处理有明确起止标记的文本块时特别方便。混合地址sed -n 5,/end/p file从第 5 行开始到第一个包含 end 的行结束。取反sed -n /error/!p file打印所有不包含 error 的行。感叹号就是取反操作。地址部分还有一个容易踩坑的地方范围匹配是“贪婪”的。比如/start/,/end/会匹配从第一个 start 到第一个 end然后继续找下一个 start 到下一个 end以此类推。如果文件里 start 和 end 的配对关系比较复杂范围匹配的结果可能和你预期的不一样。这时候要么用更精确的正则要么用后面会讲到的保持空间来做状态判断。2.3 常用命令速览p、d、s、a、i、c、ysed 的命令很多但日常用得最频繁的就那么几个。先过一遍后面再逐个展开命令作用典型用法p打印模式空间内容sed -n 3p filed删除模式空间内容不输出sed 3d files替换sed s/old/new/ filea在匹配行后追加文本sed /pattern/a\new line filei在匹配行前插入文本sed /pattern/i\new line filec替换整行sed /pattern/c\replaced line filey字符逐一替换sed y/abc/xyz/ filen读取下一行到模式空间sed n;s/old/new/ fileN追加下一行到模式空间sed N;s/\n/ / fileh/H/g/G/x模式空间与保持空间互操作跨行处理场景这里要特别提醒一个新手最容易困惑的点p命令默认会重复输出。因为 sed 处理完一行后本来就会自动输出一次如果你再加一个p那行就会被打印两次。所以p几乎总是和-n选项搭配使用-n的作用是关闭自动输出这样只有你显式用p的行才会被打印。这个组合sed -n ...p是 sed 最常见的用法之一务必记牢。3. 替换命令 s 的深度解析与实战参数3.1 s 命令的基本结构与替换标志位s是 sed 里使用频率最高的命令没有之一。基本格式是s/正则/替换内容/标志。分隔符默认是斜杠但如果你的正则或替换内容里包含斜杠可以换成其他字符比如s|/usr/local|/opt|或者s#/old#/new#这样就不用反斜杠转义了可读性会好很多。标志位决定了替换的行为方式常用的有四个gglobal默认情况下s只替换每行中第一个匹配项。加上g之后替换该行中所有匹配项。这是最常用的标志很多人写 sed 替换时忘了加g结果发现只替换了一处排查半天才发现是这个原因。pprint打印发生替换的行。通常和-n搭配只输出被替换过的行方便确认哪些行被改动了。iignore case替换时忽略大小写。比如s/error/ERROR/gi会把 error、Error、ERROR 都替换成 ERROR。数字指定替换第几个匹配项。比如s/old/new/2只替换每行中第二个 old。这几个标志可以组合使用比如s/old/new/gi表示全局替换且忽略大小写。但要注意g和数字不能同时用因为g本身就是“所有”的意思和“第 N 个”是矛盾的。3.2 反向引用与分组让替换更灵活正则表达式里的括号()用于分组在 sed 的替换部分可以用\1、\2等反向引用来引用分组匹配到的内容。这个功能在重组文本格式时非常有用。举个实际场景假设你有一批日期格式是2024-01-15想改成15/01/2024。命令可以这样写sed -E s/([0-9]{4})-([0-9]{2})-([0-9]{2})/\3\/\2\/\1/ file这里-E是启用扩展正则表达式这样括号和花括号就不用反斜杠转义了。三个分组分别捕获年、月、日替换部分用\3\/\2\/\1重新排列顺序。注意替换部分里的斜杠需要转义因为斜杠是分隔符。如果觉得转义麻烦可以换分隔符sed -E s|([0-9]{4})-([0-9]{2})-([0-9]{2})|\3/\2/\1| file这样清爽多了。反向引用最多支持\1到\9也就是九个分组。如果分组超过九个就需要用更高级的工具比如 perl 或 awk来处理了。还有一个实用技巧代表整个匹配内容。比如你想给所有数字加上方括号可以写sed s/[0-9]\/[]/g。在这里就代表被匹配到的数字本身。这个在给匹配内容加前后缀时特别方便不用再写一遍正则。3.3 替换命令的常见坑与规避方法坑一特殊字符未转义。替换内容里如果包含、\、分隔符本身都需要特别注意。在替换部分有特殊含义代表整个匹配如果你就是想插入一个普通的符号需要写成\。反斜杠本身要写成\\。这些在批量处理配置文件路径时经常遇到。坑二贪婪匹配导致替换范围过大。正则默认是贪婪的.*会尽可能多地匹配字符。比如s/.*/new/会把从第一个引号到最后一个引号之间的所有内容都替换掉而不是你预期的每一对引号。这时候需要用非贪婪匹配sed 的扩展正则支持.*?但基础正则不支持或者用更精确的字符类[^]*来限制匹配范围。坑三只替换了第一个匹配。前面提过忘了加g是最常见的原因。但还有一种情况如果你的正则里用了^或$锚定那每行自然只有一个匹配位置加不加g效果一样。坑四替换内容里的反斜杠被吞掉。在 shell 里sed 命令本身可能被 shell 先解析一遍反斜杠的层数容易搞混。一个实用的排查方法是先用echo把命令打印出来看看 shell 解析后的结果确认反斜杠数量对不对。实操心得写复杂的 sed 替换命令时先用echo 测试文本 | sed 你的命令在小样本上验证确认无误后再套用到实际文件。这个习惯能帮你省下大量排查时间。4. 删除、插入、追加与多行操作实战4.1 d 命令精准删除行d命令删除模式空间的内容并且不输出。配合地址使用可以精准删除特定行。常见用法删除空行sed /^$/d file删除注释行sed /^#/d file删除行尾空白sed s/[[:space:]]*$// file这个其实是替换不是删除行删除指定范围sed 5,10d file删除第 5 到第 10 行删除匹配行及其后一行sed /pattern/{N;d} file这里用N把下一行也读进来然后一起删掉删除操作在清理数据时特别常用。比如处理 CSV 文件时删除表头、删除空行、删除不符合格式的行都可以用d命令组合完成。4.2 a、i、c插入与替换整行aappend在匹配行之后追加内容iinsert在匹配行之前插入内容cchange用新内容替换整行。这三个命令的语法在 GNU sed 和 BSD sed比如 macOS 自带的里略有差异GNU sed 支持a\后面直接跟文本也支持a text的写法BSD sed 则要求在a\后面换行再写文本。跨平台脚本里要特别注意这个差异。实际案例给配置文件里所有[section]标题行后面加一个空行sed /^\[.*\]$/a\\ config.ini这里a\\表示追加一个空行。注意 GNU sed 里a\后面的内容如果为空就是插入空行。再比如给脚本文件批量添加 shebang 行如果还没有的话sed 1i\#!/bin/bash script.sh1i表示在第一行之前插入。这个在批量生成脚本模板时很好用。c命令用得相对少一些因为它会替换整行。比如把所有包含TODO的行替换成# 待处理sed /TODO/c\# 待处理 file4.3 多行模式N、D、P 的配合使用sed 默认一次处理一行但有些场景需要跨行操作比如把两行合并成一行、处理跨行的 XML 标签等。这时候就需要用到多行模式命令N读取下一行并追加到模式空间两行之间用换行符\n分隔。D删除模式空间中第一个换行符之前的内容然后重新开始循环不读取新行。P打印模式空间中第一个换行符之前的内容。一个经典案例把文件中所有以反斜杠结尾的行和下一行合并sed :a; /\\$/{N; s/\\\n//; ba} file这条命令稍微复杂拆解一下:a定义一个标签 a/\\$/匹配以反斜杠结尾的行N读入下一行s/\\\n//把反斜杠和换行符替换掉即合并两行ba跳回标签 a 继续判断。这样就能把连续多行以反斜杠结尾的内容全部合并成一行。另一个常见需求把段落内的多行合并成一行段落之间用空行分隔。这需要判断空行作为段落边界用保持空间来暂存内容。这类操作已经接近 sed 的能力边界了实际工作中如果遇到复杂的跨行处理我会优先考虑 awk 或 perlsed 更适合行内操作和简单的跨行合并。注意事项多行模式命令容易写出死循环尤其是D和b标签配合时。建议先在测试文件上运行确认行为符合预期后再用于生产数据。另外N在读取到最后一行时如果没有下一行可读GNU sed 会直接退出BSD sed 的行为可能不同跨平台时要留意。5. 保持空间与高级技巧5.1 h/H/g/G/x模式空间与保持空间的搬运保持空间是 sed 里最容易被忽视但也最强大的特性。它本质上是一块额外的缓冲区初始为空。你可以把当前行暂存进去处理完其他行后再取出来。五个命令的作用如下h把模式空间内容覆盖到保持空间H把模式空间内容追加到保持空间带换行符g把保持空间内容覆盖到模式空间G把保持空间内容追加到模式空间带换行符x交换模式空间和保持空间的内容一个经典应用倒序输出文件。思路是逐行读取每读一行就把它追加到保持空间的前面最后统一输出。命令如下sed -n 1!G; h; $p file拆解1!G表示除了第一行之外都把保持空间内容追加到模式空间后面h把当前模式空间覆盖到保持空间$p在最后一行时打印。这样每处理一行保持空间里就多一行且新行在前最终实现倒序。另一个实用场景给文件每行加行号。虽然nl命令或cat -n更简单但用 sed 实现能帮你理解保持空间的用法sed file | sed N;s/\n/\t/这里第一个 sed 的命令输出行号单独一行第二个 sed 用N把行号和内容合并到一行再把换行符替换成制表符。5.2 分支与循环b、t、T 命令sed 提供了一套简单的流程控制命令让脚本可以根据条件跳转b label无条件跳转到标签t label如果自上次读取新行以来有成功的替换则跳转到标签T label与t相反如果没有成功的替换则跳转这些命令配合使用可以实现循环逻辑。比如前面提到的合并反斜杠结尾行的例子就用了b做循环。再比如把每行中的多个连续空格压缩成一个sed s/ */ /g file这个用g就够了不需要循环。但如果要处理更复杂的重复模式比如把连续多个空行压缩成一个空行就需要用循环sed /^$/{N;/^\n$/D} file这条命令的逻辑是遇到空行时用N读入下一行如果下一行也是空行模式空间变成\n用D删除第一个换行符之前的内容即删掉第一个空行然后重新开始循环。这样连续空行就会被逐个“吃掉”只留下一个。5.3 实战用 sed 处理结构化文本假设有一个配置文件格式如下需要把所有key value形式的行提取出来并转换成key:value的格式# 配置示例 name server1 port 8080 # 注释行 timeout 30命令可以这样写sed -n s/^\([a-zA-Z_][a-zA-Z0-9_]*\) * *\(.*\)/\1:\2/p config.txt拆解-n关闭自动输出s命令用分组捕获键和值^\([a-zA-Z_][a-zA-Z0-9_]*\)匹配合法的变量名* *匹配等号及两侧空格\(.*\)捕获值替换部分用\1:\2重组最后的p只打印发生替换的行这样注释行和空行自然就被过滤掉了。这个模式在处理各种 key-value 格式的配置文件时非常通用稍作修改就能适配不同的分隔符和格式要求。6. 常见问题排查与避坑速查6.1 替换不生效先检查这几个地方sed 替换不生效是新手最常遇到的问题排查顺序建议如下有没有加g默认只替换第一个匹配如果一行里有多个匹配项后面的不会变。正则写对了吗特殊字符.、*、[、]、\在正则里有特殊含义如果是要匹配字面量需要转义。比如匹配 IP 地址里的点要写成\.。大小写匹配吗正则默认区分大小写需要忽略大小写时加i标志。地址范围对吗如果加了地址限制确认地址是否匹配到了你预期的行。可以先用sed -n /pattern/p确认匹配情况。是不是用了-i但没生效-i是原地修改文件GNU sed 和 BSD sed 的-i参数格式不同。GNU sed 用-i或-i.bakBSD sed 必须跟一个参数比如-i 或-i .bak。6.2 原地修改文件的安全姿势-i选项让 sed 直接修改原文件用起来很方便但风险也大。一旦命令写错原文件可能被改得面目全非。我的建议是先不加-i运行一遍确认输出符合预期。加-i.bak保留备份这样即使改错了还能从.bak文件恢复。对重要文件先手动备份不要完全依赖 sed 的备份机制。批量处理多个文件时先用find或ls确认文件列表避免误伤。# 安全做法先预览 sed s/old/new/g file.txt # 确认无误后原地修改保留备份 sed -i.bak s/old/new/g file.txt6.3 性能优化处理大文件时的注意事项sed 本身性能很好但不当用法也会拖慢速度。几个优化建议尽量用地址缩小处理范围不要对每一行都跑复杂正则。避免在循环里反复调用 sed能一条命令搞定就不要拆成多条。大文件优先用LC_ALLC这会让 sed 用字节模式而非字符模式处理速度通常快不少尤其是在处理纯 ASCII 文本时。复杂的跨行处理考虑换 awk 或 perlsed 的优势在于行内操作和简单流程控制超出这个范围后强行用 sed 反而事倍功半。常见问题速查表问题现象可能原因解决方法只替换了第一个匹配缺少g标志加上g替换后文件没变化没用-i或输出到了终端加-i或重定向输出正则不匹配特殊字符未转义检查并转义.*[等-i报错BSD/GNU 语法差异BSD 用-i GNU 用-i多行命令死循环b标签跳转条件有误检查循环退出条件替换内容里的异常有特殊含义写成\7. 我的 sed 使用习惯与最后几条建议用了这么多年 sed我最大的体会是不要试图记住所有命令但要理解它的工作模型。模式空间、保持空间、地址定址、逐行处理这四个概念搞清楚了遇到具体需求时你就能推理出该用什么命令而不是靠死记硬背。我到现在也会偶尔查手册确认某个命令的细节但这不影响我高效使用 sed因为底层模型是清晰的。另一个习惯是任何 sed 命令先在echo上测试。echo 样本内容 | sed 命令这个模式几乎成了肌肉记忆。它能在不碰任何文件的情况下验证命令的正确性成本极低收益极高。尤其是涉及-i的原地修改我一定会先用 echo 验证再在副本上测试最后才动原文件。最后分享一个组合技巧sed 和 grep、xargs 配合能实现很多批量操作。比如批量修改当前目录下所有.conf文件里的某个配置项grep -rl old_value --include*.conf . | xargs sed -i.bak s/old_value/new_value/g先用 grep 找出包含目标内容的文件再用 xargs 把文件列表传给 sed 批量处理。这个模式在运维和配置管理中非常实用比写循环脚本简洁得多。唯一要注意的是文件名里如果有空格或特殊字符xargs 可能会出问题这时候用-print0和xargs -0来配合处理。