1. 为什么运维老手都绕不开 awk干运维这行十来年如果让我只保留一个文本处理工具我会毫不犹豫选awk。不是sed不够强也不是grep不够快而是awk把“按行读取、按列切分、条件过滤、统计汇总、格式化输出”这一整套动作揉进了一个命令里写起来还特别顺手。你随便抓一个干了五年以上的运维问他日志分析怎么做十有八九第一反应就是awk {print $9} access.log | sort | uniq -c | sort -rn | head。这条命令几乎成了行业暗号。awk到底是什么简单说它是一门专门为文本处理设计的编程语言同时也是一个命令行工具。它的工作模式非常固定逐行读取输入把每一行按照分隔符拆成若干字段然后你可以对这些字段做判断、计算、拼接、输出。它最擅长的场景就是处理结构化文本——日志、CSV、配置文件、命令输出这些在运维日常里遍地都是。不管你是刚入行的新手还是写了上千行 Shell 脚本的老手把awk吃透效率至少翻一倍。这篇文章我打算按实际干活的思路来写不讲教科书式的语法大全而是把awk拆成几个核心模块它怎么读数据、怎么切字段、怎么做判断和循环、怎么做统计汇总、怎么和 Shell 配合。每个模块我都会给出真实场景下的命令和参数解释包括我踩过的坑和总结出来的技巧。看完你至少能做到拿到一份日志五分钟内用awk把想要的统计结果跑出来不用再写一堆grep加cut拼来拼去。2. awk 的核心工作模型拆解2.1 记录、字段与分隔符awk 眼里的世界awk处理文本的方式和人类读表格很像。它把输入文件看成一条一条的“记录”默认一条记录就是一行。每条记录又被拆成若干个“字段”默认用空白字符空格或 Tab作为分隔符。字段用$1、$2、$3这样的变量来引用$0代表整行内容NF代表当前行的字段总数NR代表当前处理到第几行。这个模型听起来简单但它是awk一切能力的根基。举个例子假设有一份 Nginx 访问日志每行大概长这样10.0.0.1 - - [12/Mar/2025:10:23:45 0800] GET /api/user/list HTTP/1.1 200 3421默认按空格切分的话$1是客户端地址$4是时间戳$7是请求路径$9是状态码$10是响应字节数。你可以直接awk {print $9} access.log把状态码列出来。但这里有个坑如果日志格式里某些字段本身包含空格比如请求行里的GET /api/user/list HTTP/1.1默认切分就会把它拆成三段导致后面的字段编号全部偏移。这时候就需要用-F指定分隔符或者用FS变量在脚本里设置。我个人的习惯是处理日志时先head -1看一眼格式数清楚目标字段在第几列再决定用默认分隔还是指定分隔。如果字段里可能包含空格优先考虑用正则或者固定字符串作为分隔符。比如处理 CSV 文件时awk -F, {print $3}是最常见的写法但如果某个字段值本身带逗号那就得换更复杂的解析方式或者干脆用csvtool之类的专用工具。awk不是万能的知道它的边界在哪比硬用它解决所有问题更重要。2.2 模式与动作awk 脚本的基本骨架awk脚本的结构可以概括为pattern { action }。pattern是匹配条件action是匹配成功后执行的操作。两者都可以省略省略pattern表示对每一行都执行动作省略action表示默认打印整行。这个设计让awk既能写一行命令也能写完整的脚本。常见的模式类型有几种。第一种是正则匹配比如/ERROR/ {print $0}表示只处理包含 ERROR 的行。第二种是表达式判断比如$9 200 {count}表示状态码为 200 时计数加一。第三种是范围模式比如NR 10 NR 20表示只处理第 10 到 20 行。还有一种特殊模式叫BEGIN和END分别在处理开始前和处理结束后执行一次常用来初始化变量和输出最终统计结果。我见过很多新手写awk时把所有逻辑都塞进一个动作块里结果脚本又长又难维护。更好的做法是根据业务逻辑拆成多个pattern { action }块每个块只负责一件事。比如统计日志里不同状态码的数量可以这样写awk { status[$9] } END { for (code in status) { printf %s %d\n, code, status[code] } } access.log | sort -k2 -rn这段脚本里第一个块负责累加计数END块负责输出结果。逻辑清晰改起来也方便。如果哪天需要增加一个“只统计某个时间段”的条件只需要在第一个块前面加一个模式判断就行不用动后面的输出逻辑。2.3 内置变量让脚本更简洁的关键awk提供了一批内置变量熟练使用它们能省掉大量手写代码。最常用的几个包括FS输入字段分隔符OFS输出字段分隔符RS输入记录分隔符ORS输出记录分隔符NF当前行字段数NR当前行号FNR当前文件的行号FILENAME当前文件名。这里重点说几个实战中特别有用的。NF可以用来取最后一个字段写法是$NF。比如日志里最后一个字段是响应时间你可以直接awk {print $NF}把它拿出来不用去数到底是第几列。NR和FNR的区别在于处理多个文件时NR是全局行号FNR是当前文件内的行号。如果你要合并多个文件并保留每个文件的行号信息用FNR更合适。还有一个容易被忽略的技巧修改OFS可以控制输出格式。默认情况下print $1, $2会用空格连接两个字段。如果你想要逗号分隔可以在BEGIN块里设置OFS,这样输出就自动变成 CSV 格式了。这个技巧在生成报表时特别省事不用手动拼字符串。注意FS和OFS虽然名字像但作用完全不同。FS管输入怎么切OFS管输出怎么拼。新手经常搞混写出来的脚本输出格式不对排查半天才发现是变量设错了。3. 高频实战场景与命令拆解3.1 日志统计从原始日志到可用报表日志分析是awk最主流的应用场景。假设你手上有一份应用日志每行格式如下2025-03-12 10:23:45 INFO user-service [trace-idabc123] Request completed in 235ms现在需要统计每个日志级别出现的次数以及每个服务的平均响应时间。这两个需求用awk都能轻松搞定。统计日志级别很简单awk {level[$3]} END {for (l in level) print l, level[l]} app.log这里$3是日志级别字段level是一个关联数组用级别作为键出现次数作为值。END块遍历数组输出结果。如果想让输出按次数从多到少排序管道接一个sort -k2 -rn就行。统计平均响应时间稍微复杂一点因为响应时间嵌在最后一个字段里格式是235ms。需要先把数字提取出来awk { match($NF, /[0-9]/) time substr($NF, RSTART, RLENGTH) sum[$4] time count[$4] } END { for (svc in sum) { printf %s avg%.2fms\n, svc, sum[svc]/count[svc] } } app.log这里用了match函数和RSTART、RLENGTH两个内置变量来提取数字。match会在字符串中查找正则匹配的位置找到后RSTART是起始位置RLENGTH是匹配长度配合substr就能把数字抠出来。这个技巧在处理非结构化字段时特别有用比用split或者gsub更直观。实测下来一份百万行的日志用awk做这种统计大概两三秒就能跑完比写 Python 脚本快得多而且不用起解释器直接在终端里就能出结果。这也是为什么很多运维在紧急排查时首选awk——快、轻、不用写文件。3.2 字段提取与格式转换cut 和 sed 的替代方案很多人习惯用cut提取列用sed做替换但awk在这两件事上其实更灵活。cut的局限在于它只能按固定分隔符切分而且不支持条件判断。awk则可以在提取的同时做过滤、计算和格式化。比如从/etc/passwd里提取所有 UID 大于等于 1000 的用户名和家目录awk -F: $3 1000 {print $1, $6} /etc/passwd这条命令用冒号作为分隔符判断第三个字段UID是否大于等于 1000然后输出第一个和第六个字段。如果用cut加grep来实现得写好几条命令拼起来而且 UID 的数值比较用grep做起来很别扭。再比如把一份 CSV 文件转换成 JSON 格式。假设 CSV 有三列id、name、score第一行是表头。可以这样写awk -F, NR1 {next} { printf {\id\:%s,\name\:\%s\,\score\:%s}\n, $1, $2, $3 } data.csvNR1 {next}表示跳过第一行表头。printf用来控制输出格式%s是字符串占位符%d是整数占位符。这里全部用了%s因为 CSV 里的数字可能带引号或者空格统一按字符串处理更安全。如果确定 score 是纯数字可以改成%d。提示用awk生成 JSON 时要注意转义问题。如果字段值里本身包含双引号直接拼进去会导致 JSON 格式错误。稳妥的做法是先对字段做gsub(//, \\\)转义再输出。这个坑我在一次数据导出任务里踩过生成的 JSON 被下游系统拒绝排查了半天才发现是某个用户昵称里带了引号。3.3 多文件处理与数据合并运维批量操作的利器运维经常需要同时处理多个文件比如合并多台机器的统计结果、对比不同时间段的日志差异。awk对多文件的支持很自然它按顺序读取每个文件NR持续累加FNR在每个文件开始时重置FILENAME记录当前文件名。假设有三台服务器导出的连接数统计文件格式都是IP 连接数现在要合并成一张总表并且标记每条记录来自哪个文件awk {print FILENAME, $0} server1.txt server2.txt server3.txt如果要在合并的同时做汇总比如统计所有文件中每个 IP 的总连接数awk { sum[$1] $2 } END { for (ip in sum) { print ip, sum[ip] } } server1.txt server2.txt server3.txt | sort -k2 -rn这个模式在运维里非常常见。比如你有多个应用实例的日志想统计所有实例加起来的总请求量就可以用这种方式一次性处理不用先cat再awk。直接传多个文件名给awk它自己会按顺序读效率更高也不会因为文件太大导致cat占用额外内存。还有一个实用技巧用awk做两个文件的 join 操作。假设file1是用户 ID 和用户名的映射file2是用户 ID 和订单金额现在要输出用户名和对应的订单金额awk NRFNR {name[$1]$2; next} {print name[$1], $2} file1 file2这里NRFNR是一个经典写法用来判断当前是否在处理第一个文件。处理第一个文件时把 ID 和名字存进数组处理第二个文件时直接用 ID 从数组里取名字。这个技巧在处理关联数据时特别高效比写 Python 脚本快得多而且不需要额外安装任何依赖。4. 进阶技巧与性能优化4.1 数组与关联数组awk 的数据结构核心awk只有一种数据结构关联数组。它本质上是一个键值对集合键可以是字符串或数字值可以是任意类型。这个设计看起来简单但用好了能解决很多复杂问题。最常见的用法是计数和分组。比如统计每个 IP 的请求次数、每个 URL 的访问量、每个状态码的分布都是array[$key]这个模式。但关联数组的能力不止于此它还可以用来做去重、求交集、求差集。去重很简单awk !seen[$0] file.txt这行命令会输出文件中的所有唯一行。原理是seen[$0]初始为 0!0为真所以第一次遇到某行时打印之后seen[$0]变成 1!1为假就不再打印。这个写法比sort -u更快而且保持原始顺序。求两个文件的交集awk NRFNR {a[$0]; next} $0 in a file1 file2求差集在 file1 中但不在 file2 中awk NRFNR {a[$0]; next} !($0 in a) file1 file2这些操作在运维排查中很实用。比如对比两台机器的进程列表找出只在其中一台运行的进程或者对比两个时间段的日志找出新增的错误类型。注意awk的关联数组在数据量很大时会占用较多内存。如果处理的是千万级以上的唯一键建议先考虑是否能用sort加uniq替代或者分批次处理。我处理过一份两千万行的日志用awk做全局去重时内存直接飙到几个 G后来改成先sort再uniq内存占用降了一个数量级。4.2 流程控制与函数让脚本更灵活awk支持常见的流程控制语句if-else、while、for、do-while、break、continue。这些和 C 语言基本一致有编程基础的人上手很快。但awk的for循环有两种形式一种是 C 风格的for (i0; in; i)另一种是专门用来遍历数组的for (key in array)。后者在统计场景里用得最多。awk还支持自定义函数定义方式如下function max(a, b) { return a b ? a : b }自定义函数可以放在脚本的任何位置通常放在BEGIN块之前。函数内部可以使用全局变量也可以使用参数。需要注意的是awk的函数参数是按值传递的但数组是按引用传递的。这个细节在写复杂脚本时很重要不小心修改了传入的数组可能会影响调用方的数据。我个人的经验是如果一段逻辑在脚本里出现了两次以上就把它抽成函数。比如格式化时间戳、计算百分比、生成固定格式的输出行这些都很适合封装成函数。这样脚本的可读性和可维护性都会好很多下次改需求时也不用满篇找重复代码。4.3 性能优化让 awk 跑得更快awk本身已经很快了但在处理大文件时一些细节会显著影响性能。以下是我实测总结出来的几条经验。第一尽量减少不必要的字段切分。awk默认会在读取每一行时自动切分所有字段即使你只用到了$1。如果只需要整行内容可以用$0但切分动作仍然会发生。要避免切分可以在BEGIN块里设置FS为一个不会出现的字符或者直接用getline读取。不过大多数场景下切分的开销可以忽略不用过度优化。第二用printf代替print。printf不添加额外的换行符和空格输出更可控速度也略快。特别是在循环里输出大量数据时printf的优势更明显。第三避免在循环里做重复计算。比如for (i1; iNF; i)这种写法NF在每次循环时都会重新求值。更好的做法是先把NF存到一个变量里n NF; for (i1; in; i)。虽然awk对NF的求值做了优化但在字段数很多时这个习惯仍然能省下一些时间。第四合理使用next。next会跳过当前行剩余的所有模式匹配直接进入下一行。如果你有多个模式块而某个块已经处理完了当前行用next可以避免后续不必要的判断。这个技巧在写复杂脚本时特别有用能显著减少无效计算。第五考虑用mawk替代gawk。mawk是一个更轻量、更快的awk实现在大多数 Linux 发行版上都能直接安装。它的语法兼容性很好性能通常比gawk快一倍以上。如果你的脚本没有用到gawk特有的扩展功能换成mawk是个不错的选择。5. 常见问题与排查技巧实录5.1 字段切分不对先检查分隔符新手用awk最常遇到的问题就是字段切分不符合预期。明明想取第三列结果取出来的是第二列的一部分。这种情况九成以上是分隔符没设对。排查步骤很简单先用head -1看一行数据确认字段之间到底是用什么分隔的。是空格、Tab、逗号、冒号还是多个空格混用如果是多个空格默认的FS就能处理因为awk会把连续的空白字符当作一个分隔符。但如果字段之间是用|或者\t分隔的就必须用-F指定。还有一个隐蔽的坑Windows 格式的文本文件行尾有\r\n而 Linux 下awk默认只认\n作为行分隔符。这会导致最后一个字段末尾多出一个\r影响字符串比较和输出。解决办法是在BEGIN块里设置RS\r\n或者先用dos2unix转换文件格式。我处理过一批从 Windows 服务器导出的日志就是因为这个问题状态码比较一直失败排查了半个小时才发现是行尾字符在作怪。5.2 变量作用域与初始化BEGIN 块的重要性awk的变量默认是全局的而且不需要声明就能使用。这带来便利的同时也容易引发问题。比如你在一个脚本里用了count变量但忘记在BEGIN块里初始化为 0那么第一次使用count时awk会自动把它当作 0 处理结果是对的。但如果你用的是count count $2而count之前没被赋值就会得到一个空值参与运算结果可能不符合预期。更稳妥的做法是在BEGIN块里显式初始化所有累加变量和标志变量。这样不仅避免了隐式初始化的不确定性也让脚本的意图更清晰。比如BEGIN { total 0 error_count 0 FS , }另外awk的变量名是区分大小写的。count和Count是两个不同的变量。这个细节在写长脚本时容易忽略导致变量名拼写错误却没有任何报错只是结果不对。我的习惯是统一用小写加下划线的命名风格比如error_count、total_bytes这样一眼就能看出变量的用途也不容易拼错。5.3 数值比较与字符串比较类型转换的陷阱awk在比较两个值时会根据上下文自动判断是数值比较还是字符串比较。如果两个值看起来都像数字就按数值比较否则按字符串比较。这个规则大多数时候没问题但在某些边界情况下会出意外。比如比较版本号1.10和1.9。如果直接写$1 $2awk会把它们当作字符串比较因为1.10不是合法的数字格式有两个小数点。字符串比较的结果是1.10小于1.9因为字符1小于9。这显然不符合版本号的语义。正确的做法是把版本号拆成多段分别比较或者用split函数把每段转成数字再比较。再比如比较 IP 地址。10.0.0.1和9.0.0.1直接字符串比较的话10开头的会排在9开头的前面因为字符1小于9。要正确比较 IP 地址需要把每段拆出来转成数字或者用专门的 IP 比较函数。提示在awk里做数值比较时可以用0强制转换。比如$10 $20会强制把两个值转成数字再比较。这个技巧在处理可能带单位的数值时特别有用比如235ms和1.2s先用gsub去掉单位再用0转成数字就能正确比较了。5.4 输出格式控制printf 与 print 的选择print和printf是awk的两个输出语句。print简单直接自动用OFS连接多个参数并在末尾添加ORS。printf则完全由你控制格式不自动添加任何分隔符或换行符。大多数场景下print就够用了。但如果你需要对齐输出、控制小数位数、或者生成特定格式的文本比如 JSON、CSV、HTML就必须用printf。printf的格式字符串和 C 语言基本一致常用的占位符有%s字符串、%d整数、%f浮点数、%x十六进制。还可以指定宽度和精度比如%10s表示右对齐占 10 个字符宽度%.2f表示保留两位小数。我见过一个常见的错误用printf时忘记加\n导致所有输出挤在一行。printf不会自动换行必须手动在格式字符串末尾加\n。这个坑几乎每个新手都会踩一次记住就好。另一个技巧是用printf生成表格。比如awk BEGIN {printf %-20s %-10s %s\n, SERVICE, STATUS, COUNT} { printf %-20s %-10s %d\n, $1, $2, $3 } data.txt%-20s表示左对齐占 20 个字符宽度%-10s同理。这样输出的表格列对齐看起来非常舒服。如果不用printf用print加column -t也能实现类似效果但printf更直接不依赖外部命令。6. 与其他工具的组合拳6.1 awk 与 grep、sed 的分工协作grep、sed、awk被称为 Linux 文本处理三剑客它们各有侧重。grep擅长快速过滤行sed擅长做替换和删除awk擅长做字段处理和统计。实际工作中三者经常组合使用发挥各自的优势。一个典型的组合场景是先用grep过滤出关键行再用awk提取字段并统计。比如分析 Nginx 日志中所有 5xx 错误的分布grep 5[0-9][0-9] access.log | awk {status[$9]; url[$7]} END { for (s in status) print STATUS, s, status[s] for (u in url) print URL, u, url[u] }这里grep负责快速筛选出包含 5xx 状态码的行awk负责统计状态码和 URL 的分布。分工明确效率也高。如果全部用awk来做当然也可以但grep在纯过滤场景下速度更快代码也更简洁。另一个常见组合是用sed做预处理再用awk做分析。比如日志里的时间戳格式不统一先用sed统一格式再用awk按时间分组统计。这种流水线式的处理方式在运维脚本里非常常见每个工具只做自己最擅长的事组合起来威力很大。6.2 awk 与 sort、uniq、head 的管道配合awk的输出经常需要排序和去重这时候sort、uniq、head就派上用场了。最经典的组合是“统计 Top N”awk {print $1} access.log | sort | uniq -c | sort -rn | head -10这条命令统计访问量最高的前 10 个 IP。流程是awk提取第一列sort排序uniq -c去重并计数sort -rn按次数从多到少排序head -10取前 10 条。每一步都简单直接组合起来却非常强大。不过这里有个性能细节sort | uniq -c这个组合其实可以用awk的关联数组替代而且通常更快。比如awk {count[$1]} END {for (ip in count) print count[ip], ip} access.log | sort -rn | head -10两种写法结果一样但后者少了一次完整的排序操作。在数据量很大时这个差异会很明显。我的习惯是如果只是简单的计数直接用awk数组如果需要按多个维度排序或者做更复杂的去重逻辑再用sort | uniq。6.3 awk 在 Shell 脚本中的嵌入技巧awk经常被嵌入到 Shell 脚本里使用这时候有几个细节需要注意。首先是引号问题awk脚本通常用单引号包裹如果脚本里需要用到 Shell 变量就得用双引号或者把变量作为awk的参数传入。推荐的做法是用-v选项传变量threshold100 awk -v t$threshold $3 t {print $0} data.txt这样t在awk脚本里就是一个普通变量可以直接使用。比用双引号包裹脚本再转义内部引号要清晰得多也不容易出错。另一个技巧是把awk脚本写成单独的文件用-f选项加载awk -f analyze.awk access.log这样脚本可以独立维护和测试也方便在多个 Shell 脚本里复用。对于超过十行的awk脚本我都建议写成独立文件可读性和可维护性会好很多。注意在 Shell 脚本里嵌入awk时要注意$符号的转义。awk里的$1、$2在双引号包裹的 Shell 字符串里会被 Shell 先解析。用单引号包裹awk脚本可以避免这个问题但如果脚本里需要 Shell 变量就得用-v传参或者用$var这种拼接方式。我个人的经验是能用-v就用-v实在不行再考虑拼接这样最不容易出错。7. 我踩过的坑与总结的经验7.1 那些年我写错的 awk 命令刚学awk那会儿我犯过不少低级错误。有一次想统计日志里每个 URL 的访问次数写了这么一条命令awk {url[$7]} END {print url} access.log结果输出了一堆乱七八糟的东西完全不是想要的计数结果。后来才明白print url打印的是整个数组而不是数组的内容。正确写法应该是for (u in url) print u, url[u]。这个错误看似简单但在刚接触awk数组时很容易犯。还有一次我想过滤出响应时间超过 1 秒的请求写了$NF 1000。结果发现有些明明很快的请求也被算进去了。排查后发现$NF的值是235ms这种带单位的字符串awk在做比较时把它当成了字符串而字符串比较的规则和数值比较完全不同。正确的做法是先用gsub去掉ms再用0转成数字gsub(/ms/, , $NF); if ($NF0 1000) print。这些坑踩过一次就记住了但每次看到新手在群里问类似的问题我都会想起自己当初的狼狈。awk的语法确实有一些反直觉的地方但正是这些细节决定了你写出来的命令是能用还是好用。7.2 从能用 to 好用我的 awk 习惯用了这么多年awk我逐渐形成了一些固定的习惯。这些习惯让我的命令更简洁、更可靠也更容易被别人看懂。第一个习惯是先看数据再写命令。拿到一个文件先head -3看格式确认字段分隔符和字段含义再动手写awk。这个习惯帮我避免了大量“字段取错”的问题。第二个习惯是复杂脚本先写BEGIN块。把所有变量初始化、分隔符设置、表头输出都放在BEGIN里主体逻辑只负责处理数据END块只负责输出汇总。这样脚本结构清晰调试也方便。第三个习惯是用printf控制输出格式。特别是需要生成报表或者给下游系统消费的数据printf能保证格式稳定不会因为字段里多了空格就导致解析失败。第四个习惯是性能敏感场景优先用mawk。如果服务器上装了mawk我会在脚本里显式指定用mawk执行。实测下来同样的脚本mawk比gawk快不少特别是在处理大文件时差异明显。7.3 给新手的三个建议如果你刚开始学awk我有三个建议。第一不要试图一次学会所有语法。先把$1、$NF、NR、NF这几个最常用的变量用熟再逐步学习数组和函数。大多数日常任务用不到太复杂的语法。第二多读别人的awk命令。网上有很多经典的awk一行命令比如统计访问量、提取特定字段、格式化输出。把这些命令拆开看理解每一部分的含义比从头写脚本学得快。第三遇到问题先查手册。man awk或者info awk里有完整的语法说明和示例。虽然手册看起来枯燥但它是最权威的参考资料。我到现在还会偶尔翻手册每次都能发现一些之前没注意到的细节。awk这门工具入门容易精通难。但只要你愿意花时间练习它回报给你的效率提升是巨大的。我见过太多运维因为不会awk每次分析日志都要写一堆grep加cut加sort的管道又长又容易出错。学会awk之后很多任务一条命令就能搞定省下来的时间可以用来做更有价值的事。