简介这是一份面向Linux/Unix开发与运维人员的awk学习手册帮助读者从零掌握awk的核心语法、数据行与字段处理机制以及通过管道与Shell协同解决实际文本处理问题的方法。内容从基础概念讲起结合由浅入深的典型范例展开适合已了解Unix基本操作及C语言基础语法的读者快速上手。资源为单个PDF文件大小约593KB便于随时查阅目前已有一千余人学习使用。手册重点覆盖awk常见解题模式、关系表达式与正则匹配、内建变量及常用函数等关键内容并附有指令与函数说明可供日常编写脚本时参考检索。通过实例带动学习的方式能帮助读者在实际操作中理解awk简洁高效的特点进而利用它快速编写数据处理小工具提升在Unix环境下的文本分析效率。1. awk是个什么工具一份从入门到精通资料解决的真实痛点awk入门到精通.pdf这个标题乍看只是一份命令行的学习文档但它背后对应的问题非常具体你正在面对一堆日志、配置或导出的表格想在不打开 Python 的情况下快速完成统计、清洗和格式转换。绝大多数人收集了这类资料之后却停在打印第一列的那个示例上等到线上真的要求按小时统计接口耗时分布时又绕回老办法用 grep、cut、sort 拼一条又长又脆弱的命令。这份资料想填补的恰恰是“会打印第一列”和“能独立完成一次数据处理任务”之间的断层。awk 不是只能做print $1的小工具它是一门完整的文本处理语言有变量、有数组、有流程控制也有自定义函数。适合谁所有每天要碰日志、配置、数据文件的开发者和运维人员。读完这条路线你能得到的不是背下一堆命令而是看到文本时能直接判断“这个活儿让 awk 上”。2. awk入门必会的三板斧字段、模式与内置变量怎么一次搞懂2.1 AWK处理文本的基本模型记录与字段的拆分逻辑awk 处理文本时的核心模型很简单把输入文件按“记录”和“字段”两层切开。默认情况下一条记录就是一行记录之间的分隔符叫 RS默认是换行符一行里的内容再按“空白”切成若干字段字段分隔符叫 FS默认是连续的空格或制表符。字段从$1开始编号$0表示整条记录NF表示当前记录的字段数NR表示当前是第几条记录。想观察默认拆分行为最直接的办法是打印这几个内置变量awk { print NR NR, NF NF, 整行 $0 } demo.log这段命令对 demo.log 的每一行都输出三个信息NR 告诉你是第几行NF 告诉你这一行被切成了几段$0 把原始整行原样打出来。运行一次就能快速确认文件的“长相”是排错的第一步。字段分隔符不是只能吃默认值。遇到冒号、逗号或竖线分隔的文件时用-F指定即可# 读一个冒号分隔的配置文件打印第一段和最后一段 awk -F: { print $1, $NF } config.ini$NF是“最后一个字段”的惯用写法不用自己去数字段总数。这里要特别说明-F:与-F :等价后面跟的是字符不是正则想用正则做分隔符时比如按一个或多个冒号分割要写成-F :。很多新手在这里把单引号丢掉结果 shell 先把变量展开了awk 拿到的根本不是预期内容。2.2 pattern { action }模式匹配决定处理哪些行awk 的程序体由“模式”和“动作”构成一般形式是pattern { action }。读入一条记录后先判断 pattern 是否成立成立才执行后面的 action。如果省略 action默认动作就是打印整行如果省略 pattern则每一行都执行 action。模式可以是条件表达式、正则表达式也可以是范围模式。最常见的场景是只处理符合条件的行# 第三个字段在 500 到 2000 之间时打印第一个和第三个字段 awk $3 500 $3 2000 { print $1, $3 } data.txt$3 500 $3 2000就是模式它按字段值做比较{ print $1, $3 }是动作。注意这里的比较是“字符串比较”还是“数字比较”有讲究后面避坑章节会专门讲这里先记住字段从文件里读进来时是文本。正则模式更常用。比如只需统计日志中有多少行包含 ERROR# 匹配包含 ERROR 的行计数变量累加最后在 END 里输出 awk /ERROR/ { count } END { print count } app.log/ERROR/是正则模式count是动作END { print count }表示所有记录处理完后执行。范围和正则还能组合出范围模式awk /START/,/END/ { print }会从匹配 START 的行开始打印一直到匹配 END 的行结束。这个写法在处理多行日志块时比 grep 舒服得多。2.3 从这里开始能干活print、printf与内置函数的组合用法print适合快速输出字段之间默认用空格连接printf适合需要精确控制格式的场景用法和 C 语言的 printf 一致。数据里有小数点、要对齐列、要补零时print 就撑不住了。我一般这样组合内置函数做第一版脚本# 跳过长度小于2的空行截取第二字段前8位用 printf 对齐输出 awk { if (length($0) 2) next; printf %s|%s|%d\n, $1, substr($2, 1, 8), NF } demo.lognext表示跳过当前记录、直接处理下一行这里用于过滤空行和无意义的短行length($0)返回整行字符数substr($2, 1, 8)从第二个字段的第 1 个字符开始截 8 个字符处理固定宽度的日期时间戳很顺手printf %s|%s|%d则依次对应字符串、字符串、整数三个参数。内置函数不止这三个gsub做全局替换、tolower转小写、split按分隔符切到数组都是高频工具。入门阶段不用全背先记住三类字符串类length/substr/gsub、数值类int/sqrt、输入输出类printf/sprintf。用的时候查资料比硬背高效得多但要知道有这些能力存在避免遇到需求时只想到 print。3. awk的数据处理进阶关联数组与控制结构在真实场景里的位置3.1 关联数组做分组统计一条命令代替一摞脚本awk 的数组是关联数组下标不一定是数字可以是任意字符串。这让“按某个字段分组统计”变成了一种近乎原生的操作也是 awk 在日志分析里最不可替代的地方。比如统计 access.log 中各来源 IP 的出现次数# 以第一个字段 IP 为下标每出现一次就自增最后输出统计结果 awk { count[$1] } END { for (ip in count) print ip, count[ip] } access.log | sort -k2 -nr | head -10count[$1]是核心动作第一次遇到某个 IP 时该元素自动按 0 处理加 1 变成 1之后每次遇到再累加。for (ip in count)遍历所有下标顺序不保证所以把结果交给sort -k2 -nr按第二列数值倒序排再用head -10取前十条。关联数组不需要预先声明也不用担心下标不存在这是它方便的地方。关联数组的另一个高频变体是“同时统计多个维度”比如同一个 IP 产生了多少种状态码。可以拿 IP 做外层下标内层再用字符串拼接去记录awk { code[$1] code[$1] $9 } END { for (ip in code) print ip, code[ip] } access.log这种写法适合先看分布再做细化。注意字符串拼接时没有自动去重想精确统计还是要用嵌套数组或者输出时再处理。入门阶段先掌握“一个下标 累加”这个模式已经能覆盖大部分分组统计需求。3.2 BEGIN与END块数据处理前初始化和结束后汇总的关键位置BEGIN 块在所有记录处理之前执行通常用来初始化变量、设置分隔符、打印表头END 块在所有记录处理完之后执行适合输出汇总结果。这两个块把“处理前、处理中、处理后”三个阶段分得很清楚脚本结构会更干净。一个典型的例子是计算某列的平均耗时awk BEGIN { sum 0; n 0 } { sum $2; n } END { if (n 0) printf avg%.2f\n, sum / n } latency.logBEGIN 里把累加器和计数归零中间每行累加END 里判断 n 不为 0 后输出平均耗时。printf %.2f保留两位小数。如果不在 BEGIN 里初始化awk 变量默认是空字符串或 0简单场景也许能碰巧正确但复杂脚本里容易埋雷。BEGIN 块还有一个常用场景是打印表头awk BEGIN { print IP\tCount } { c[$1] } END { for (k in c) print k \t c[k] } access.log这里把 IP 和 Count 两个表头用\t分隔先输出后面每行数据也用同样的分隔符结果可以直接贴进表格工具。需要说明的是-F选项与BEGIN { FS ... }效果类似但-F更直观二选一即可没必要同时使用。3.3 控制结构与自定义函数逻辑复杂时怎么保持脚本可读awk 支持 if/else、for、while语法接近 C。逻辑简单时一行命令很潇洒逻辑一旦复杂还堆在一行就是灾难。我的习惯是超过五行就写进脚本文件用awk -f调用方便加注释也方便复用。自定义函数可以放在脚本文件里定义方式和 C 函数类似function max(a, b) { return a b ? a : b } BEGIN { maxv 0 } { maxv max(maxv, $3) } END { print maxv }这是一个计算第三字段最大值的脚本。function max定义了一个接收两个参数的函数用三目运算符返回较大值BEGIN 里初始化maxv每行把$3和当前最大值比较END 输出结果。调用方式awk -f max.awk app.log把函数定义放在脚本文件顶部主逻辑保持在 BEGIN、逐行处理、END 这三个阶段里可读性会好很多。控制结构里最常用的是 if/else 和 for 遍历数组while 用的频率低一些但处理“每行不定长、需要反复截取”的场景时比 for 更顺手。这里有一个容易被忽略的点awk 的函数参数默认按值传递数组参数则按引用传递修改数组内容会直接影响原数组。4. awk实战落地从日志统计到文本转换的三类典型场景4.1 日志分析场景统计各接口的请求量、耗时与状态码分布假设某应用的日志每行包含四个字段时间、接口路径、耗时(毫秒)、状态码即类似2024-06-01 10:00:00 /api/users 123 200。想统计每个接口的调用次数、总耗时和最大耗时一条 awk 命令就能完成awk { api[$2]; cost[$2]$3; if ($3 max[$2]) max[$2]$3 } END { for (a in api) printf %s %d %d %d\n, a, api[a], cost[a], max[a] } app.log | sort -k2 -nr | headapi[$2]按接口名累加请求数cost[$2]$3累加总耗时if ($3 max[$2]) max[$2]$3用数组存每个接口的最大耗时不存在时自动按 0 比较首次赋值会直接成功。END 块里用 printf 输出接口名、请求数、总耗时、最大耗时再用sort -k2 -nr按请求数倒序排序。如果还想看状态码的分布可以单独再跑一次awk { code[$4] } END { for (c in code) print c, code[c] } app.log | sort -k2 -nr注意这里的字段编号完全取决于日志格式。字段顺序一变所有$2、$3都要跟着改。所以拿到一份没见过的日志时先执行第二章里的{ print NR, NF, $0 }确认字段位置再写统计逻辑不要凭眼睛猜。时间范围过滤可以交给前面的 grep 或 awk 模式条件完成不让 awk 承担多余工作。4.2 文本转换场景列重排、CSV提取与多行记录合并文本转换是 awk 的另一类高频使用场景。最基础的“列重排”在保证字段拆分正确的前提下只需改变 print 的顺序# 把原始三列顺序调整为 第三列、第一列、第二列 awk { print $3 \t $1 \t $2 } raw.txt用\t做输出分隔符结果可以直接导入表格工具。想要输出为 CSV 时把\t换成,即可。这里与print $3, $1, $2的差异值得说明print 的逗号会按 OFS 输出默认是空格显式写\t则完全可控不受环境变量影响。多行记录合并稍微绕一点。比如文件里每三行是一组想拼成一行输出可以用取余的方式判断换行点awk { buf buf $0 (NR % 3 0 ? : |) } NR % 3 0 { print buf; buf } raw.txt第一段把当前行追加到 buf 后面不是每三行的行尾加一个竖线分隔第二段在行号是 3 的倍数时输出 buf 并清空。NR % 3 0在这里既是拼接条件又是输出条件逻辑上有点紧凑但理解后非常高效。换成等价的 if/else 写法会更直观推荐在实际脚本里用后者可读性优先。4.3 与shell管道配合让awk成为数据流水线上的一环awk 不一定要单打独斗。实际场景里更常见的是让它充当管道中的一个环节前面有 grep 做粗过滤后面有 sort、uniq 做排序去重各司其职。一个典型的错误日志错误类型分布统计grep ERROR app.log | awk { print $2 } | sort | uniq -c | sort -nrgrep 先把包含 ERROR 的行筛出来awk 提取第二字段错误类型sort 排序让相同内容相邻uniq -c 去重并计数最后 sort -nr 按次数倒序。这里 awk 只做一件事字段提取。把过滤交给 grep 而不是在 awk 里写正则命令的可读性和性能都会更好。另一个常见组合是处理带表头的 CSV跳过首行再做累加tail -n 2 data.csv | awk -F, { sum $NF } END { print sum }tail -n 2去掉表头awk 从第二行开始处理$NF表示最后一列。这样 awk 不用自己判断是不是表头逻辑更简单。如果数据可能包含逗号字段那就要看避坑章节里的处理方式不能直接-F,。管道配合的核心原则是让 awk 专注在“文本处理和统计”上把文件过滤、排序、去重等任务交给更合适的工具。这样观察中间结果也方便哪一步不对就单独跑哪一步不用在一个巨型 awk 脚本里反复试错。5. awk避坑手册分隔符、字符串比较与统计翻车的排查清单5.1 分隔符陷阱按逗号拆CSV时字段里也有逗号怎么办现象用awk -F, { print $1 } data.csv提取某列结果字段错位输出时有时多一串有时少一截字段数忽多忽少。原因awk 的-F只是按字符做机械分割不解析 CSV 的引号语义。CSV 里用双引号包裹含逗号的字段是常见做法比如北京,上海,100按逗号切会得到北京和上海两段自然就错了。解决先判断这个 CSV 是不是标准的简单分隔文件。跑一下字段数检查看每一行 NF 是否一致# 输出所有行各自的字段数排序去重后看看有没有不同的值 awk -F, { print NF } data.csv | sort -u如果只有 1 种字段数说明文件是安全的可以继续用-F,如果出现多个值说明存在引号或转义简单处理方式是换用 FPAT 定义字段模式# FPAT 把引号包裹的字段和普通字段都识别出来 awk BEGIN { FPAT ([^,]*)|(\[^\]*\) } { print $1 } data.csv注意FPAT 不是所有 awk 实现都支持使用前先确认当前环境。用不了时退而求其次先预处理把引号内逗号替换成占位符或者改用一个真正会解析 CSV 的工具。不要硬扛。5.2 数字与字符串比较为什么“100”比“9”小现象过滤第三字段大于 100 的行结果只出来了几个很小的数比如 9、15、23 都在列100 以上的大数反而缺席。原因awk 字段从文件读进来时是字符串直接用$3 100做比较awk 按字典序比较字符串9 大于 100因为首字符是 9 和 1所以大量小于 100 的值通过了过滤。解决把字段强制转成数值再比较最常用的办法是加 0# ($3 0) 先做一次数值转换后续比较按数字处理 awk { if (($3 0) 100) print } data.txt$3 0在 awk 里的效果是如果 $3 是纯数字字符串转换为数值如果包含非数字字符转换结果可能是 0 或部分数值。也可以把阈值存成变量再统一处理但核心思路一致让参与比较的双方都明确是数值型。类似的坑也出现在sort里文本排序和数值排序要用-n这一点在管道配合时始终要记得。5.3 变量未初始化的坑统计结果出现奇怪的字符串拼接现象统计某列总和结果数字大得离谱或者看起来像字符串拼接比如累加出来000。原因awk 变量是动态类型没初始化时默认是空字符串。如果参与累加的字段里有空值或非数字内容sum $3可能把 sum 变成字符串拼接的结果后续再参与运算就全乱了。解决养成在 BEGIN 里初始化的习惯同时对字段做防御性转换awk BEGIN { sum 0 } { sum ($3 0) } END { print sum } data.txt($3 0)把空值和非数字变成 0防止污染累加器。空行场景下$3 是空字符串$3 0得 0sum 不受影响。这个写法比单独判断if ($3 ! )更简洁。另一个相关习惯是如果需要判断关联数组的下标是否存在用if (key in arr)而不是if (arr[key])后者会把“值为 0”和“不存在”混为一谈。5.4 排查套路脚本输出不对时先看数据长什么样现象awk 脚本逻辑看着没问题输出却总是不对。改了很久字段编号结果还是错位最后发现日志前面多了个前缀列或者分隔符是制表符不是空格。原因凭肉眼猜测数据格式没有确认识别。日志格式常常在迭代中变化字段位置、分隔符都可能和文档描述不一致。解决正式写脚本前先跑一个最基础的观察命令# 打印前20行的行号、字段数、原始内容确认数据结构 awk { print NR, NF, $0 } app.log | head -20看 NF 是否稳定看 $0 的缩进和分隔情况确认 $1、$2 分别对应什么。如果 NF 比预期多多半是有隐藏字段或多余空格。可以用cat -A app.log | head -20进一步看行尾和制表符的显示两步结合能把格式问题一次性看清。另外排查时不要在原文件上反复跑大查询先head -100抽个小样本验证改对了再全量执行。我在生产环境上吃过亏在几百万行日志上直接跑一条还没验证的 awk等了几分钟才发现字段编号错了白白浪费时间。小样本先行这个习惯能帮你少踩一半的坑。6. 把awk用得更顺手传参、脚本文件与性能验证的进阶技巧复杂一点的场景里awk 脚本需要接收外部参数。直接用 shell 变量拼接字符串进 awk 程序的写法又丑又容易出错正确做法是用-vthreshold100 awk -v t$threshold { if (($3 0) t) print } app.log-v t$threshold把 shell 变量 threshold 的值传入 awk 的变量 t在 BEGIN 阶段就可访问。注意$threshold要加双引号防止变量值里带空格时被 shell 拆词。我见过有人试图把变量直接嵌进单引号内的 awk 程序里结果运行时报语法错误原因就是单引号内的内容不会被 shell 展开。多条复杂逻辑建议放进脚本文件用-f调用。脚本文件里允许加注释、定义多个函数、把 BEGIN 和 END 块与逐行处理分开写维护体验比单行命令好一个量级# report.awk BEGIN { print report } { group[$1] } END { for (k in group) print k, group[k] }调用时执行awk -f report.awk access.log。脚本文件还能用chmod x加上 shebang 直接运行但实际场景里我更多是用-f调用因为参数传递更灵活。性能验证也要养成习惯。awk 适合处理大文本但写法不同差距明显。跑之前用time测量time awk { count[$1] } END { for (k in count) print k, count[k] } big.log /dev/null输出重定向到 /dev/null 是只测处理时间不看结果。如果发现耗时异常优先检查是不是每条记录都在做无谓的正则匹配或多次 split常见优化是把不依赖字段的匹配写在模式里而不是动作里。实测下来日志清洗类任务 awk 通常在秒级完成远超 Python 脚本的启动开销。我早年直接在几百 MB 日志上反复改 awk一跑就是几分钟后来养成先 head 小样本验证、再全量执行的习惯少走了很多弯路。这个习惯也分享给你希望帮到你。本文还有配套的精品资源点击获取