1. 问题背景与CPU飙高的危害CPU使用率突然飙升是Linux系统管理员最常遇到的性能问题之一。当服务器CPU使用率持续高于80%甚至达到100%时系统响应会明显变慢服务延迟增加严重时可能导致服务不可用。这种情况我们通常称为CPU飙高或CPU打满。CPU资源耗尽的影响是连锁式的首先表现为终端操作卡顿命令响应延迟随后系统进程调度延迟增加关键服务无法及时获得CPU时间片最终可能导致OOM Killer被触发随机杀死进程释放内存在容器化环境中CPU限制可能导致容器被直接杀死重启提示当收到CPU告警时建议立即保留现场并开始排查避免直接重启服务或服务器这样会丢失问题现场。2. 快速定位CPU高负载进程2.1 使用top命令初步定位最快捷的方式是直接使用top命令top -c关键观察指标%CPU列显示每个进程的CPU占用百分比TIME列显示进程累计使用的CPU时间负载平均值(load average)三个数值分别表示1分钟、5分钟、15分钟的平均负载典型的高CPU进程会显示为PID USER PR NI VIRT RES SHR S %CPU %MEM TIME COMMAND 1234 mysql 20 0 12.345g 2.345g 23456 R 99.6 5.8 10:23.45 /usr/sbin/mysqld2.2 更精细的进程分析工具如果top显示的信息不够详细可以使用ps -eo pid,user,%cpu,%mem,cmd --sort-%cpu | head -n 10这个命令会按CPU使用率降序排列显示前10个最耗CPU的进程。对于Java应用可以结合jstack分析# 先找到Java进程PID ps -ef | grep java # 然后获取线程堆栈 jstack -l PID thread_dump.log3. 十大常见根因与排查方法3.1 无限循环或死循环特征单个线程或进程持续占用100%的单个CPU核心排查方法使用top -H -p 查看进程内的线程CPU占用将高CPU线程ID转换为16进制printf %x\n TID在jstack或gdb输出的线程堆栈中搜索该16进制ID典型案例递归调用没有终止条件while(true)循环内没有sleep或等待机制第三方库中的bug导致逻辑卡死3.2 锁竞争与死锁特征多个线程/进程的CPU使用率都很高但系统吞吐量很低排查工具Java应用jstack查看线程状态关注BLOCKED状态的线程C/C应用gdb attach后执行thread apply all bt系统级perf锁分析典型表现Thread-1 #11 prio5 os_prio0 tid0x00007f487c0b7000 nid0x5e1 waiting for monitor entry [0x00007f487b5e9000] java.lang.Thread.State: BLOCKED (on object monitor held by Thread-0)3.3 频繁GC导致的CPU高特征周期性CPU高峰GC日志中有大量Full GC记录排查步骤检查JVM参数jinfo -flags PID获取GC统计jstat -gcutil PID 1000 10分析GC日志如果配置了-XX:PrintGCDetails优化建议增加堆内存(-Xmx)调整GC策略如G1GC减少对象创建避免内存泄漏3.4 大量上下文切换特征CPU使用率高但us(user)不高sy(system)很高诊断命令vmstat 1 5关注cs列上下文切换次数正常应低于10000次/秒常见原因进程/线程数过多锁竞争激烈不合理的进程调度策略3.5 中断处理占用高CPU特征%si(软中断)或%hi(硬中断)指标异常高诊断工具cat /proc/interrupts watch -n 1 cat /proc/softirqs常见场景网络包处理如高PPS场景磁盘IO压力大硬件设备异常3.6 代码中的数学计算密集操作特征用户态CPU(%us)高通常涉及科学计算、加密解密等排查方法perf top查看热点函数perf top -p PID使用strace跟踪系统调用strace -c -p PID3.7 频繁的系统调用特征%sy(system)高strace显示大量重复系统调用典型案例循环中不必要的gettimeofday调用过度日志记录每次日志都调用write小文件频繁读写3.8 配置不当的线程池特征线程数远多于CPU核心数大量线程处于runnable状态检查方法cat /proc/PID/status | grep Threads pstree -p PID | wc -l优化建议根据CPU核心数设置合理线程数使用有界队列避免任务堆积监控线程池活跃度3.9 外部依赖响应慢特征等待IO时CPU看似空闲但请求堆积导致后续CPU飙升诊断工具iostat -x 1 # 查看await指标 netstat -antp | grep PORT # 查看连接状态3.10 内核模块或驱动问题特征内核态CPU(%sy)异常高可能伴随内核日志报错排查步骤检查内核日志dmesg -T | tail -50使用perf分析内核调用perf record -ag -- sleep 10 perf report4. 高级排查工具与技术4.1 perf性能分析工具perf是Linux内核自带的强大性能分析工具记录CPU热点perf record -F 99 -ag -- sleep 30 perf report火焰图生成perf script | stackcollapse-perf.pl | flamegraph.pl flame.svg4.2 SystemTap动态追踪对于复杂的内核级问题可以使用SystemTap示例脚本监控系统调用stap -e probe syscall.* { if (pid() target()) printf(%s %d\n, name, pid()) } -x PID4.3 ebpf工具集现代Linux系统推荐使用ebpf工具CPU使用分析bpftrace -e profile:hz:99 { [ustack] count(); }跟踪调度延迟funclatency -d 10 -u schedule5. 长期监控与预防措施5.1 建立性能基线记录正常时期的性能指标# CPU mpstat -P ALL 1 10 cpu_baseline.log # 内存 vmstat 1 10 mem_baseline.log # IO iostat -x 1 10 io_baseline.log5.2 配置告警规则使用Prometheus等工具监控关键指标groups: - name: CPU Alert rules: - alert: HighCPUUsage expr: 100 - (avg by(instance)(irate(node_cpu_seconds_total{modeidle}[5m])) * 100) 80 for: 5m5.3 性能测试与调优定期进行压力测试提前发现问题# CPU压力测试 stress -c 8 -t 3006. 实战案例解析6.1 MySQL查询导致CPU 100%现象mysqld进程持续占用高CPU排查步骤查看当前运行查询SHOW FULL PROCESSLIST;分析慢查询日志mysqldumpslow -s t /var/log/mysql/mysql-slow.log使用EXPLAIN分析问题查询执行计划解决方案添加缺失索引重写复杂查询优化JOIN操作6.2 Java应用Full GC频繁现象周期性CPU高峰应用响应变慢排查步骤获取GC日志jstat -gcutil PID 1000 10分析堆内存dumpjmap -dump:live,formatb,fileheap.hprof PID解决方案调整新生代与老年代比例升级到G1GC收集器修复内存泄漏问题6.3 Nginx worker进程高CPU现象多个nginx worker进程占用高CPU排查步骤检查活跃连接netstat -antp | grep nginx | wc -l分析访问日志awk {print $7} access.log | sort | uniq -c | sort -nr | head -20解决方案优化高频率请求的location配置启用缓存减少后端压力调整worker_processes和worker_connections7. 排查工具箱推荐7.1 基础命令集CPU分析top, htop, mpstat, pidstat内存分析free, vmstat, pmapIO分析iostat, iotop, blktrace网络分析netstat, ss, tcpdump7.2 高级分析工具perfLinux内核性能分析工具strace系统调用跟踪gdb程序调试bpftraceeBPF追踪工具7.3 可视化工具nmon终端可视化监控glances综合监控工具Grafana指标可视化火焰图性能热点可视化8. 排查流程总结确认现象通过top/htop确认CPU使用率异常定位进程找出消耗CPU最高的进程分析线程对于多线程应用定位具体线程检查状态分析进程/线程的当前状态运行、阻塞、等待等获取堆栈通过jstack/gdb等获取执行上下文关联日志结合系统日志和应用日志分析复现验证尝试复现问题并验证假设实施修复根据根因实施针对性的解决方案经验分享在实际排查中经常遇到多个因素共同导致CPU高负载的情况。建议采用排除法先解决最明显的问题然后观察系统行为变化。