1. Kubernetes网络故障排查实战指南在容器化部署成为主流的今天Kubernetes作为事实上的编排标准其网络问题往往成为运维人员的噩梦。不同于传统虚拟机环境Kubernetes网络涉及CNI插件、Service代理、Ingress控制器、DNS解析等多层抽象当出现Pod跨主机通信失败、Service无法访问等问题时排查过程就像在迷宫中寻找出口。本文将基于笔者在金融和互联网行业处理K8s网络问题的实战经验梳理出一套系统化的排查方法论。2. 基础环境检查2.1 节点网络连通性验证在深入K8s网络栈之前首先要确保底层主机网络的健康状态。执行以下检查# 检查节点间基础连通性 ping 目标节点IP # 检查端口连通性通常需要测试8472/UDP等Flannel端口 nc -zv 节点IP 端口 # 检查路由表是否正常 ip route show注意在公有云环境中需要特别检查安全组规则是否放行了节点间通信所需的端口这是云上环境常见的低级错误。2.2 CNI插件状态确认CNI插件是K8s网络的基石不同插件有不同的检查方式。以Calico为例# 查看Calico组件状态 kubectl get pods -n kube-system -l k8s-appcalico-node # 检查BGP对等连接如果使用BGP模式 calicoctl node status常见CNI问题包括镜像拉取失败导致插件Pod CrashLoopBackOff网络策略冲突导致流量被意外丢弃IP地址池耗尽导致新Pod无法获取IP3. Pod网络问题排查3.1 Pod内部网络诊断当某个Pod出现网络异常时按以下步骤排查# 进入问题Pod需确保有调试工具 kubectl exec -it pod-name -- sh # 检查基础网络配置 ip addr show route -n cat /etc/resolv.conf # 测试基础连通性 ping 目标IP nslookup 服务名3.2 跨节点Pod通信问题这是最复杂的场景之一需要分层排查同节点Pod通信测试验证基础CNI功能跨节点Pod traceroute确定断点位置检查网络策略是否有NetworkPolicy限制了流量# 查看影响Pod的NetworkPolicy kubectl get networkpolicy --all-namespaces -o yaml | grep pod标签典型问题案例Flannel的vxlan端口被防火墙拦截Calico的BGP对等连接中断节点路由表被意外修改4. Service和DNS问题排查4.1 Service访问故障当Service无法访问时按顺序检查# 1. 检查Service定义 kubectl get svc service-name -o yaml # 2. 检查Endpoint是否正常 kubectl get endpoints service-name # 3. 检查kube-proxy日志 kubectl logs -n kube-system kube-proxy-pod # 4. 检查iptables规则如果使用iptables模式 iptables-save | grep service-ip4.2 DNS解析问题DNS是微服务通信的基石常见排查命令# 在Pod内测试DNS解析 nslookup kubernetes.default.svc.cluster.local # 检查CoreDNS日志 kubectl logs -n kube-system coredns-pod # 验证DNS配置 kubectl get cm -n kube-system coredns -o yaml实战经验DNS问题经常与NDS缓存、并发查询限制有关适当调整CoreDNS的cache参数和并发数往往能解决问题。5. 高级网络功能排查5.1 Ingress控制器问题当Ingress无法访问时检查点包括# 检查Ingress控制器Pod状态 kubectl get pods -n ingress-namespace # 查看生成的Nginx配置以Nginx Ingress为例 kubectl exec -it ingress-pod -- cat /etc/nginx/nginx.conf # 检查Ingress事件记录 kubectl describe ingress ingress-name5.2 网络策略(NetworkPolicy)问题NetworkPolicy配置错误会导致流量被意外拦截# 查看命名空间下的所有网络策略 kubectl get networkpolicy -n namespace # 检查策略选择器是否匹配目标Pod kubectl get pods --show-labels -n namespace6. 工具链与实战技巧6.1 必备诊断工具kubectl debug直接调试问题Pod需要集群支持netshoot网络诊断专用容器镜像kubectl run tmp-shell --rm -i --tty --image nicolaka/netshootWireshark/tcpdump抓包分析利器# 在Pod内抓包示例 tcpdump -i eth0 -w /tmp/dump.pcap6.2 典型故障处理流程现象PodA无法访问PodB排查步骤PodA内ping PodB IP → 失败PodA内traceroute PodB IP → 停在节点IP检查两节点间网络发现防火墙丢弃了8472/UDP修正防火墙规则后恢复6.3 预防性监控建议部署网络健康检查DaemonSet监控关键指标CNI插件错误计数DNS查询延迟和错误率节点间网络延迟7. 复杂案例解析7.1 案例一间歇性跨节点通信失败现象Pod间通信时好时坏无规律排查过程通过长期抓包发现MTU不匹配问题节点使用1500 MTU但云网络实际支持1450在CNI配置中添加MTU设置后解决7.2 案例二Service访问超时现象访问ClusterIP随机超时排查过程发现kube-proxy使用iptables模式检查iptables规则数超过10万条切换为ipvs模式后性能恢复正常7.3 案例三DNS解析不稳定现象应用偶尔出现域名解析失败排查过程CoreDNS日志显示并发请求被拒绝调整CoreDNS的max_concurrent参数增加CoreDNS副本数并启用自动扩缩在Kubernetes网络故障排查过程中保持清晰的排查思路比掌握具体命令更重要。建议按照从下到上物理网络→节点网络→Pod网络→Service→Ingress和从简单到复杂的顺序逐步排查。记录每次故障的排查过程和解决方案积累形成自己的知识库这对处理未来可能出现的网络问题会有极大帮助。