1. 容器日志管理的现状与痛点刚接触Docker时我也以为docker logs就是查看容器日志的全部。直到某天线上服务突然崩溃面对几十个容器的海量日志我才意识到问题的严重性——用docker logs -f追日志就像用吸管喝消防栓的水不仅效率低下关键信息还容易被淹没在噪音中。传统方式存在三个致命缺陷实时性差docker logs默认只显示历史日志实时追踪需要手动附加缺乏聚合多容器场景下需要逐个查看无法全局分析没有可视化纯文本日志难以发现趋势和异常模式2. 技术栈选型与架构设计2.1 核心组件对比工具核心能力适用场景性能影响Prometheus指标采集与告警系统资源监控低Grafana数据可视化仪表盘展示中ELK Stack日志收集与分析全文检索与复杂分析高2.2 混合架构优势这套组合拳的巧妙之处在于Prometheus抓取Docker引擎指标CPU/内存/网络Filebeat轻量级采集容器日志到ElasticsearchGrafana同时对接Prometheus和ES数据源Kibana作为日志分析的补充视角关键设计原则指标与日志分离。Prometheus专精数值监控ELK擅长文本分析两者通过Grafana统一呈现。3. 详细部署指南3.1 基础环境准备# 创建专用网络 docker network create monitor-net # 拉取必要镜像 docker pull prom/prometheus:v2.37.0 docker pull grafana/grafana:9.1.6 docker pull elastic/filebeat:8.3.33.2 Prometheus配置prometheus.yml关键配置scrape_configs: - job_name: docker static_configs: - targets: [host.docker.internal:9323] # Docker引擎指标端口3.3 Filebeat配置技巧filebeat.docker.yml示例filebeat.inputs: - type: container paths: - /var/lib/docker/containers/*/*.log processors: - add_docker_metadata: ~ output.elasticsearch: hosts: [elasticsearch:9200]3.4 Grafana数据源配置添加Prometheus数据源http://prometheus:9090添加Elasticsearch数据源http://elasticsearch:9200设置索引模式filebeat-*4. 实战监控方案实现4.1 容器资源监控看板导入ID为193的Docker官方仪表盘重点关注容器内存使用率PromQLcontainer_memory_usage_bytes{container_label_com_docker_swarm_service_name~$service}CPU Throttling次数PromQLrate(container_cpu_cfs_throttled_periods_total[1m])4.2 日志分析高级技巧在Kibana中创建日志筛选器# 提取Java异常堆栈 grok { match { message %{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:level} %{JAVACLASS:class} - %{GREEDYDATA:message} } } # 识别错误率突增 elasticsearch query: query: { bool: { must: [ { match: { level: ERROR } }, { range: { timestamp: { gte: now-5m } } } ] } }5. 性能优化与问题排查5.1 资源占用控制# 限制Filebeat内存 docker run -d --namefilebeat \ --memory500m --memory-swap1g \ filebeat:8.3.35.2 常见故障处理问题1Prometheus显示connection refused检查Docker引擎是否开启metricscat /etc/docker/daemon.json { metrics-addr: 0.0.0.0:9323, experimental: true }问题2Elasticsearch磁盘爆满设置ILM策略自动清理旧索引PUT _ilm/policy/logs_policy { policy: { phases: { hot: { actions: { rollover: { max_size: 50GB, max_age: 7d } } } } } }6. 进阶应用场景6.1 动态标签注入通过Docker标签实现智能分组docker run --label com.service.typebackend \ --label com.service.tiercritical \ nginx:alpineGrafana变量查询label_values(container_memory_usage_bytes, com_service_tier)6.2 日志采样策略应对高流量场景的filebeat配置processors: - drop_event: when: not: contains: message: ERROR|WARN|Exception这套方案在我们生产环境稳定运行两年多日均处理10TB日志数据。最关键的收获是初期一定要合理规划索引生命周期和存储策略否则后期扩容会非常痛苦。建议每周review一次日志保留策略根据业务重要性分级存储。