4 条命令部署 VectorKubernetes 日志收集管道实操指南【免费下载链接】vectorA high-performance observability data pipeline.项目地址: https://gitcode.com/GitHub_Trending/vect/vectorKubernetes 日志收集 Agent 占内存、改配置不生效还查不到原因读完这篇你能用 4 条命令在集群里跑通 Vector 日志收集管道采集每个节点的容器日志并在 9090 端口暴露它自身的健康指标。一句话说清 Vector 是什么Vector 是一款用 Rust 编写的可观测性数据管道一个进程就能完成日志收集的完整链路sources 从文件、容器、宿主机读入数据transforms 做结构化和过滤sinks 把结果发往 Elasticsearch、S3 等目标。它最突出的一点是快——官方称比同类工具最高快 10 倍最大的用户在用单集群处理每天 500TB 数据而内存占用保持稳定。从 0 到跑通Kubernetes 部署 Vector 的最小可用路径环境要求只有一行K8s 1.21kubectl 已配置好集群权限不需要 Helm。第 1 步克隆仓库拿到现成的 K8s 部署清单。git clone https://gitcode.com/GitHub_Trending/vect/vector cd vector第 2 步应用 Agent 清单一步创建 vector 命名空间、存放日志采集配置的 ConfigMap、RBAC 权限和 DaemonSet集群里每个节点会自动起一个 Vector Pod。kubectl apply -k distribution/kubernetes/vector-agent第 3 步等待滚动完成确认 DaemonSet 在所有节点铺满。kubectl rollout status daemonset/vector -n vector第 4 步验证部署预期每个节点各有一个 PodREADY 为 1/1、状态 Running。kubectl get pods -n vector -l app.kubernetes.io/namevectorNAME READY STATUS RESTARTS AGE vector-7xk2p 1/1 Running 0 30s跑起来之后它就在干活了从节点上采集所有容器日志并打到标准输出同时把宿主机和自身指标暴露成 Prometheus 格式。把 Vector 用起来日志采集配置实战场景一调整 Agent 采集范围你想实现的效果别把 kube-system 这类系统命名空间的日志也采进来省掉无效流量。默认配置在 distribution/kubernetes/vector-agent/configmap.yaml 的agent.yaml里核心结构如下sources: kubernetes_logs: # 采集节点上所有容器的日志 type: kubernetes_logs internal_metrics: # 采集 Vector 自身的运行指标 type: internal_metrics sinks: prom_exporter: # 在 9090 端口暴露 Prometheus 指标 type: prometheus_exporter inputs: [internal_metrics] address: 0.0.0.0:9090 stdout: # 容器日志默认打印到标准输出 type: console inputs: [kubernetes_logs]改法在kubernetes_logs下加一行extra_field_selector: metadata.namespace!kube-system只改这一个参数Pod 的日志量会明显下降。改完 ConfigMap 后执行kubectl rollout restart daemonset/vector -n vector让 Pod 重新加载配置。场景二本地先验证再上集群你想实现的效果改配置前先确认语法没问题避免 Pod CrashLoop 一圈。仓库自带的 config/vector.yaml 是一个能直接跑的最小样例——每秒生成一条 Syslog 测试日志解析后输出到标准输出sources: dummy_logs: # 每秒生成一条 Syslog 格式的测试日志 type: demo_logs format: syslog interval: 1 transforms: parse_logs: type: remap inputs: [dummy_logs] source: | . parse_syslog!(string!(.message)) # 解析成结构化字段把文件拷进任意一个 Vector Pod 后校验看到Configuration OK就说明能通过kubectl exec -n vector deploy/vector -- vector validate --config-dir /etc/vector/遇到问题先查这里Vector 部署故障排查Pod 一直 ImagePullBackOff。kubectl describe pod -n vector -l app.kubernetes.io/namevector | grep -A5 Events清单默认拉取docker.io/timberio/vector:0.57.0-distroless-libc节点拉不动外网镜像时给节点配置镜像代理或把 daemonset.yaml 里的 image 换成你能访问的仓库地址。日志迟迟没有输出。kubectl logs -n vector -l app.kubernetes.io/namevector --tail50先看日志里 kubernetes_logs 源有没有报错若提示权限类错误确认 rbac.yaml 里的 serviceaccount 和 ClusterRoleBinding 已随清单一起应用成功再检查该节点 Pod 是否真的 Ready。改配置后 Pod CrashLoop。kubectl exec -n vector deploy/vector -- vector validate --config-dir /etc/vector/报错会带出行号绝大多数是 YAML 缩进少一级或字段名拼错如果 Pod 起不来没法 exec先把 ConfigMap 改回上一版kubectl rollout restart恢复后再逐行对比找出问题行。继续深入Vector 的进阶路径单节点 Agent 跑通后可以把所有节点的日志汇总到一个中心层distribution/kubernetes/vector-aggregator/ 提供了 StatefulSet 形态的聚合器清单配合磁盘缓冲使用。想换个数据源或目标config/examples/ 里按文件采集、Prometheus 导出等场景分好了样例抄改即可。要理解吞吐量从哪来读一遍 docs/ARCHITECTURE.md 就够了。下一步建议把 ConfigMap 里的stdoutsink 换成你自己的 Elasticsearch让日志真正落到存储里——下一篇我们专门讲怎么用 VRL 把容器日志解析成结构化 JSON 并按字段路由。【免费下载链接】vectorA high-performance observability data pipeline.项目地址: https://gitcode.com/GitHub_Trending/vect/vector创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考