资讯动态

优化Airflow DAG依赖管理的实践

发布时间:2026/10/23 13:40:29 来源:尧图企业网站定制
在使用Kubernetes部署Airflow时,我们常常会遇到各种依赖问题,尤其是当我们采用了KubernetesExecutor和git-sync策略后。今天,我将分享一个实际案例,讲述如何在不向Web服务器或调度器安装额外依赖的情况下,让Airflow顺利发现和运行DAG。背景介绍我在Kubernetes上使用官方Helm Chart部署了Airflow,并采用了KubernetesExecutor和git-sync的策略。每个DAG都有自己的Docker镜像,而Web服务器和调度器使用的是不同的Docker镜像。最初,我在Web服务器和调度器上没有安装pandas库,导致DAG在Airflow首页出现了导入错误:Broken DAG:[/opt/airflow/dags/repo/dags/airflow_demo/ieso

读完文章,也想定制专属网站?

尧图设计师 24 小时内与您沟通定制方案

免费获取报价 →
↑