【免费下载链接】ai-infra-engineer-learningAI Infrastructure Engineer Learning Track - Production ML infrastructure curriculum (2-4 years experience)项目地址https://gitcode.com/gh_mirrors/ai/ai-infra-engineer-learning点击查看免费下载 本文带你拆解 ai-infra-engineer-learning 开源课程中的项目102端到端MLOps管道End-to-End MLOps Pipeline。它用Apache Airflow编排任务、MLflow追踪实验与管理模型注册表、DVC管理数据版本把「数据 → 训练 → 模型注册 → K8s 部署 → 监控」串成一条自动化流水线是 MLOps 入门者的完整实战范本。一、项目102解决什么问题单独看工具Airflow 只是调度器、MLflow 只是实验记录本、DVC 只是数据版本工具。项目102的价值在于让三者协作覆盖机器学习完整生命周期环节负责工具核心动作数据工程Airflow DVC Great Expectations摄取、校验、预处理、数据版本化模型训练Airflow MLflow训练、记录参数/指标、注册模型模型治理MLflow Model RegistryStaging → Production 晋级与版本管理生产部署Docker Kubernetes滚动更新、健康检查、自动回滚可观测性Prometheus Grafana预测速率、P99 延迟、部署事件项目定位在 curriculum/project-specifications.json 中定义规格 IDproj-102建议学习时长40 小时难度中等偏上。二、总体架构三条 DAG 如何接力整个管道的骨架是三条 Airflow DAG位于 dags/ 目录data_pipeline (每天 02:00) ↓ 产出带 DVC 版本号的训练数据 training_pipeline (每天 04:00) ↓ 模型达标后注册到 MLflow 并晋级 deployment_pipeline (模型晋级时触发) ↓ 拉取 Production 模型 → 构建镜像 → 部署 K8s → 健康检查/回滚数据管道定时跑批把「昨天的数据」准备好训练管道错峰执行避免资源冲突达标模型自动注册部署管道不定时调度而是由训练管道通过TriggerDagRunOperator按需触发——这是典型的「事件驱动 定时调度」混合编排思路。架构细节见 docs/ARCHITECTURE.md三条流水线的时间表与依赖见 docs/PIPELINE.md。三、本地快速启动Docker Compose 一键拉起全家桶新手最大的障碍是环境搭建。项目102 用一份 docker-compose.yml 把 9 个服务全部容器化启动后得到完整的本地 MLOps 环境服务端口作用Airflow Webserver8080管道调度与可视化Airflow Scheduler—定时触发 DAGMLflow5000实验追踪 模型注册表MinIO9000控制台 9001S3 兼容存储存放模型工件PostgreSQL5432Airflow 与 MLflow 的元数据库Redis6379Celery 执行器消息队列Prometheus9090指标采集Grafana3000可视化仪表盘配合 Makefile 中的make docker-up目标即可一键启动make docker-down一键清理DAG 目录通过卷挂载到容器内改代码无需重建镜像对调试非常友好。 本地启动步骤安装 Docker →docker-compose up -d→ 访问 Airflow (8080) 和 MLflow (5000) 确认服务就绪 → 在 Airflow 中解锁对应 DAG。四、数据管道摄取、校验、预处理与 DVC 版本化数据管道 DAG 定义在 dags/data_pipeline.py共 5 个串行任务ingest_raw_data— 从数据源拉取原始数据并记录元数据行数、大小、时间戳validate_data_quality— 数据质量门禁缺失值、值域、分布检查失败则阻断下游避免「垃圾进垃圾出」preprocess_data— 缺失值填充、特征工程、缩放并按 6:2:2 切分训练/验证/测试集version_data_dvc— 用 DVC 把处理后数据提交版本并推送到远端存储数据从此可追溯、可复现send_notification— 成功后推送团队通知。关键设计任务之间通过 Airflow 的XCom传递元数据如文件路径、DVC 版本号而不是依赖约定的文件路径——上游产出什么下游就消费什么链路全程可审计。各任务对应的业务逻辑分别放在 src/data/ingestion.py、src/data/validation.py 和 src/data/preprocessing.py。DVC 在这里扮演「数据界的 Git」Git 管代码DVC 管数据集。训练时只需dvc pull指定版本即可复现当时使用的数据快照。五、训练管道MLflow 实验追踪 模型自动晋级训练管道 DAG 位于 dags/training_pipeline.py是 MLflow 集成的核心示范load_data → train_model → evaluate_model → decide_promotion ─┬→ register_model_staging → 触发部署 └→ skip_registration几个值得学习的细节实验追踪训练函数通过mlflow.log_params/log_metric/log_model记录超参数、验证集准确率/F1 和模型工件每次运行自动获得run_id历史实验可在 MLflow UI 中横向对比分支决策使用BranchPythonOperator实现「质量门禁」——测试精度达到阈值默认 0.85可用环境变量MODEL_PROMOTION_THRESHOLD调整才注册到 Staging否则直接跳过注册与晋级register_model_in_mlflow将模型版本化存入 Model Registry并支持 Staging → Production 的阶段流转旧版本自动归档触发部署注册成功后由TriggerDagRunOperator触发deployment_pipeline形成「训练即部署」的闭环。模型训练的可复用实现参考 src/training/train.py含超参调优、交叉验证等扩展点MLflow 的配置与使用要点见 docs/MLFLOW.md。六、部署管道拉取模型、构建镜像、K8s 滚动发布与回滚部署管道 DAG 在 dags/deployment_pipeline.py演示了生产级 CD 的完整动作序列check_registry— 用PythonSensor每 60 秒轮询 Model Registry等待 Production 阶段出现新版本reschedule模式不占用 workerpull_model— 从 Registry 下载模型工件及元数据build_docker_image— 将模型打包进镜像同时打上版本号、时间戳、latest 三个标签deploy_to_k8s— 通过kubectl set image更新 Deployment滚动发布零停机wait_rollout— 等待所有 Pod 就绪超时自动判失败perform_checks— 四层健康检查Pod 状态、/health接口、/predict真实推理、响应时延 SLAdecide_action— 分支判断全部通过 → 发成功通知任一失败 →自动回滚到上一版本并告警。这套「传感器等待 → 部署 → 验证 → 失败回滚」的范式正是把 CI/CD 经验平移到模型发布的标准做法。部署策略滚动/蓝绿/金丝雀的扩展方向见 docs/DEPLOYMENT.md。生产部署清单要点K8s 侧清单在 kubernetes/ 目录其中 model-deployment.yaml 一次性写足了高可用配置maxSurge: 1, maxUnavailable: 0— 滚动更新期间永不掉副本存活liveness/就绪readiness/启动startup三种探针齐全启动探针给模型加载留足 5 分钟HPA按 CPU 70% / 内存 80% 在 3~10 副本间自动伸缩扩容激进、缩容带 5 分钟稳定窗口防抖PDB保证任意时刻至少 2 个 Pod 可用。模型配置名称、版本、MLflow 地址、批处理参数等统一由 configmap.yaml 注入外部访问入口定义在 service.yaml。七、监控闭环Prometheus Grafana 盯住模型部署只是开始管道同样需要被监控。项目在 monitoring/prometheus/prometheus.yml 中配置了 15 秒级采集抓取目标包括 MLflow 服务、模型 Pod通过prometheus.io/scrape注解自动发现、K8s 节点与 API Server。Grafana 仪表盘以 JSON 形式代码化管理mlops-dashboard.json核心面板Model Prediction Rate—rate(model_predictions_total[5m])5 分钟窗口预测吞吐Prediction Latency (P99)— 尾部延迟是推理服务最敏感的指标部署事件标注 — 把模型版本切换标记在时间轴上指标异常时一眼定位「是不是刚发了新版本」。指标采集端代码见 src/monitoring/metrics.py 与 src/monitoring/health.py。八、项目文件导航资料相对路径项目说明与验收标准projects/project-102-mlops-pipeline/README.md三条 Airflow DAGdags/本地编排配置docker-compose.ymlAirflow 镜像构建Dockerfile.airflow常用命令封装MakefileK8s 部署清单kubernetes/架构/管道/MLflow 文档docs/ARCHITECTURE.md、docs/PIPELINE.md、docs/MLFLOW.md依赖清单requirements.txt单元测试tests/九、验收标准与学习路径项目 README 给出的成功标准非常务实✅ 完整管道端到端跑通✅ MLflow 中至少 5 个带指标的实验记录✅ 数据经 DVC 版本化且可按版本取回✅ 模型晋级 Production 后自动部署✅ 样例数据集全链路 30 分钟✅ 测试覆盖率 ≥ 75%。配套课程本项目的理论支撑来自课程的 mod-105-data-pipelines/Airflow 与 DVC 专题和 mod-106-mlops/实验追踪、模型注册、部署策略建议先完成这两个模块再动手本项目知识点的检测题见 assessments/quizzes/answer-keys/module-06-answers.md。十、新手上手建议避坑清单按周拆分官方时间线为 4 周 —— 第 1 周数据管道与 DVC第 2 周训练管道与 MLflow第 3 周模型注册与部署自动化第 4 周监控与文档先跑通再优化DAG 内大量任务留有占位实现先让链路「绿」起来再逐格补全 TODO善用环境变量MLFLOW_TRACKING_URI、MODEL_NAME、MODEL_PROMOTION_THRESHOLD等均可注入便于切换本地/生产环境测试先行tests/test_data.py、tests/test_training.py、tests/test_deployment.py 分别对应三条管道make test-coverage可输出覆盖率报告。一句话总结Airflow 管「何时做」、MLflow 管「做成了什么」、DVC 管「用什么做的」、K8s 管「如何上线」——四者拼合就是一条可复现、可回滚、可观测的端到端 MLOps 管道。跟着项目102 把这条链路亲手搭一遍MLOps 的地基就夯实了。赞分享【免费下载链接】ai-infra-engineer-learningAI Infrastructure Engineer Learning Track - Production ML infrastructure curriculum (2-4 years experience)项目地址https://gitcode.com/gh_mirrors/ai/ai-infra-engineer-learning点击查看免费下载相关推荐AirflowSparkKafka实战教程用ai-infra-engineer-learning构建生产级ML数据管道AirflowSparkKafka实战教程用ai infra engineer learning构建生产级ML数据管道 ai infra engineerMLflow实验跟踪与模型注册中心ai-infra-engineer-learning中的MLOps完整实践指南MLflow实验跟踪与模型注册中心ai infra engineer learning中的MLOps完整实践指南 ai infra engineer lear5分钟快速上手news-please从安装到第一个新闻提取5分钟快速上手news please从安装到第一个新闻提取 news please是一个集成的网络爬虫和新闻信息提取工具能够自动从网页中提取新闻内容包括标网页爬虫后端创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考