Bruin 项目Project核心概念详解bruin init 初始化、.bruin.yml 环境与连接管理实战Data Engineering Zoomcamp【免费下载链接】data-engineering-zoomcampData Engineering Zoomcamp is a free 9-week course on building production-ready data pipelines. Join the course here 项目地址: https://gitcode.com/GitHub_Trending/da/data-engineering-zoomcamp本指南聚焦 Data Engineering Zoomcamp 第 5 模块Data Platforms with Bruin中「Project」这一核心概念它是一切数据管道的根目录与配置边界决定了数据资产、连接与密钥如何被组织、隔离与共享。读完本文你将掌握如何用bruin init初始化项目、读懂并编写.bruin.yml中的环境environments与连接connections配置、通过default_environment安全地切换开发与生产环境并理解 Project 与 Pipeline、Asset 之间的边界关系。什么是 Bruin Project在 Bruin 中Project项目是存放你整条 Bruin 数据管道的根目录。它是一切数据资产、配置文件与连接的承载基础——你可以把 Project 理解为「一个数据工程的代码仓库单元」其中既包含描述「跑什么」的资产assets与管道pipelines也包含描述「连哪里、用什么凭据」的项目级配置。一个关键的边界原则是Project 是配置的边界boundary for configuration——本地密钥secrets被排除在版本控制之外而不同的环境各自选择自己的连接。也就是说环境environment与连接connection的作用域是「项目级」的管道与资产在项目内部按需引用它们。这一设计与本模块的定位一致Bruin 将数据摄取、转换、编排、数据质量检查、元数据与血缘lineage整合进一个项目而不是分散到五六个独立工具中分别配置见 01-introduction.md。Project 正是这套「整合」的物理与逻辑起点。初始化项目bruin init项目必须通过bruin init初始化CLI 才能正确理解目录结构并导航文件。最基本的初始化命令如下bruin init zoomcamp my-pipeline cd my-pipelinezoomcamp是要使用的模板名称——本模块课程统一使用 zoomcamp 模板它直接生成与 NYC Taxi 数据管道配套的项目骨架在 02-getting-started.md 与 03-nyc-taxi-pipeline.md 中均以bruin init zoomcamp my-pipeline或bruin init zoomcamp my-taxi-pipeline作为标准起点。my-pipeline是项目目录名可以按需替换。bruin init会替你完成三件基础设施级的工作从模板生成项目结构如pipeline/目录、pipeline.yml、assets/目录等初始化 git 仓库——Bruin 要求项目处于 git 初始化状态bruin init会自动完成创建.gitignore并把.bruin.yml加入其中——保证含密钥的本地配置永远不会被误提交。初始化后的项目骨架以本模块实战模板为例初始化后的目录结构大致如下详细结构见 03-nyc-taxi-pipeline.mdzoomcamp/ ├── .bruin.yml # 环境与连接配置本地文件被 .gitignore 排除 ├── README.md └── pipeline/ ├── pipeline.yml # 管道名、调度、默认连接 └── assets/ ├── ingestion/ ├── staging/ └── reports/其中.bruin.yml位于项目根目录是本文的核心pipeline.yml与assets/属于管道与资产层会在本模块后续的 Pipelines 与 Assets 两篇核心概念中展开。.bruin.yml项目级配置中心.bruin.yml位于项目根目录定义了三类内容环境environments、连接connections与密钥secrets。重要安全原则.bruin.yml总是被加入.gitignore。它只保存在本地绝不应被推送到代码仓库——因为它包含数据库连接信息与密钥。这也是bruin init会自动生成.gitignore并预先排除该文件的原因。环境Environments环境用于为不同阶段开发、生产、预发布等定义各自的连接。下面是一个同时包含本地开发环境与云端生产环境的完整示例沿用原文档的配置骨架default_environment: default environments: default: connections: duckdb: - name: duckdb-default path: duckdb.db motherduck: - name: motherduck token: your-token production: connections: bigquery: - name: bq-prod project: my-project dataset: production这个例子里default环境面向本地开发duckdb连接指向本地文件duckdb.db课程实战中本地数据库即 DuckDBmotherduck连接则以 token 方式配置production环境面向生产bigquery连接指向 GCP 项目my-project的production数据集。环境隔离带来的直接收益既可以在本地跑管道也可以放到服务器上跑而不会暴露生产凭据不同团队可以拥有不同的连接访问权限默认落在dev开发环境防止误触生产环境运行。连接类型Connection TypesBruin 内置连接覆盖了主流数据库与数仓本地/嵌入式DuckDB、MotherDuck关系型数据库PostgreSQL、MySQL云数据仓库BigQuery、Redshift、Snowflake自定义连接用于 API Key、密钥secrets等场景。从本模块实战看本地开发阶段最常用的是duckdb连接只需name与path两个字段而部署到云端后则可切换为bigquery等生产连接——这正是「同一个项目、不同环境选择各自连接」的典型落地方式。默认环境Default Environment通过default_environment指定默认使用的环境default_environment: dev设置后管道默认在dev环境上运行除非显式指定使用 production。这保证了日常开发与测试操作不会意外打到生产数据库。连接在管道层的作用域Connection Scoping连接虽然定义在项目层.bruin.yml但每个管道会在pipeline.yml中声明自己使用哪些连接。例如name: nyc_taxi schedule: daily start_date: 2022-01-01 default_connections: duckdb: duckdb-default这种「项目定义、管道引用」的设计详见 07-core-concepts-pipelines.md在大型组织中有实际意义不同团队可以持有不同的凭据管道只初始化自己运行所需的连接从而避免不必要的密钥暴露并在部门之间形成安全隔离。这也印证了开篇的原则——Project 是配置的边界密钥留在本地环境各自选择连接。快速参考命令# 初始化一个新项目 bruin init zoomcamp my-pipeline # 进入项目目录 cd my-pipeline # 检查项目结构是否合法不实际运行 bruin validate .bruin validate .会校验项目级结构、语法与依赖关系是初始化后第一个值得执行的命令也是日常改动的安全网完整的命令行能力如bruin run、bruin lineage、bruin query等属于 Core Concepts: Commands 的主题这里不再展开。结合本模块实战NYC Taxi 管道中的 Project 配置本模块作业要求基于 zoomcamp 模板构建一条从摄取到报表的完整 NYC Taxi 管道见 homework.md其第一步就是初始化项目并配置.bruin.yml安装 Bruin CLIcurl -LsSf https://getbruin.com/install/cli | sh初始化 zoomcamp 模板bruin init zoomcamp my-pipeline在.bruin.yml中配置一个 DuckDB 连接按 03-nyc-taxi-pipeline.md 完成教程实战中的.bruin.yml通常简化为单个default环境加一个 DuckDB 连接default_environment: default environments: default: connections: duckdb: - name: duckdb-default path: duckdb.db作业第 1 题考察的正是项目级结构认知Bruin 项目的必需文件是.bruin.yml加pipeline/内含pipeline.yml与assets/连接定义集中在.bruin.yml而管道与资产定义在pipeline/内。理解 Project 这一层后续配置管道、资产与变量时就不会混淆「配置放哪里、作用域到哪一级」的问题。最佳实践小结永远不要提交.bruin.yml——它包含连接与密钥bruin init生成的.gitignore已默认排除善用环境区分阶段——本地用 DuckDB/MotherDuck生产用 BigQuery 等云数仓切换环境即可切换连接无需改动资产代码显式设置default_environment为开发环境——防止误操作把本地或测试任务跑在生产上初始化后立即bruin validate .——尽早确认项目结构合法避免后续问题叠加保持「项目定义连接、管道引用连接」的边界——凭据最小化暴露团队间安全隔离。延伸阅读本模块开篇Introduction to Bruin安装与项目结构Getting Started with Bruin实战演练Building an End-to-End Pipeline with NYC Taxi Data下一个核心概念Core Concepts: Pipelines 与 Core Concepts: Assets【免费下载链接】data-engineering-zoomcampData Engineering Zoomcamp is a free 9-week course on building production-ready data pipelines. Join the course here 项目地址: https://gitcode.com/GitHub_Trending/da/data-engineering-zoomcamp创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考