Terraform AWS Provider 之 aws_lakeformation_data_lake_settings 数据源读取数据湖管理员与默认权限配置【免费下载链接】terraform-provider-awsThe AWS Provider enables Terraform to manage AWS resources.项目地址: https://gitcode.com/GitHub_Trending/te/terraform-provider-aws本篇技术指南围绕 Terraform AWS Provider 中的aws_lakeformation_data_lake_settings数据源展开讲解如何读取 AWS Lake Formation 中已配置的数据湖管理员Data Lake Administrators、只读管理员、外部数据过滤External Data Filtering相关开关以及创建数据库/表时的默认权限条目。读者学完后将能够将该数据源与配套资源aws_lakeformation_data_lake_settings结合在 Terraform 配置中审计、校验和引用当前账户的数据湖全局设置。数据源定位它是做什么的aws_lakeformation_data_lake_settings是 Terraform AWS Provider 中 Lake Formation 服务的一个只读数据源用于获取被指定为数据湖管理员data lake administrators的 Lake Formation 主体principal列表默认创建数据库create database与默认创建表create table权限的 principal 权限条目列表外部数据过滤、第三方引擎数据访问、可信资源所有者、会话标签等相关全局配置项。在内部实现上该数据源最终调用 AWS Lake Formation API 的GetDataLakeSettings操作见 internal/service/lakeformation/data_lake_settings_data_source.go并将返回的DataLakeSettings结构体展开为 Terraform 状态中的各个属性。Example Usage最小可用配置原文档给出的最简用法如下data aws_lakeformation_data_lake_settings example { catalog_id 14916253649 }这里的catalog_id是 Data Catalog 的标识符默认即 AWS 账户 ID。如果省略catalog_idProvider 会按账户 ID 处理在测试中可以看到未指定catalog_id时数据源同样可以工作参见 data_lake_settings_data_source_test.go 中的测试配置其显式传入了data.aws_caller_identity.current.account_id。一个更贴近真实账户的完整写法可以是data aws_caller_identity current {} data aws_lakeformation_data_lake_settings this { catalog_id data.aws_caller_identity.current.account_id } output lake_formation_admins { value data.aws_lakeformation_data_lake_settings.this.admins }Argument Reference输入参数该数据源只有两个可选参数参数类型说明regionstring该数据源所在区域默认取 Provider 配置中设置的 Region即 AWS 全局 Region 配置catalog_idstringData Catalog 的标识符默认是当前账户 ID跨账户场景下可显式指定目标账户 ID从源码看catalog_id在数据源 schema 中被定义为Optional的可选字符串data_lake_settings_data_source.go。读取时若配置中存在catalog_id会被放入GetDataLakeSettingsInput.CatalogId一并请求data_lake_settings_data_source.go未配置时则以当前账户为默认值。关于数据源的 ID值得留意的是该数据源的 Terraform 状态 ID 并不是 API 返回的任何 ID而是由create.StringHashcode(prettify(input))对请求输入结构体序列化后计算的哈希字符串data_lake_settings_data_source.go。其中prettify是项目内部对 AWS SDK v1String()方法行为的一个替代实现见 prettify.go会递归输出结构体的非空字段。这意味着同一份请求输入同一catalog_id会得到确定且稳定的 ID便于 Terraform 缓存与比对。Attribute Reference导出属性数据源除返回上述两个入参外还导出以下属性均为只读 Computed属性类型含义adminsset(string)数据湖管理员IAM 用户或角色的 ARN 列表allow_external_data_filteringbool是否允许 Amazon EMR 集群访问 Lake Formation 管理的数据allow_full_table_external_data_accessbool是否允许第三方查询引擎在调用方拥有全表数据访问权限时无需会话标签即可获取数据访问凭证authorized_session_tag_value_listlist(string)授权会话标签值列表Lake Formation 依赖由 Amazon EMR 或第三方集成方保护的授权流程在扮演用户角色时为其打上会话标签create_database_default_permissionslist(block)默认创建数据库权限的 principal 权限配置块最多 3 个结构见下create_table_default_permissionslist(block)默认创建表权限的 principal 权限配置块最多 3 个结构见下external_data_filtering_allow_listset(string)允许执行数据过滤的、含 Amazon EMR 集群的 AWS 账户 ID 列表parametersmap(string)附加配置键值对CROSS_ACCOUNT_VERSION取值可为1、2、3、4同时会返回SET_CONTEXT TRUE全新账户在未配置前CROSS_ACCOUNT_VERSION为1read_only_adminsset(string)仅对资源拥有只读查看权限的数据湖管理员IAM 用户或角色ARN 列表trusted_resource_ownerslist(string)调用方账户可向其共享用户访问详情用户 ARN的资源所属账户 ID 列表这些属性与数据源实现中的d.Set(...)一一对应data_lake_settings_data_source.go展开逻辑与配套资源aws_lakeformation_data_lake_settings完全一致。create_database_default_permissions / create_table_default_permissions 嵌套块两个配置块结构相同各包含两个字段字段类型含义permissionsset(string)授予主体的权限列表例如ALL、CREATE_TABLE、ALTER等 Lake Formation 权限枚举principalstring被授予权限的主体在配套资源中这两个块的每个元素都被建模为 AWS SDK 的PrincipalPermissions结构principal被映射为DataLakePrincipalIdentifierpermissions被映射为Permissions列表见 data_lake_settings.go。数据源读取时使用同样的flattenDataLakeSettingsCreateDefaultPermissions函数把 API 返回值还原为 Terraform 列表data_lake_settings_data_source.go。principal 的合法取值关于principal字段项目源码 validate.go 中的validPrincipal校验函数给出了可接受的取值形式特殊值IAM_ALLOWED_PRINCIPALS在全新账户默认配置中创建数据库/表默认权限的主体即是它{account_id}:IAMPrincipals形式的 IAM 主体特殊授权纯 AWS 账户 ID12 位数字形如arn:aws:iam::...:role/...、user/...、federated-user/...、group/...、ou/...、organization/...的 ARN 形式。测试用例中即以IAM_ALLOWED_PRINCIPALSALL权限作为默认值断言data_lake_settings_test.go。实战先配置资源、再用数据源审计aws_lakeformation_data_lake_settings同时存在配套的可写资源ResourceDataLakeSettings注册于 data_lake_settings.go。数据源最常见的实战用法是先由资源写入数据湖设置再由数据源读取并校验。项目自身的验收测试提供了一个可直接套用的模板data_lake_settings_data_source_test.godata aws_caller_identity current {} data aws_iam_session_context current { arn data.aws_caller_identity.current.arn } resource aws_lakeformation_data_lake_settings test { catalog_id data.aws_caller_identity.current.account_id admins [data.aws_iam_session_context.current.issuer_arn] } data aws_lakeformation_data_lake_settings test { catalog_id aws_lakeformation_data_lake_settings.test.catalog_id }该测试断言了以下关键属性data_lake_settings_data_source_test.gocatalog_id等于当前账户 IDadmins.#为1且admins.0等于当前 IAM 会话的issuer_arn默认未开启情况下allow_external_data_filtering false、allow_full_table_external_data_access falseexternal_data_filtering_allow_list与authorized_session_tag_value_list初始为空。另一个测试覆盖了read_only_admins场景data_lake_settings_data_source_test.go用于验证只读管理员列表也能被正确回读。在 CI / 合规检查中引用数据源由于数据源导出的是纯属性值可以在本地执行terraform plan或terraform apply后通过terraform output或配置间的引用关系自动审计当前账户的湖上权限状态。例如data aws_lakeformation_data_lake_settings audit {} locals { has_data_lake_admin length(data.aws_lakeformation_data_lake_settings.audit.admins) 0 cross_account_version data.aws_lakeformation_data_lake_settings.audit.parameters[CROSS_ACCOUNT_VERSION] } output data_lake_admin_count { value local.has_data_lake_admin } output cross_account_version { value local.cross_account_version }源码层面的实现细节与注意事项1. 读取逻辑一次 GetDataLakeSettings 调用数据源的dataSourceDataLakeSettingsRead函数是纯读取实现从metaProvider 客户端中取出LakeFormationClientdata_lake_settings_data_source.go构造GetDataLakeSettingsInput可选带上CatalogId调用GetDataLakeSettings对EntityNotFoundException做幂等处理非新资源时清理状态并返回data_lake_settings_data_source.go将output.DataLakeSettings的各字段逐一d.Set到状态。2. 空响应防御实现中显式检查output nil || output.DataLakeSettings nil返回 empty response 错误避免空指针data_lake_settings_data_source.go。3. parameters 的 Diff 抑制配套资源侧虽然数据源是只读的但理解parameters的语义对解读返回结果很有帮助。配套资源对parameters配置了DiffSuppressFuncdata_lake_settings.go当 API 默认返回CROSS_ACCOUNT_VERSION1、SET_CONTEXTTRUE而配置为空时不产生计划差异。测试也验证了全新账户在空配置下API 返回parameters.% 2且SET_CONTEXT TRUE、CROSS_ACCOUNT_VERSION 1data_lake_settings_test.go。因此在数据源结果中看到这两个默认键值对是正常现象。4. 删除时的“重置”语义配套资源的Delete会以空管理员、空默认权限以及CROSS_ACCOUNT_VERSION1、SET_CONTEXTTRUE的默认参数重新执行PutDataLakeSettings实现“恢复默认”而不是真正删除data_lake_settings.go。这意味着数据源在任何时刻读到的都是账户级唯一的全局设置快照。与配套资源的异同维度数据源aws_lakeformation_data_lake_settings资源aws_lakeformation_data_lake_settings行为只读导出全部设置属性可 Create / Read / Update / Delete参数仅region、catalog_id全部设置项均可写如admins、read_only_admins、parameters、各默认权限块权限校验无admins/read_only_admins校验合法 ARNtrusted_resource_owners校验账户 IDprincipal 校验见validPrincipal写入容错—PutDataLakeSettings遇到Invalid principal或ConcurrentModificationException时自动重试data_lake_settings.go因此推荐的工作流是用资源声明期望的数据湖设置用数据源读取实际生效值二者共享同一套 schema 字段名引用与比对都非常直接。小结aws_lakeformation_data_lake_settings数据源是审计与引用 Lake Formation 全局设置的入口通过catalog_id锁定目标 Data Catalog通过admins、read_only_admins、create_database_default_permissions、create_table_default_permissions、parameters等属性完整还原数据湖的权限基线。配合配套资源与项目内实现的验收测试data_lake_settings_data_source_test.go开发者可以在 Terraform 配置中稳定地获取、比对和展示当前账户的 Lake Formation 数据湖设置。【免费下载链接】terraform-provider-awsThe AWS Provider enables Terraform to manage AWS resources.项目地址: https://gitcode.com/GitHub_Trending/te/terraform-provider-aws创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考