DataHub Cloud v0.3.16 版本发布说明结构化属性提案、Ask DataHub 公测与连接器增强全景解析【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahub导读本文基于 DataHubAcryl DataHub Cloud 服务版官方发布文档 v_0_3_16.md系统梳理 v0.3.16 及后续 7 个补丁版本v0.3.16.1 至 v0.3.16.7-acryl的核心变更Ask DataHub 与 Context Documents 转公测、结构化属性提案流程、Smart Freshness 断言调优、一批新数据源连接器Azure Data Factory、Snowflake Semantic Views、Oracle 增强、Kafka Connect 智能血缘等并结合本仓库源码metadata-ingestion中的 Tags→Structured Properties 转换器与avro_schema_to_mce_fields校验扩展对关键功能做落地解读。阅读本文你可以掌握 v0.3.16 的版本配套关系CLI/SDK、Remote Executor、Helm、API Gateway 的推荐版本矩阵、已知问题规避方案以及如何在本地数据管道中复现本版本引入的标签迁移与 Avro 名称校验能力。一、版本总览与配套矩阵1.1 主版本信息v0.3.16 的发布可用日期Release Availability Date为2026-01-19是 Acryl DataHub Cloud 系列在 2026 年初的一次大版本更新。它不仅在功能层面一次性引入多项 Public Beta 能力还在后续数月中持续以补丁形式演进直至 2026-04-08 的 v0.3.16.7-acryl因此阅读本版本时建议同时关注 release-notes 目录 下的其他发布说明以掌握演进脉络。1.2 推荐版本配套Recommended VersionsCLI/SDK1.3.1.7.post1Remote Executorv0.3.16-acryl推荐、v0.3.15-acryl、v0.3.14.1-acrylOn-Prem 版本Helm1.5.173后在 v0.3.16.5-acryl 中更新为1.6.20并在 v0.3.16.3 已知问题中建议升级至1.6.12及以上API Gateway0.6.0Actions0.0.3⚠️ 若你的部署采用 Helm 方式务必结合下文“已知问题”一节核对 Helm chart 版本避免命中 scroll 分页缺陷。二、v0.3.16 主版本亮点2026-01-192.1 Ask DataHub转 Public Beta走向多端与多模型Ask DataHub 对话助手正式进入Public Beta面向所有客户开放覆盖DataHub 界面、Slack、Microsoft Teams三个入口。如果你不希望实例启用 Ask DataHub需要联系客户代表关闭。围绕它有三项重点变化Context DocumentsPublic Beta支持在 DataHub 中创建 Runbooks、FAQ、业务定义、决策日志等上下文文档可链接到相关数据资产与文档并可在准备就绪后再对外发布供 Ask DataHub 和团队成员引用。这与仓库中的文档体系例如 docs/features/feature-guides/context/context-documents.md对应。Editing Tools 进入 Ask DataHub 与 MCP Server现在可以通过自然语言直接修改数据资产例如更新描述、增删标签tags、术语terms、域domains、结构化属性structured properties与所有者owners。Gemini on GCP托管于 Google Cloud Platform 的客户其 Ask DataHub 等 AI 功能可通过 Gemini 提供支持需联系客户代表开启。此外Ask DataHub 还引入了AI Chat Modesv0.3.16.1-acrylPrivate Beta与聊天反馈Chat feedbackPrivate Beta并在 v0.3.16.2 中持续优化任务中心Task center性能。2.2 观测能力Observe增强Observe Python SDK完整支持管理全部原生断言类型包括列值column value、Smart SQL 与 Schema 断言。仓库中可参考 datahub-actions 与 docs/managed-datahub/observe 的观测文档体系。按需断言On-demand assertions with parameters在断言的 SQL 语句中使用模板参数运行时动态替换实现按需触发。Smart Freshness 断言调优可标记历史异常、添加排除窗口exclusion windows、调节灵敏度改进未来新鲜度异常检测。Query AttributionObserve 发出的仓库查询会携带查询标签Snowflake 使用 query tags、BigQuery 使用 job labels、Redshift 与 Databricks 使用标准 SQL 注释便于成本归因。Data Consistency对 Assertion 与 Monitor 实体增加了额外的校验与检查。2.3 连接器与数据管道Azure Data Factory Connector新增一等公民连接器用于摄取 ADF 管道元数据原生跟踪基于 Azure 的数据编排工作流。Snowflake Semantic Views支持摄取 Snowflake 语义视图扩展元数据覆盖。Enhanced Oracle Connector支持物化视图、存储过程与使用统计。Kafka Connect Intelligent Lineage可从 DataHub 自动推断血缘大幅减少 Kafka 管道的人工血缘配置。Hive Metastore Upstream Lineage新增 Hive 表的数据流追踪能力同时新增Hive Thrift 连接模式 Kerberos用于企业 Hadoop 环境的加密连接。S3 File Sink恢复直接写入 S3 的能力支持 S3 元数据存储与备份。OAuth 支持 Kafka 集成为 Kafka producers 和 sinks 增加 OAuth 回调。PowerBI Amazon Athena Lineage支持从 PowerBI 仪表盘到 AWS 数据的跨平台血缘。Redshift Query TaggingRedshift 查询携带查询标签。Tags to Structured Properties Transformer将标签转换为结构化属性的新 transformer——详见下文“核心功能落地解读”。2.4 改进、修复与兼容性SQL 解析增强MSSQL 语句分割表达式以括号结尾、Dremio 等源的 3 部分表名、Snowflake 一致的列级血缘。兼容性修复Confluent Kafka 2.13 破坏性变更、Metabase 0.57legacy-mbql 参数支持、Docker Compose 5.xquickstart 环境。安全与稳定性SQLAlchemy 密码掩码编码、Fivetran REST API 错误处理、Grafana 连接器多项问题、MSSQL 存储过程血缘。连接器可靠性Redshift 血缘忽略禁用标志、BigQuery 临时表大小写归一化、Unity Catalog schema 模式处理、CSV enricher 远程文件 HTTP 状态检查、Fivetran 带引号标识符处理。SDK 增强Python SDK 支持参数化断言运行、DataJob 环境默认值使用 flow_urn 时、结构化属性版本字段支持。2.5 其他修复Snowflake 私有密钥认证支持。“By Assertion” 页签的数据健康仪表盘链接分享修复。Slack 对遗留断言失败的告警正确路由到断言。修复损坏的遗留断言导致其他断言不显示的问题MCP Upgrade Step 失败。首页域模块的视图授权问题。摄取列表点击 executor 名称后可能出现的错误页。部分断言未显示在数据集质量页签的问题。外部上报的断言运行事件未触发通知的问题。非活跃 metadata-tests 的分页修复确保批处理模式下处理全部 metadata tests。ElasticSearch setup 在 system-update 流程中的多项修复、影响分析部分结果修复、CI 稳定性修复。三、补丁版本演进v0.3.16.1 至 v0.3.16.7-acryl版本日期关键内容v0.3.16.1-acryl-AI Chat ModesPrivate Beta、聊天反馈、Lineage 卡片图片 fallback、More filters UX 改进v0.3.16.2-acryl-固定 acryl-datahub CLI/SDK 至 1.3.1.7、更多 filters 下拉 tooltip 修复、任务中心不再为 action requests 拉取 schema 元数据性能v0.3.16.3-acryl-GraphQL 跳过 sibling search性能、FastMCP 升级、Forms 查询优化、OpenAPI scroll 修复、GraphQL 递归防护、资产下载 filters 修复、lineage 受限实体处理、任务中心 workflow 名称、acryl-executor 环境变量透传、setuptools82 约束、两阶段搜索排序Private Beta、文档实体语义搜索Private Beta、恢复 Gzip 压缩#16036、GraphQL 无限递归防护#16114、OpenSearch ReIndex 配置#16128v0.3.16.4-acryl-数据产品提案、查询表中用户、任务中心表单数据、server-side Semantic Search ConfigsbedrockGraphQL 修复、Open AI Proxy 转发 LLM 调用时自定义 headers、OpenSearch rescoring 日志清理v0.3.16.5-acryl-Helm 1.6.20ES/OpenSearch object 类型映射dynamic: true避免 reindex 循环索引构建可配置 slow-op 超时、count 重试、createIndex 重试搜索引擎检测失败原因写入 IOExceptionES8 reindex 使用waitForCompletion(false)保留策略按 (urn,aspect) DELETE保留摄取移至 datahub-upgrade 非阻塞步骤ingestion 依赖更新setuptools82、urllib3 1.26.x、Snowflake connector≥4、cryptography≥46、新增 gcs-slim/abs-slimavro_schema_to_mce_fields支持可选validate_namesSnowflakeprivate_key支持 SecretStr 与 str固定 cryptography≥46.0.5CVE-2026-26007。“Entities per platform” 图表排除查询索引OIDC 设置默认值显示优化搜索栏选择实体后保留查询与建议文档编辑器主题感知工具栏Confluence recipe 配置路径更新为spaces.allow/deny与pages.allow/denySlack/Teams 聊天排除 USER- 与 MUTATION- 标记工具明暗主题 token 扩展v0.3.16.6-acryl2026-04-07安全OIDC 不再通过 GraphQL 暴露 client secret仅用hasClientSecretSSO 保存错误通过从更新 mutation 中省略只读字段修复#8887。产品结构化属性提案#8103、摄取 UI 缓存 bug 修复#8533、批量编辑对齐、实体档案中非可编辑字段与可编辑结构化属性一致使用显示名#8352。平台CI/镜像copy_reworkflow 变体列表修复、部分同步与版本对齐 acyl-main#8844v0.3.16.7-acryl2026-04-08Remote executor内置 acryl-executor 升级至0.3.5.1原 0.3.5摄取功能的能力检查不再使用固定子进程超时慢冷启动更不容易失败四、核心功能落地解读从发布说明到仓库源码4.1 结构化属性提案Structured Property Proposalsv0.3.16.6-acryl#8103本补丁的核心是让结构化属性的编辑体验更清晰在资产和数据集 Schema 列上区分两条路径拥有完整写权限时可直接编辑/upsert否则进入需要审批的提案流程。分离两种操作提议新增结构化属性值与提议更新已有值更新提案不能新增属性。同一模式也应用于 Schema 字段的列级。这套功能与仓库中结构化属性的完整能力呼应类型化取值、约束支持、按实体挂载。参考 docs/api/tutorials/structured-properties.md 可了解创建、列表、读取、删除、挂载、patch、破坏性 schema 变更与搜索聚合的完整 API 流程。4.2 Tags → Structured Properties Transformerv0.3.16 主版本发布说明提到的新 transformer 在仓库中已有完整实现与单测实现tags_to_structured_properties.py单测test_tags_to_structured_properties.py该转换器支持两种标签格式键值对标签如dept:Finance键成为属性 ID值成为属性值。可通过key_value_separator默认:与key_value_property_prefix属性 ID 前缀配置分隔符按首次出现切分a:b:c→(a, b:c)见单测test_parse_key_value_tag_helper。关键字标签如Finance通过tag_structured_property_map属性 ID → 匹配关键字列表的倒排索引映射到预定义属性。行为标志process_key_value_tags默认false启用键值对解析开启后键值对解析优先于关键字映射单测test_key_value_takes_precedence验证。remove_original_tags默认false是否在转换后移除原始标签。一个属性可以累积多个值test_multiple_tags_same_property验证同一属性的多个值。转换结果输出两个 aspect原globalTags或None表示移除与新增structuredProperties无匹配时仅返回globalTags并记录 WARNINGtest_unmatched_tags_warning。支持实体类型dataset、chart、dashboard、dataJob、dataFlow、schemaFieldentity_types()方法。一个可运行的 recipe 配置示例来自源码 docstringtransformers: - type: tags_to_structured_properties config: process_key_value_tags: true key_value_separator: : key_value_property_prefix: io.company. tag_structured_property_map: io.company.department: values: [Finance, Sales, Marketing] io.company.dataClassification: values: [PII, Confidential] remove_original_tags: false4.3 Avro Schema 名称校验v0.3.16.5-acrylavro_schema_to_mce_fields新增可选参数validate_names默认false当为false时允许非合法 Avro 名称例如包含连字符的字段名通过解析。实现位于 schema_util.py字符串形式的 Avro schema 会以avro.schema.parse(avro_schema, validate_namesvalidate_names)解析。相关使用方包括 Confluent Schema Registry 与 Kafka 源metadata-ingestion/src/datahub/ingestion/source/confluent_schema_registry.py、kafka.py、kafka_profiler.py单测见metadata-ingestion/tests/unit/test_schema_util.py。4.4 平台稳定性与检索/索引增强v0.3.16.5-acrylES/OpenSearchobject 类型映射设置为dynamic: true如 ownerTypes避免 reindex 循环ES8 reindex 采用waitForCompletion(false)异步执行索引构建支持可配置的 slow-op 超时、count 重试与可选的 createIndex 重试搜索引擎检测失败原因写入 IOException 并做 null-safe 版本检查。Retention改为按 (urn, aspect) 的 DELETE 以更好地利用索引仅当策略允许时保留版本历史保留摄取移至 datahub-upgrade 的非阻塞步骤。4.5 依赖与供应链v0.3.16.5 与 v0.3.16.3setuptools 82、urllib3 1.26.x约束同时在 acryl-cloud 与 datahub-executor 的 build isolation 中生效。Snowflake 依赖更新connector ≥ 4、cryptography ≥ 46并固定cryptography46.0.5以修复 CVE-2026-26007。新增 gcs-slim / abs-slim 变体。FastMCP 升级至最新版本改进 MCP server 能力。五、已知问题与规避方案务必阅读系统升级可能在 v0.3.16.3 上卡住原因是 scroll 分页问题。规避方式二选一将 Helm chart 升级至1.6.12或更高版本在 GMS 上设置环境变量ELASTICSEARCH_QUERY_RESCORE_ENABLEDfalse并重启。同时结合 v0.3.16.5 的索引修复dynamic: true、异步 reindex、重试机制建议在升级路径上优先采用较新的 Helm chart 与补丁版本。六、升级与实践建议版本配套升级前先确认 CLI/SDK1.3.1.7.post1、Remote Executor首选v0.3.16-acryl、Helm1.6.20及以上、API Gateway0.6.0、Actions0.0.3之间的兼容性。安全优先v0.3.16.6 已封堵 OIDC client secret 经 GraphQL 暴露的漏洞升级后可仅依赖hasClientSecret判断且不要在自定义 mutation 中写入只读字段。AI 能力开关Ask DataHub 已默认公测如需关闭请联系客户代表GCP 客户可申请启用 Gemini 后端。标签治理迁移若计划从 Tags 迁移到结构化属性可直接复用tags_to_structured_propertiestransformer先在测试环境验证关键字映射与键值对解析的覆盖面再决定是否启用remove_original_tags。升级避坑在 Helm chart 达到 1.6.12 前记得配置ELASTICSEARCH_QUERY_RESCORE_ENABLEDfalse以规避升级挂起。本文所有功能描述均以当前仓库发布说明 v_0_3_16.md 与metadata-ingestion源码、单测为事实依据版本号、日期与配置项以仓库现状为准。【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahub创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考