消息队列后端流处理【免费下载链接】pulsarApache Pulsar - distributed pub-sub messaging system项目地址https://gitcode.com/gh_mirrors/pulsar28/pulsar点击查看免费下载导读Apache Pulsar 的 Admin 接口admin interface是管理 Pulsar 实例中所有核心实体tenant、namespace、topic 等的统一入口它包含pulsar-admin命令行工具、Broker 暴露的 REST API 以及 Java Admin API 三种交互方式。本文以 Pulsar 仓库中的官方文档为基础结合 conf/client.conf、PulsarAdmin.java、PulsarAdminImpl.java 等源码与配置完整讲解三种管理接口的用法、认证Authentication与 TLS 配置、Java 客户端构建方式以及在 Kubernetes 上运行 Functions/Connectors 时的资源命名规则帮助你从零搭建可用的 Pulsar 管理链路。三种 Admin 交互方式总览Pulsar 的 Admin 接口允许你管理实例中的全部重要实体例如Tenant租户资源隔离与配额分配的逻辑单元Namespace命名空间topic 的组织与管理单元Topic主题消息生产和消费的基本单元。官方文档明确指出你可以通过以下三种方式与 Admin 接口交互pulsar-adminCLI 工具位于 Pulsar 安装目录的bin文件夹下直接执行bin/pulsar-admin在源码仓库中bin/pulsar-admin-common.sh 定义了该工具的启动逻辑其默认客户端配置指向$PULSAR_HOME/conf/client.conf即仓库中的 conf/client.conf日志配置使用conf/log4j2.yaml。HTTP REST API由 Pulsar Broker 提供面向REST的 HTTP 调用。需要注意部分 RESTful API 可能会被重定向到负责该资源的 owner broker 进行服务返回307 Temporary Redirect因此 HTTP 调用方必须处理 307 重定向。如果使用curl需要显式指定-L参数跟随重定向curl -L http://localhost:8080/admin/v2/namespaces/public/default有趣的是从源码看Java Admin 客户端内部已经自动处理了这一情况PulsarAdminImpl.java 在构建 JAX-RSClientConfig时设置了ClientProperties.FOLLOW_REDIRECTS, true因此 Java 调用方无需自行处理 307。Java 客户端接口面向 Java 开发者通过PulsarAdmin对象以类型安全的方式调用全部管理能力。核心原则REST API 就是 Admin 接口本身。无论是pulsar-adminCLI 工具还是 Java 客户端底层都封装并调用 Broker 的 REST API。如果你需要实现自己的 Admin 接口客户端应当直接基于 REST API 开发。开启认证后的 Admin 配置如果 Pulsar 实例启用了认证那么三种 Admin 接口CLI、REST API、Java Admin API都需要进行相应的专门配置。pulsar-admin CLIconf/client.conf 参数详解pulsar-admin工具的配置默认位于conf/client.conf文件仓库根目录下的 conf/client.conf 即是真实模板。官方文档给出的核心参数如下参数说明默认值webServiceUrl集群的 WebRESTURLhttp://localhost:8080/brokerServiceUrl集群的 Pulsar 二进制协议 URLpulsar://localhost:6650/authPlugin认证插件类名空authParams集群认证参数逗号分隔的字符串空useTls集群是否强制启用 TLSfalsetlsAllowInsecureConnection是否接受客户端无法验证的 TLS 证书falsetlsTrustCertsFilePath受信任 TLS 证书文件路径空对照仓库中的真实 conf/client.conf除上述字段外还包含一批生产环境常用的 TLS/KeyStore 参数tlsEnableHostnameVerificationfalse是否校验服务端主机名与证书 CN/SAN 一致useKeyStoreTlsfalse是否使用 KeyStore 类型的 TLS 配置false表示使用默认 PEM 类型配置tlsTrustStoreTypeJKSTrustStore 类型支持JKS、PKCS12tlsTrustStorePath与tlsTrustStorePasswordTrustStore 路径与密码。文件中还给出了 TLS 场景下的典型写法# TLS 时 Web 服务地址 webServiceUrlhttps://localhost:8443/ # TLS 时二进制协议地址 brokerServiceUrlpulsarssl://localhost:6651/ # TLS 认证插件示例 authPluginorg.apache.pulsar.client.impl.auth.AuthenticationTls # 认证参数为 key:value 的逗号分隔列表键取决于 authPlugin authParamstlsCertFile:/path/to/client-cert.pem,tlsKeyFile:/path/to/client-key.pemREST API随文档发布Broker 暴露的 REST API 详细参数、响应与示例由 REST 文档统一提供本文不重复罗列直接以{REST}端点文档为准。Java Admin APIPulsarAdmin 构建实战要使用 Java Admin API需要实例化一个PulsarAdmin对象并指定 Pulsar Broker 的 URL 与对应的PulsarAdminBuilder。下面是官方文档给出的localhost单 Broker 最小示例String url http://localhost:8080; // 若启用了 Pulsar 安全认证传入认证插件类的全限定名 String authPluginClassName com.org.MyAuthPluginClass; // 若认证插件需要参数传入 auth-param String authParams param1value1; boolean useTls false; boolean tlsAllowInsecureConnection false; String tlsTrustCertsFilePath null; PulsarAdmin admin PulsarAdmin.builder() .authentication(authPluginClassName, authParams) .serviceHttpUrl(url) .tlsTrustCertsFilePath(tlsTrustCertsFilePath) .allowTlsInsecureConnection(tlsAllowInsecureConnection) .build();如果集群有多个 Broker可以像连接 Pulsar 服务一样使用多主机地址multi-host例如同时指定三个 BrokerString url http://localhost:8080,localhost:8081,localhost:8082; // 认证插件类全限定名启用安全认证时 String authPluginClassName com.org.MyAuthPluginClass; // 认证插件参数 String authParams param1value1; boolean useTls false; boolean tlsAllowInsecureConnection false; String tlsTrustCertsFilePath null; PulsarAdmin admin PulsarAdmin.builder() .authentication(authPluginClassName, authParams) .serviceHttpUrl(url) .tlsTrustCertsFilePath(tlsTrustCertsFilePath) .allowTlsInsecureConnection(tlsAllowInsecureConnection) .build();源码视角PulsarAdminBuilder 提供了哪些能力从源码看PulsarAdmin.builder()静态方法位于 PulsarAdmin.java返回一个PulsarAdminBuilder接口实例实际实现为 PulsarAdminBuilderImpl.java。Builder 接口 PulsarAdminBuilder.java 提供的方法族可以归为四类认证相关三重重载authentication(String authPluginClassName, String authParamsString)传入插件类名与逗号分隔字符串参数authentication(String authPluginClassName, MapString, String authParams)传入插件类名与键值对 Mapauthentication(Authentication authentication)直接传入已构造好的Authentication实例。底层实现通过AuthenticationFactory.create(...)创建认证提供者见 PulsarAdminBuilderImpl.java并在loadConf(...)时调用setAuthenticationFromPropsIfAvailable自动从配置项authPluginClassName/authParams中恢复认证。TLS 相关tlsTrustCertsFilePath(...)受信任证书文件路径allowTlsInsecureConnection(...)是否接受不可信证书默认falseenableTlsHostnameVerification(...)是否校验主机名遵循 RFC 2818 3.1 Server Identity 校验useKeyStoreTls(...)、sslProvider(...)、tlsTrustStoreType(...)、tlsTrustStorePath(...)、tlsTrustStorePassword(...)、tlsCiphers(...)、tlsProtocols(...)KeyStore 模式与加密套件、协议配置。超时与刷新connectionTimeout(int, TimeUnit)建连超时readTimeout(int, TimeUnit)服务端响应读取超时requestTimeout(int, TimeUnit)请求整体超时autoCertRefreshTime(int, TimeUnit)TLS 认证场景下证书自动刷新间隔。默认值定义在 PulsarAdminImpl.java 中连接超时 60 秒、读取超时 60 秒、请求超时 300 秒、证书刷新间隔 300 秒。通用能力loadConf(MapString, Object)从配置 Map 批量载入参数例如config.put(serviceHttpUrl, http://localhost:8080)clone()复制 Builder便于在同一份基础配置上派生多个客户端build()构建最终PulsarAdmin实例URL 缺失时会抛出参数校验异常Service URL needs to be specified。PulsarAdmin 能管理什么PulsarAdmin对象是全部管理入口的门面facade其接口方法见 PulsarAdmin.java覆盖了 Pulsar 管理的方方面面集群与节点clusters()、brokers()、bookies()、brokerStats()、proxyStats()租户与命名空间tenants()、namespaces()、resourcegroups()、resourceQuotas()properties()自 2.0 起废弃改用tenants()消息与数据topics()、topicPolicies()、schemas()、lookups()、packages()、transactions()函数生态functions()、sources()、sinks()、worker()。此外从 PulsarAdminImpl.java 的实现可以看到PulsarAdmin底层基于 JAX-RSClientBuilder构建 HTTP 客户端是否启用 TLS 由serviceUrl是否以https://开头自动判断clientConfigData.getServiceUrl().startsWith(https://)并默认注册 Jackson JSON 序列化与MultiPartFeature这些细节都印证了REST API 是 Admin 接口底层的架构论断。Kubernetes 环境下 Pulsar 资源命名规范如果在 Kubernetes 上运行 Pulsar Functions 或 Connectors无论使用哪种 Admin 接口都需要遵循 Kubernetes 的命名规范来定义 Pulsar 资源名称。Kubernetes 要求名称满足 RFC 1123 中 DNS 子域名的约束而 Pulsar 本身支持比 Kubernetes 命名规范更多的合法字符例如 Namespace 名称中允许包含冒号:。Kubernetes 运行时会把这些 Pulsar 对象名翻译为符合 RFC 1123 的 Kubernetes 资源标签resource labels从而让 Functions/Connectors 得以在 Kubernetes 上运行。翻译规则如下截断名称截断至 63 个字符替换为短横线-将所有非字母数字字符、下划线_、点.替换为-首尾兜底将开头和结尾的非字母数字字符替换为0。提示如果翻译 Pulsar 对象名为 Kubernetes 资源标签时出现错误例如对象名过长导致命名冲突或希望自定义翻译规则可参考 Kubernetes Runtime 的自定义配置customize Kubernetes runtime说明Kubernetes Runtime 的完整配置方式参见 Functions Runtime 的 configure Kubernetes runtime 章节。一个直观的示例若 Pulsar Namespace 名为public/default含点号且超过 63 字符的长名称Kubernetes 运行时都会按上述规则转换为形如public-default-xxxxxxxxxx的合法标签。实践中最稳妥的做法是从一开始就使用 63 字符以内的、仅含字母数字与短横线的资源名避免触发翻译与潜在冲突。小结本指南完整覆盖了 Pulsar Admin 接口的三大入口pulsar-adminCLI开箱即用配置集中在 conf/client.conf适合日常命令行管理与脚本化运维REST API一切管理能力的真实载体调用时务必处理 307 重定向curl -LJava Admin API通过PulsarAdmin.builder()构建类型安全的管理客户端PulsarAdminBuilder.java 提供了完整的认证、TLS、超时配置能力并在多 Broker 场景下支持逗号分隔的多主机 URL。在开启认证的环境中请按需配置认证插件与 TLS 参数在 Kubernetes 上运行函数与连接器时请严格遵守 RFC 1123 兼容的资源命名规则。理解REST API 即 Admin 接口这一架构本质后你无论是调用 CLI、写 Java 代码还是自定义管理客户端都能准确预判行为并排障。赞分享消息队列后端流处理【免费下载链接】pulsarApache Pulsar - distributed pub-sub messaging system项目地址https://gitcode.com/gh_mirrors/pulsar28/pulsar点击查看免费下载相关推荐Apache Pulsar Admin 接口完全指南pulsar-admin CLI、REST API 与 Java Admin APIApache Pulsar Admin 接口完全指南pulsar admin CLI、REST API 与 Java Admin API 导读 Apache消息队列后端流处理Apache Pulsar Admin 接口完全指南pulsar-admin CLI、REST API 与 Java 客户端Apache Pulsar Admin 接口完全指南pulsar admin CLI、REST API 与 Java 客户端 Apache Pulsar 的消息队列后端流处理Apache Pulsar Admin 接口详解pulsar-admin CLI、REST API 与 Java Admin API 的体系化使用指南Apache Pulsar Admin 接口详解pulsar admin CLI、REST API 与 Java Admin API 的体系化使用指南 Apa消息队列后端流处理上一篇Data-Juicer与Ray集成构建企业级数据处理平台的终极指南下一篇云存储集成Instatic与AWS S3、Cloudflare R2配置指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
