1. Flink 1.20 单机部署的核心价值与应用场景在实时数据处理领域Flink 已经成为事实上的行业标准。最新发布的 1.20 版本带来了多项性能优化和新特性包括增强的 SQL 语法支持、改进的检查点机制以及更高效的资源管理。对于开发者而言在本地环境快速搭建一个可用的 Flink 单机实例是进行功能验证、API 测试和小规模数据处理的首选方案。Docker 化部署相比传统安装方式具有显著优势环境隔离避免与宿主机环境产生依赖冲突快速启动镜像拉取即可运行无需复杂配置版本管理轻松切换不同 Flink 版本进行测试资源可控可精确分配 CPU 和内存资源这个部署方案特别适合以下场景开发人员本地调试 Flink 作业教学演示和概念验证(POC)小规模数据管道测试CI/CD 环境中的集成测试2. 环境准备与工具选型2.1 基础环境要求在开始部署前请确保你的系统满足以下条件操作系统Linux/Windows 10/macOS 10.15推荐使用 Linux 发行版Docker 版本20.10.0 或更高可用内存至少 4GB建议 8GB 以上磁盘空间至少 5GB 可用空间重要提示Windows 用户需要确认已启用 WSL 2 和 Hyper-V 功能。如果遇到 virtualization support not detected 错误需进入 BIOS 启用虚拟化支持。2.2 镜像选择策略官方提供了多个 Flink Docker 镜像变体我们需要根据使用场景做出选择镜像标签适用场景包含组件flink:1.20.0-scala_2.12标准 Scala 2.12 环境JobManager TaskManagerflink:1.20.0-java11纯 Java 环境基础运行时flink:1.20.0-python_3.8包含 PyFlink 支持Python 3.8 环境对于大多数 Java/Scala 开发者推荐使用flink:1.20.0-scala_2.12镜像它已经预装了完整的运行时环境。3. 详细部署步骤3.1 拉取官方镜像打开终端执行以下命令获取镜像docker pull flink:1.20.0-scala_2.12验证镜像下载成功docker images | grep flink预期输出应包含类似信息flink 1.20.0-scala_2.12 a1b2c3d4e5f6 2 weeks ago 789MB3.2 启动独立集群Flink 单机部署实际上是在单个容器内运行迷你集群包含一个 JobManager 和一个 TaskManager。使用以下命令启动docker run -d \ --name flink-standalone \ -p 8081:8081 \ -p 6123:6123 \ -e JOB_MANAGER_RPC_ADDRESSjobmanager \ flink:1.20.0-scala_2.12 \ standalone-job参数说明-p 8081:8081映射 Web UI 端口-p 6123:6123映射 RPC 通信端口-e JOB_MANAGER_RPC_ADDRESS设置 JobManager 地址3.3 验证集群状态检查容器运行状态docker ps -f nameflink-standalone访问 Web 控制台http://localhost:8081正常情况应该看到 Flink Dashboard在 Task Managers 标签页下应该显示 1 个活跃的 TaskManager。4. 核心配置调优4.1 内存资源配置默认配置可能不适合你的硬件环境可以通过环境变量调整docker run -d \ --name flink-standalone \ -p 8081:8081 \ -e JOB_MANAGER_HEAP_SIZE1024m \ -e TASK_MANAGER_HEAP_SIZE2048m \ -e TASK_MANAGER_NUMBER_OF_TASK_SLOTS2 \ flink:1.20.0-scala_2.12 \ standalone-job关键参数JOB_MANAGER_HEAP_SIZEJobManager 堆内存默认 1024mTASK_MANAGER_HEAP_SIZETaskManager 堆内存默认 1024mTASK_MANAGER_NUMBER_OF_TASK_SLOTS每个 TaskManager 的任务槽数默认14.2 持久化配置为了保存作业状态和检查点需要挂载持久化卷docker run -d \ --name flink-standalone \ -v /path/to/checkpoints:/opt/flink/checkpoints \ -v /path/to/savepoints:/opt/flink/savepoints \ flink:1.20.0-scala_2.12 \ standalone-job5. 常见问题排查指南5.1 容器启动失败现象容器立即退出状态为 Exited (1)排查步骤查看容器日志docker logs flink-standalone常见原因端口冲突特别是 8081 端口内存不足增加 Docker 资源分配镜像损坏重新拉取镜像5.2 Web UI 无法访问现象浏览器无法打开 localhost:8081解决方案确认容器正在运行docker ps检查端口映射docker port flink-standalone尝试从容器内部测试docker exec -it flink-standalone curl localhost:80815.3 作业提交失败现象作业提交后立即失败检查要点确认 JobManager 地址正确检查网络连接docker exec -it flink-standalone ping jobmanager验证资源是否充足docker stats flink-standalone6. 进阶使用技巧6.1 使用 Docker Compose 管理创建docker-compose.yml文件version: 3.8 services: jobmanager: image: flink:1.20.0-scala_2.12 ports: - 8081:8081 command: jobmanager environment: - JOB_MANAGER_RPC_ADDRESSjobmanager taskmanager: image: flink:1.20.0-scala_2.12 depends_on: - jobmanager command: taskmanager environment: - JOB_MANAGER_RPC_ADDRESSjobmanager启动集群docker-compose up -d6.2 集成外部系统要连接 Kafka、MySQL 等外部系统需要将驱动 JAR 放入容器docker cp kafka-clients.jar flink-standalone:/opt/flink/lib/重启容器使配置生效6.3 性能监控配置启用 Prometheus 监控修改conf/flink-conf.yamlmetrics.reporter.prom.class: org.apache.flink.metrics.prometheus.PrometheusReporter metrics.reporter.prom.port: 9250重新打包自定义镜像7. 生产环境注意事项虽然单机部署适合开发和测试但在生产环境中需要考虑高可用配置设置多个 JobManager 实例使用 ZooKeeper 实现领导者选举资源隔离为 Docker 容器设置资源限制使用--cpus和--memory参数日志管理docker run -d \ --log-driverjson-file \ --log-opt max-size10m \ --log-opt max-file3 \ flink:1.20.0-scala_2.12网络配置使用自定义 Docker 网络为容器设置固定 IP8. 版本升级与迁移当需要升级到新版本时备份检查点和保存点docker exec flink-standalone cp -r /opt/flink/checkpoints /backup/停止旧容器docker stop flink-standalone启动新版本容器docker run -d \ --name flink-new \ -v /backup/checkpoints:/opt/flink/checkpoints \ flink:1.21.0-scala_2.12从保存点恢复作业flink run -s /opt/flink/savepoints/savepoint-123456 \ -d your-job.jar