1. DolphinScheduler单机部署概述DolphinScheduler作为一款开源的分布式工作流任务调度系统在数据开发领域有着广泛的应用。单机部署模式特别适合个人开发者学习、测试和小规模生产环境使用。相比集群部署单机版将所有服务集成在一个进程中运行大大降低了部署复杂度。我在实际工作中发现很多团队在初次接触DolphinScheduler时都会选择从单机版开始这确实是个明智的选择。单机版虽然功能有所简化但核心的调度能力、工作流管理等功能一应俱全完全能满足日常开发测试需求。2. 环境准备与安装2.1 系统要求建议使用Linux系统进行部署我推荐Ubuntu 20.04 LTS或CentOS 7.x。硬件配置方面最低要求2核CPU、4GB内存和50GB磁盘空间。如果只是测试用途1核2GB的云服务器也能跑起来。注意生产环境建议至少4核8GB配置特别是当工作流任务较多时2.2 依赖组件安装DolphinScheduler需要Java和MySQL环境支持# 安装OpenJDK 8 sudo apt update sudo apt install -y openjdk-8-jdk # 验证Java版本 java -versionMySQL建议使用5.7或8.0版本。安装完成后需要创建一个专用数据库和用户CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8mb4; CREATE USER dolphinscheduler% IDENTIFIED BY dolphinscheduler123; GRANT ALL PRIVILEGES ON dolphinscheduler.* TO dolphinscheduler%; FLUSH PRIVILEGES;3. 详细部署步骤3.1 下载与解压从华为镜像站下载速度通常较快wget https://mirrors.huaweicloud.com/apache/dolphinscheduler/3.4.1/apache-dolphinscheduler-3.4.1-bin.tar.gz tar -zxvf apache-dolphinscheduler-3.4.1-bin.tar.gz cd apache-dolphinscheduler-3.4.1-bin3.2 数据库配置编辑环境配置文件vim bin/env/dolphinscheduler_env.sh关键配置项说明DATABASEmysql指定使用MySQL数据库SPRING_PROFILES_ACTIVE激活对应的数据库profileSPRING_DATASOURCE_URLJDBC连接字符串注意替换实际IPSPRING_DATASOURCE_USERNAME数据库用户名SPRING_DATASOURCE_PASSWORD数据库密码提示如果MySQL启用了SSL需要修改连接字符串中的useSSL参数3.3 MySQL驱动安装下载并复制驱动到各组件目录wget https://repo1.maven.org/maven2/com/mysql/mysql-connector-j/8.0.33/mysql-connector-j-8.0.33.jar cp mysql-connector-j-8.0.33.jar api-server/libs/ cp mysql-connector-j-8.0.33.jar master-server/libs/ cp mysql-connector-j-8.0.33.jar worker-server/libs/ cp mysql-connector-j-8.0.33.jar alert-server/libs/ cp mysql-connector-j-8.0.33.jar tools/libs/ cp mysql-connector-j-8.0.33.jar standalone-server/libs/3.4 数据库初始化执行schema升级脚本sh tools/bin/upgrade-schema.sh这个脚本会自动创建所有需要的表结构。执行完成后可以检查MySQL中是否生成了约50张表。3.5 插件安装DolphinScheduler支持多种任务插件sh bin/install-plugins.sh 3.4.1插件会下载到plugins目录包括Shell、Python、Spark等任务类型的支持。4. 服务启动与管理4.1 启动服务单机模式使用standalone-serversh bin/dolphinscheduler-daemon.sh start standalone-server启动后可以通过日志查看运行状态tail -f standalone-server/logs/dolphinscheduler-standalone.log4.2 服务管理命令命令功能start standalone-server启动服务stop standalone-server停止服务status standalone-server查看状态restart standalone-server重启服务4.3 访问Web UI服务启动后访问地址http://服务器IP:12345/dolphinscheduler/ui默认登录凭证用户名admin密码dolphinscheduler123首次登录后建议立即修改密码。5. 常见问题排查5.1 端口冲突如果12345端口被占用可以修改配置vim standalone-server/conf/application.yaml搜索server.port修改为其他可用端口。5.2 数据库连接失败检查要点MySQL服务是否正常运行防火墙是否放行3306端口连接字符串中的IP、端口、用户名密码是否正确用户是否有数据库访问权限5.3 插件加载失败如果某些任务类型不可用可能是插件安装失败。可以手动下载插件包放到plugins目录然后重启服务。6. 生产环境优化建议虽然单机版适合测试但如果用于小规模生产环境建议做以下优化调整JVM参数编辑standalone-server/conf/env/dolphinscheduler_env.sh根据服务器配置调整export STANDALONE_SERVER_OPTS中的内存设置配置外部存储默认使用本地文件系统存储资源文件建议配置为HDFS或S3等分布式存储定期备份元数据库MySQL中的数据包含了所有工作流定义和任务历史建议设置定期备份策略监控设置配置Prometheus监控指标或定期检查日志文件我在实际部署中发现单机版可以稳定支持每天数百个任务的调度执行。当任务量超过这个规模时建议考虑升级到集群模式以获得更好的性能和可靠性。
