1. 为什么我至今还在用 Kettle 做数据抽取第一次接触 Kettle 是在一个数据迁移项目里当时需要把业务系统里分散在多个库的订单、用户、商品数据汇总到一张宽表里做分析。团队里有人提议写 Python 脚本有人建议用数据库自带的 ETL 工具最后我们选了 Kettle。原因很简单它可视化、跨平台、免费而且对非程序员友好。几年下来我陆续在 Mac 和 Windows 上都部署过 Kettle踩过不少坑也总结了一套相对顺手的流程。这篇文章就把下载、安装、运行以及一个最基础的数据抽取案例完整讲一遍无论你是刚接触 ETL 的新手还是想快速搭一个数据同步管道的开发者都能直接照着操作。Kettle 现在官方叫 Pentaho Data Integration但圈子里还是习惯叫它 Kettle。它的核心逻辑是“转换”和“作业”转换负责具体的数据处理步骤作业负责调度和流程控制。你可以把它想象成一个数据流水线输入、处理、输出三个环节用拖拽的方式连起来不用写一行代码就能跑通。对于日常的数据抽取、清洗、加载任务它的效率比手写脚本高得多尤其是当数据源和目标是异构的时候。不过Kettle 的下载和运行在 Mac 和 Windows 上有些差异尤其是 Java 环境配置和界面启动方式。下面我会分平台讲清楚每一步并给出一个从 CSV 文件抽取数据到数据库的完整示例。2. 下载前的环境确认与版本选择2.1 Java 环境是硬门槛Kettle 是基于 Java 开发的所以运行前必须确保系统里有合适的 JDK 或 JRE。官方推荐 JDK 8 或 JDK 11更高版本也能跑但偶尔会遇到兼容性问题。我实测下来JDK 8 和 JDK 11 最稳JDK 17 在某些旧版本 Kettle 上会报模块访问错误。检查 Java 是否安装打开终端或命令提示符输入java -version如果显示版本号说明已经安装。如果没有需要先去 Oracle 官网或采用 OpenJDK 发行版下载安装。Mac 用户可以用 Homebrew 快速安装brew install openjdk11Windows 用户直接下载 JDK 安装包一路下一步即可。安装完后记得配置JAVA_HOME环境变量否则 Kettle 启动脚本可能找不到 Java。注意Mac 上如果同时装了多个 Java 版本可以用/usr/libexec/java_home -V查看所有版本然后通过export JAVA_HOME$(/usr/libexec/java_home -v 11)临时切换。2.2 版本选择稳定优先Kettle 的版本更新不算频繁但每个大版本之间有些 API 变化。对于生产环境我建议选 8.2 或 9.x 的稳定版。8.2 是很多企业还在用的经典版本社区资料多插件兼容性好。9.x 对 Java 11 支持更好界面也做了一些优化。下载渠道方面官方提供的是 Pentaho Data Integration 的社区版完全免费。直接搜“Pentaho Data Integration download”就能找到。下载页面会提供 Windows、Mac、Linux 三个平台的压缩包其实内容一样都是 Java 程序只是启动脚本不同。文件大小大概 1GB 左右下载完是一个 zip 包。Mac 和 Windows 都能直接用不需要安装解压就能跑。2.3 下载时容易忽略的细节下载页面有时候会引导你注册账号其实可以跳过直接找“Community Edition”的下载链接。另外有些镜像站点提供的版本可能被修改过建议从官方渠道下载避免安全风险。下载完成后Mac 用户可能会遇到解压后文件权限问题导致启动脚本无法执行。这时候需要手动加执行权限chmod x>cd /Users/username/kettle/data-integration ./spoon.sh第一次启动会弹出欢迎界面让你选择新建转换还是作业。如果启动时报“无法打开因为无法验证开发者”需要去“系统设置 - 隐私与安全性”里允许一下。另外Mac 的 Retina 屏幕下 Kettle 界面可能会模糊这是因为默认没有开启高分屏支持。可以在spoon.sh里加一行export JAVA_OPTS$JAVA_OPTS -Dswt.autoScale2这样界面就清晰了。3.2 Windows 下的启动与常见报错Windows 下直接双击Spoon.bat即可。如果闪退通常是 Java 环境没配好。可以打开命令提示符cd 到目录后执行Spoon.bat这样能看到具体的错误信息。常见的报错有“JAVA_HOME not set”或“找不到主类”前者配置环境变量后者检查 JDK 版本是否匹配。Windows 下还有一个坑如果系统安装了多个 Java 版本Kettle 可能调用了错误的那个。可以在Spoon.bat开头手动指定set JAVA_HOMEC:\Program Files\Java\jdk-11这样就能强制使用指定版本。3.3 界面初识与语言设置启动后Kettle 的界面分为几个区域左上角是“转换”和“作业”的树形结构中间是画布右侧是核心对象面板。默认语言是英文如果想用中文可以在菜单栏找到“Tools - Options”在“Look Feel”里切换语言。不过我个人建议保持英文界面因为大部分教程和社区讨论都是基于英文术语的中文翻译有时候反而让人困惑。比如“转换”对应 Transformation“作业”对应 Job这些术语在查资料时用英文更准确。4. 一个完整的数据抽取案例从 CSV 到数据库4.1 需求拆解与方案设计假设我们有一个 CSV 文件sales.csv里面是销售记录包含日期、产品、数量、单价四个字段。现在需要把这些数据抽取到一个 MySQL 数据库的sales表里并且在抽取过程中过滤掉数量为 0 的记录同时计算每条记录的总金额。这个需求虽然简单但涵盖了 ETL 的核心环节输入、转换、输出。用 Kettle 实现的话只需要三个步骤CSV 输入、过滤记录、字段计算最后输出到表。整个过程不需要写 SQL全部可视化配置。为什么选 Kettle 而不是写脚本因为 Kettle 的每一步都可以预览数据调试起来非常直观。如果 CSV 格式变了只需要改一下输入配置不用改代码逻辑。对于经常变动的数据源这种灵活性很关键。4.2 创建转换与配置 CSV 输入打开 Kettle新建一个转换。在核心对象面板里找到“输入”分类拖一个“CSV 输入”到画布上。双击它点击“浏览”选择sales.csv文件。然后点击“获取字段”按钮Kettle 会自动读取 CSV 的表头列出所有列。这时候需要检查每列的格式是否正确。比如日期列应该是 Date 类型数量列是 Integer单价是 Number。如果自动识别的类型不对可以手动修改。注意CSV 文件的编码要选对中文内容建议用 UTF-8否则会乱码。在“内容”标签页里可以设置编码格式。配置完后可以点击“预览”按钮看看数据是否正确读入。这一步很关键很多问题都是因为字段类型或分隔符设置错误导致的。4.3 过滤记录与字段计算接下来拖一个“过滤记录”到画布用鼠标从 CSV 输入拖一条线连到过滤记录。双击过滤记录设置条件数量字段大于0。这样数量为 0 的记录就会被过滤掉。然后再拖一个“计算器”步骤连接到过滤记录。在计算器里新建一个字段总金额计算方式选“A * B”A 选数量B 选单价。这样每条记录就会多出一个总金额字段。这两个步骤的逻辑很简单但体现了 Kettle 的核心优势每一步都可以单独测试。你可以右键点击过滤记录选择“预览”看看过滤后的数据对不对。如果不对调整条件即可不用重新跑整个流程。4.4 输出到数据库表最后拖一个“表输出”步骤连接到计算器。双击配置数据库连接。这里需要提前准备好 MySQL 的驱动包放到>