简介这套ETL与Kettle基础讲解PPT共26页面向具备编程基础、工作1-3年的研发人员系统梳理从ETL概念到Kettle/PDI实操的完整入门路径。内容基于PDI 9.2演示围绕ETL抽取、转换、装载三阶段展开详解Kettle安装步骤、目录结构与配置文件作用并重点剖析转换Transformation与作业Job两大核心概念、步骤Step与跳Hop的工作原理、数据行类型及元数据格式等关键知识点同时归纳数据库连接注意事项与数据同步调优策略。资源为单个pptx文件压缩包约859KB内容精炼、结构清晰。目前已有1462人学习适合在具备MySQL或Oracle数据库操作基础上配合实际数据抽取场景动手实践作为从零上手Kettle、建立ETL整体认知的高性价比参考资料。1. 为什么数据同步首选Kettle从ETL困局到PDI的破局之道做数据开发的人十有八九被同步需求缠过业务库几十张表要抽到数仓源系统千奇百怪有MySQL、Oracle、SQL Server还有一堆CSV和Excel字段格式对不上、脏数据遍地、增量逻辑变来变去。用Java硬写同步代码每接一个数据源就重写一遍连接和解析逻辑上线后光处理异常就能耗掉大半精力。Kettle即现在的Pentaho Data IntegrationPDI把抽取、转换、装载三个环节拆成可视化的步骤和跳拖拽就能搭建数据流不需要安装、纯Java编写跨平台跑。对工作1-3年的研发人员来说它是进入数据仓库领域性价比最高的开源ETL工具。这份26张PPT的教程基于PDI 9.2版本覆盖安装、目录结构、核心概念、数据库连接到实战案例下面我把这整套东西按实际落地路径拆给你看。2. 安装与目录结构先搞清PDI 9.2每个文件夹是干什么的2.1 拿到压缩包后第一步解压不是重点分清启动脚本才是重点Kettle的发行包是绿色版没有安装向导下载后直接解压就能用。常见做法是解压到纯英文路径下比如D:\pdi-ce-9.2.0.0-290避免中文目录导致配置文件读取异常。解压后你会看到十几个文件夹和一批脚本很多初学者只认识Spoon.bat就急着双击结果起不来也不知道看哪个日志。其实这个目录结构本身就是一份架构文档。先记住五个核心可执行文件Spoon.bat/spoon.sh启动图形化界面日常开发全靠它Pan.bat/pan.sh运行转换文件ktrKitchen.bat/kitchen.sh运行作业文件kjbEncr.bat/encr.sh用于加密数据库密码Carte.bat/carte.sh启动集群节点。剩下几个辅助脚本set-pentaho-env.bat负责设置JAVA_HOME等环境变量SpoonDebug.bat以调试模式启动Spoon。实操里最常见的错误是直接双击Spoon.bat闪退九成原因是没配JAVA_HOME或者JDK版本太新9.2版本用JDK 8最稳用JDK 11以上反而容易出兼容问题。2.2 关键目录逐个拆解lib、plugins、system与pwd目录理解到位排错就快一半。lib和libswt存放核心jar包其中libswt是Kettle图形界面的依赖库界面异常经常要来这里找线索plugins是插件目录Kettle的步骤控件其实都是插件装第三方插件或遇到步骤缺失先检查这里。system目录保存用户配置和最近打开的文件记录pwd存放集群配置文件simple-jndi是JNDI数据源连接配置所在地。特别要说明的是classes目录里面装着生命周期监听和日志配置文件日志级别调整、监听器注册都在这改Data Service JDBC Driver是9.x版本新加的JDBC驱动允许外部程序通过JDBC方式查询Kettle里定义的数据服务。还有samples自带例子学习阶段最值得翻里面有各种场景的ktr示例文件拿过来改改就能用。docs是英文文档查组件说明时比在线翻文档快。9.2版本相比7.0新增了Kafka消费者和生产步骤、Avro和Parquet格式支持、MongoDB的SSL连接如果要用这些新组件先确认插件目录里有对应jar。2.3 环境变量配置JDK版本和内存参数是两大玄学点PDI 9.2要求JDK 8配置环境变量时把JAVA_HOME指向JDK8安装目录。Windows下还可以编辑Spoon.bat找到PENTAHO_JAVA_HOME变量显式指定JDK路径这样即使系统里有多个JDK版本也不会被搞混。内存不足是另一个高频问题默认堆内存偏保守处理大批量数据时OOM是常事。打开Spoon.bat里面有类似PENTAHO_DI_JAVA_OPTIONS-Xmx1024m的配置建议改成-Xmx2048m或更高取决于机器物理内存。32位系统上限卡得死64位系统可以拉到4GB以上。注意Encr.bat虽然是官方加密工具但它只是混淆不是强加密生产环境数据库密码靠这个方式保护远远不够建议结合密钥管理或环境变量注入来配合使用。这些是目录层面的高频坑后面在避坑章节我还会再展开。3. 核心概念与原理转换、作业、步骤、跳与并行机制3.1 转换与作业的区别一个管数据流一个管控制流这是Kettle里最容易被混淆的一对概念也是理解Kettle的钥匙。转换Transformation文件后缀ktr处理的是数据怎么变里面装步骤和跳负责抽取、清洗、转换、装载。关键特性是一个转换内部的所有步骤是同时并发启动的没有先后顺序数据从上游步骤流向下游步骤整个转换的生命周期就是数据流产生到耗尽的过程。作业Job文件后缀kjb处理的是任务怎么走负责整个工作流的控制。作业里的每个作业项按照连线顺序执行上一个失败或成功决定下一个是否执行作业可以包含校验、发邮件、执行SQL、调用另一个转换或另一个作业。实际项目里通常用作业做总调度按顺序调用多个转换比如先从源库抽取、再清洗、再装载到目标表。理解转换内并发、作业内串行这条边界设计同步任务时就不会把顺序依赖的错误塞进转换里。3.2 步骤与跳数据在行集缓存中如何流动转换由步骤Step和跳Hop构成。步骤是基本处理单元比如CSV文件输入、表输入、字段选择、文本文件输出每个步骤有唯一名称负责读入数据行、处理、写出行。跳是步骤之间的连线定义了数据流动方向数据按行在跳上传递。跳底层是一个叫行集Row Set的数据缓存结构行集大小可以在转换设置里调整。行集满时写入方的步骤阻塞等待行集空时读取方的步骤阻塞等待。这个机制保证了每个步骤由独立线程运行并发度高内存消耗低——因为数据以流的方式处理不需要把所有数据一次性装载进内存。处理大表同步时行集缓冲区的效果直接决定同步效率和内存占用。步骤的多输出跳支持分发和复制两种方式分发是轮流向目标步骤发数据复制是把每条数据发给所有目标。比如一份数据既要写数仓明细表又要写汇总表就用复制。3.3 数据类型与元数据字段描述才是转换能跑通的根本Kettle的数据行由零到多个字段组成字段类型有String、Number双精度浮点、Integer64位长整型、BigNumber任意精度、Date毫秒精度日期时间、Boolean布尔、Binary二进制可存图像声音。每个步骤输出数据行时伴随一套元数据描述元数据包含字段名称、数据类型、格式、长度、精度、货币符号、小数点符号、分组符号等。这套元数据机制决定了数据在步骤间传递时如何被解释。比如源表某个数字字段被数据库返回为字符串123.45经过类型转换步骤或元数据定义才能变成Number类型日期字段在不同地区格式不一样依赖元数据里的格式定义做解析。很多同步结果莫名其妙不对根源就在元数据没对齐。用表输入步骤时最好显式做字段选择或数据转换用获取字段查看每个字段的实际类型确认和下游写入目标表的字段类型匹配不要指望Kettle每次都自动转对。3.4 并行机制为什么说转换里没有执行顺序再深入一点。因为行集缓存和独立线程机制Kettle转换天然就是并行的。启动转换后所有步骤都立刻开始运行从输入跳取数据、处理、写到输出跳直到输入跳没有数据才停止。所以转换里没法定义先做A再做B的逻辑除非用阻塞步骤Blocking Step强制等待或者在作业层面按顺序调用多个转换。运行时每个步骤的并发线程数还可以调。在步骤属性里设置设置执行引擎或者改变开始复制数之类选项常见做法是给表输入步骤设置合适的副本数来提升抽取并行度。但要小心如果下游步骤没做好去重多个并行线程的数据处理顺序就会乱带排序需求的数据流尤其要注意。这些原理弄懂后再去看PPT里的同步聊天信息到星网、多源数据加工过滤再入库的示例框架感会非常清晰。4. PDI 9.2实操从CSV到Excel的转换搭建与数据库连接4.1 核心案例CSV文件输入到Excel输出的完整配置快速入门最经典的案例就是读取CSV文件做简单数据加工后输出Excel。打开Spoon新建转换左侧面板可以搜索步骤也可以展开输入分类拖一个CSV文件输入步骤到画布再拖一个Excel输出步骤用跳把两个步骤连接起来箭头从CSV输入指向Excel输出。先双击CSV文件输入配置点击浏览选择文件路径再点击获取字段自动解析CSV的列结构Kettle会读取文件前几行字段名和样例值自动填入字段列表分隔符默认是逗号如果文件用制表符或者分号在分隔符框里改成对应字符注意转义字符的配置。文件编码也要看清楚UTF-8还是GBK选错中文会乱码。配置完成后不要急着运行先点击预览按钮Kettle会读取前100行数据确认字段解析是否正确。然后配置Excel输出步骤填写输出文件路径比如D:/output/result.xlsx点获取字段可以从上游步骤拿到字段列表选择要输出的字段。运行转换可以点击工具栏的播放按钮或使用Pan.bat命令行执行。在Spoon里运行前建议先在转换设置的日志选项卡里把日志级别调成基本或详细运行时报错能看到具体的步骤级别信息。如果字段类型不对可以在两个步骤中间插入一个字段选择步骤来改名、改类型、设长度最常见的翻车点是CSV里的数字被解析成String后续排序或统计就会错可以在CSV文件输入的字段列表里手动把类型改成Number或者在字段选择里显式转换。4.2 数据库连接三步走以MySQL和Oracle为例数据库连接是Kettle最重要的基础操作。左侧主对象树展开转换在DB连接上右键新建数据库类型选择MySQL填入连接方式、主机名、端口MySQL默认3306、数据库名称、用户名和密码。特别提醒驱动包不会默认全带MySQL驱动需要把mysql-connector-java-5.1.x.jar或8.0.x.jar放到lib目录下然后重启SpoonOracle需要把ojdbc6.jar或ojdbc8.jar放进去版本要和目标库匹配比如Oracle 11.2.0.4对应ojdbc6.jar 11.2.0.4。很多新手配好了连接测试却报找不到驱动基本就是jar没放对位置。连接串高级选项要注意时区问题MySQL 8.0默认时区可能导致报错The server time zone value XXX is unrecognized在连接参数里加上serverTimezoneAsia/Shanghai同时把useSSLfalse避免SSL握手告警。Oracle连接则注意服务名还是SID的填法数据库名称处填服务名时类型选service_name填SID时选sid。测试通过后新建表输入步骤选择这个数据库连接写SQL查询再点预览验证数据能正常获取。4.3 作业编排与日志检查Kitchen命令行与PDI.log实际项目中很少直接运行转换而是建作业把多个转换串起来。新建作业从通用分类拖出START步骤作为起点再从转换分类拖出转换作业项双击选择一个已有的ktr文件然后用成功连线连接后续作业项。作业项之间可以配置运行每一个输入行、参数、日志记录等选项。作业建好后可以保存在本地kjb文件通过Kitchen.bat命令行执行Kitchen.bat -file:D:/etl/sync.kjb -level:Basic -logfile:D:/etl/log/sync.log-level参数控制日志详细程度可选Error、Nothing、Minimal、Basic、Detailed、Debug、Rowlevel排错时用Debug能看每个步骤处理了多少行。9.2版本在日志方面有个改进增加了PDI.log文件来捕获转换和作业的运行情况Spoon界面右下角的日志栏对应底层就是这个文件的输出。排查问题时第一眼看日志里有没有ERROR关键字第二看每个步骤的输入输出行数行数对不上说明某个跳断流或者步骤出错。如果作业里有多个转换还要注意作业项是否配置了参数传递处理日志时区分父子级别控制好-level和-logfile参数。这章做完你的Kettle基本操作闭环已经建立了下面进入避坑环节。5. Kettle避坑与常见问题排查五个高频翻车点5.1 中文乱码问题现象CSV文件输入到Excel或数据库中文显示成乱码或问号。原因源文件编码与Kettle读取编码不一致比较常见的是GBK的CSV被当成了UTF-8读取或Excel输出没有指定编码。解决在CSV文件输入步骤的编码属性里显式设置比如GBK或UTF-8和数据库交互时连接串加characterEncodingutf8机器上装有多个数据库客户端时确认环境变量NLS_LANG没被改成别的字符集。5.2 数据库驱动加载失败现象连接测试报Driver class not found或Cannot load driver class。原因驱动jar没放对目录或者版本与数据库不匹配还有可能是Spoon启动时没扫描到。解决把对应驱动jar放入lib目录重启Spoon再试MySQL 8.x用mysql-connector-java-8.0.x.jarMySQL 5.x用5.1.xOracle 11g用ojdbc6Oracle 12c用ojdbc8。如果Spoon重启后还是报错确认JDK版本是8某些高版本JDK对旧驱动不友好。5.3 转换跑完了但目标表没数据现象转换日志显示运行成功但目标表查不到数据或行数对不上。原因目标表表输出步骤的提交记录大小设置过大比如设了1000但中途报错自动回滚还有可能是表输出步骤的数据库连接指向错了库更隐蔽的是字段名大小写导致数据库隐式转换失败。解决把表输出步骤的Commit size改小比如100或200先跑小批量验证在表输出步骤里用SQL预览查看生成的插入语句检查字段映射是否正确对比输入字段和目标表字段名称。可以在转换里插入写日志步骤打印每条数据的字段值逐步定位数据在哪个环节丢失或没匹配上。5.4 空字符串与NULL互相纠缠现象源数据里空字符串导入目标库后变成NULL或反过来。原因Kettle在默认配置下有替换为NULL的逻辑很多步骤的元数据设置里把空字符串转成了NULL。解决在输入步骤的字段定义里把Treat empty string as NULL选项取消勾选在字段选择步骤中针对特定字段设置Null if和Default规则用数据校验或JavaScript代码步骤显式判断。例如在JavaScript代码步骤里写if (field1 || field1 null) { field1 默认值; }注意这个.js里访问字段名的方式是直接引用字段名变量需要在步骤的设置里勾选兼容模式才能直接这样书写。这个问题的坑在于不同步骤默认行为不一致表输入和CSV输入对待空串的方法不同必须在设计阶段明确目标。5.5 时区导致的日期时间偏差现象数据同步后日期相差8小时、13小时或14小时。原因MySQL连接串没指定serverTimezoneKettle的JVM默认时区和数据库时区不一致。解决MySQL连接串里加serverTimezoneAsia/ShanghaiuseSSLfalseJVM启动参数里加-Duser.timezoneGMT8可能需要重启Spoon让时区设置生效。排查时先用select now()确认数据库时区再用Date步骤输出当前时间对比定位是连接层面还是转换层面错了。这五个坑基本是Kettle实战里最常遇到的80%问题来源。把这些问题记成一份自己的排查清单做项目时能少走很多弯路。最后讲两个能明显提升同步效率的进阶实测技巧。6. 批量写入与增量同步调优两个立竿见影的落地技巧6.1 表输出批量提交参数这样调最稳大批量数据装载时最常见的性能瓶颈在表输出步骤的Commit size和Use batch insert配置。默认值在千行级别表现偏保守。要提速把Commit size调成2000或5000同时勾选Use batch insert批量插入生成的SQL会变成多行VALUES语句数据库端整体提交而不是一行一个round trip。实测从MySQL抽100万行到另一个MySQL库默认配置可能要十几分钟调成批量提交后能缩短到三四分钟。但调大提交值有风险中途报错会回滚整个批量块定位错误行更麻烦。经验做法是先在测试表上跑5万行验证数据正确性再上生产大任务同时打开表输出步骤的Ignore database errors选项的话报错不会立即中断而是把错误行记录到指定表里适合做脏数据排查。还有一个细节如果目标表有索引大批量装载前先禁用索引或删掉索引导完再重建比边导边维护索引快得多插入完成后执行ANALYZE TABLE更新统计信息。表输入步骤的Fetch size参数也可以调整默认值小网络往返多取大一些比如500或1000能有效减少从数据库取数据的次数。如果源库允许多线程并发读取还可以在表输入步骤里勾选启用懒加载和在每个输入行执行配合变量做分页查询多线程并发抽取进一步提高吞吐量。参数怎么设不是越大约好要看目标库写入能力和网络带宽我的习惯是先用500测一次再看数据库CPU和磁盘IO高则降、低则升。6.2 增量同步的三种方案时间戳、全量比对与CDC日志全量同步省心但效率低生产环境一定要上增量。最常见的是时间戳增量在作业里用获取系统信息步骤获取当前时间传到转换的SQL里用WHERE update_time ?过滤目标表写入前先按主键更新或插入可以用更新步骤或插入/更新步骤。这种方式适合业务表有时间戳且不频繁删除数据的场景。没有时间戳或想更准就做全量比对把源表主键和哈希值拉到临时表和目标表做左连接没有匹配就插入、有变化就更新、目标多余就删除。Kettle里可以用合并记录步骤实现配置关键字段和比较字段然后根据合并结果走插入、更新、删除分支。还有更极端的方案是监听数据库binlog或在线日志但Kettle本身不直接消费binlog通常需要额外工具或开发所以中小项目用前两种方案居多。我自己的常态做法是优先时间戳作业调度作业里加一个判断如果抽取行数为0就发告警邮件数据量有变化窗口时用合并记录维度表和事实表。练习时可以从PDF里的同步聊天信息到星网、多源数据加工过滤再入库的例子出发先构造两张源表和一张目标表分别试用时间戳和合并记录两种方案观察行数变化和耗时差异。从那以后我每个Kettle入库任务都会强制走一遍这个动作先小批量验证字段类型再看提交值和批量选项最后加增量条件这套流程保住了很多次深夜上线的数据质量。希望帮到你。本文还有配套的精品资源点击获取