一、实验背景1.1 实验目的这次实验主要是让我们熟悉助睿零代码数据集成平台也就是ETL平台的核心功能和操作方法具体要做到这几点1. 掌握怎么新建转换、添加组件、执行转换这些基础操作流程2. 熟悉表输入、记录集连接、字段选择、过滤记录、Excel输出这些常用组件的配置方法3. 搞明白多表关联、数据过滤和分流处理的ETL设计思路。通过这次实验我们能独立用助睿平台完成常见的数据加工任务为以后处理更复杂的数据场景打下基础。1.2 实验环境• 零代码在线实验平台这次实验用的是助睿数智Uniplore一站式数据科学平台。这个平台特别全面从数据接入、ETL处理、机器学习建模到可视化展示全流程都能零代码操作不管是数据分析教学还是企业实际的数据加工都能用。它的官网是https://www.uniplore.com/我们这次实验的访问地址是https://lab.guilian.cn/。• 数据库MySQL里面有订单数据和产品信息表• 数据准备订单表business_anaylsis.order_detail、产品表business_anaylsis.product。1.3 业务场景在企业做经营分析的时候经常需要把好几张表关联起来计算利润还得按照利润是正还是负把订单分成两类存起来。这次实验就以订单利润分流为例子用零代码拖拽的方式完成这个数据处理任务。1.4 数据加工流程简单说就是把订单明细表和产品信息表做左外连接删掉重复的字段再按照利润是不是大于等于零来分流最后把盈利的订单和亏损的订单分别导出到两个Excel文件里。二、实验步骤3.1 登录实验平台先在贵兰在线对应的课程学习页面找到“实验课1助睿ETL入门实验”并点击。然后点击课程实训说明里的“大数据实训平台”就能跳转到我们这次的实验地址https://lab.guilian.cn/。从贵兰在线进去实验平台会自动登录登录成功后就到实验平台首页了。3.2 基本概念了解简单说一下助睿一站式大数据平台里的这个数据集成平台就是用可视化的方式做数据ETL也就是数据的抽取、转换、加载。几个关键概念给大家讲明白概念说明Pipeline转换针对数据流的是处理数据的一个功能单元由多个Transform组成Workflow作业针对具体任务的要完成一件完整的事由多个Action组成必须有开始项Transform步骤转换里的最小单元比如“Excel输入”“字段选择”每个步骤都是独立线程运行的Action任务项作业的执行单位比如“启动”“发送邮件”Hops节点连接就是数据传输的通道用来连接步骤或者任务项3.3 团队管理这一步很简单每个小组的组长可以创建自己小组的团队方便管理大家的实验作业。进入实验平台后选择“数据集成/ETL”进入数据集成页面点击“团队管理”菜单再点击“新增团队”在弹出的窗口里输入团队名称和团队描述点击“确认”就好创建成功后点击团队卡片右上角的“更多”选择“添加成员”输入组员的手机号查询勾选要添加的组员点击“添加”就完成了。3.4 创建实验项目平台有默认的项目我们也可以用默认项目做实验但为了方便管理建议给这门课创建一个专属项目。先选择项目所属的团队比如“商业数据分析小组1”也可以选个人点击“新建项目”输入项目名称后点击“确定”创建成功后在数据集成页面就能看到这个新创建的项目了。3.5 同步数据源项目创建好后点击项目右上角的“...”选择“打开项目”进入项目页面后左边有3个菜单资源库、文件、元数据。简单说一下它们的作用资源库用来管理工作流比如新建、删除、修改工作流导出导入工作空间还有调度管理这些操作文件库保存工作流里要用的文件还有工作流运行后产生的文件元数据管理是数据集成的基础可以给工作流定义“运行配置”“数据库”“flink集群”这些配置。这次实验主要用到资源库和文件库第一步先获取实验数据集点击“元数据”右键“关系数据库”选择“同步数据源”然后切换到“文件库”菜单再切换回“元数据”就能看到同步成功的数据库“线上公共数据源(Readonly)”了。3.6 新建转换流这次实验我们要创建一个“订单利润分流处理”的转换流核心就是把订单数据和产品信息关联起来根据利润正负分成盈利和亏损两类订单分别导出到Excel里。整体逻辑再梳理一遍订单明细表 → 左外连接产品信息表 → 删掉重复的ID字段 → 按利润≥0分流 → 分别输出盈利、亏损订单到Excel。各个组件的作用也简单说下组件作用表输入订单/产品读取原始的数据记录集连接根据产品ID把两个表的数据关联起来字段选择删掉重复的ID字段过滤记录根据利润正负把数据分成两类Excel输出分别导出盈利、亏损订单新建转换流的具体操作切换到“资源库”右键根目录点击“新建转换流”输入转换流名字“订单利润分流处理”点击“确定”创建成功后进入转换流设计页面这个页面打开的时候是锁定状态得点击图标解锁才能编辑。3.7 添加组件转换任务建好了接下来就把需要的组件添加进去。我们以订单数据business_anaylsis.order_detail和产品信息数据business_anaylsis.product为例一步步添加组件顺序别乱1添加表输入组件这次实验需要把两个表的数据合并计算所以得添加2个表输入组件分别读取两个表的数据。点击“组件库”组件太多的话直接在搜索框输入“表输入”就能快速找到这个组件把表输入组件拖拽到画布上再拖拽一次也就是画布上要有2个表输入组件右键第一个表输入组件点击“编辑组件”把步骤名称改成“订单_详细订单”点击“确认”同样的把第二个表输入组件改成“订单_产品信息”。2添加记录集连接组件用表输入组件读完数据后需要用记录集连接组件把两个表的数据关联起来。在搜索框输入“记录集连接”把这个组件拖拽到画布上然后建立两个表输入组件到记录集连接组件的连接线具体看截图这里要注意建立连接线的时候会弹出“排序需要”的提示这是因为记录集连接组件是按接收数据的顺序关联的如果数据无序可能会导致关联结果出错。3添加字段选择组件两个表连接之后会出现重复的“产品ID”字段我们用“字段选择”组件把这个多余的字段删掉。搜索框输入“字段选择”拖拽到画布上把这个组件的名字改成“移除产品ID_1字段”建立记录集连接组件到字段选择组件的连接线具体看截图。4添加过滤记录组件这次实验的核心就是按利润分流“过滤记录”组件就能实现这个功能根据某个字段的值把数据分成两类。搜索框输入“过滤记录”拖拽到画布上建立字段选择组件到过滤记录组件的连接线具体看截图弹出选择连接线的窗口时点击“主输出步骤”因为做字段选择的时候可能有部分记录不满足要求会被标记为错误主输出步骤就是让满足要求的记录通过这个连接线传输。5添加Excel输出组件数据经过“过滤记录”组件后会分成两个数据流我们把这两个数据流分别导出到Excel文件里。搜索框输入“excel输出”拖拽2个这个组件到画布上把两个组件分别命名为“盈利订单”和“亏损订单”建立过滤记录组件到两个Excel输出组件的连接线弹出选择连接线类型的窗口时“盈利订单”选“True输出”“亏损订单”选“False输出”这里说明一下“True输出”就是满足过滤条件的记录也就是利润≥0的“False输出”就是不满足条件的记录利润0的。到这里一个完整的转换任务流程就建好了具体看截图。3.8 配置组件信息组件添加完还不够得给每个组件做配置不然没法正常运行一步步来3.8.1 表输入组件配置双击“订单_详细订单”这个表输入组件弹出配置页面在数据库连接的下拉框里选择我们之前同步好的“线上公共数据源(Readonly)”点击“获取SQL查询语句”系统会自动生成SQL点开“线上公共数据源(Readonly)”→“表”下滑找到“business_anaylsis.order_detail”点击它再点击“确定”系统弹出提示点击“确认”这时系统会自动填好完整的SQL查询语句点击“确认”就好如果自动生成的SQL不满足需求也可以自己手动输入其他配置保持默认就行另一个“订单_产品信息”表输入组件按照同样的方法配置只是要选择“business_anaylsis.product”这个表获取它的SQL查询语句。3.8.2 记录集连接组件配置双击记录集连接组件在下拉列表里选择要连接的两个数据源第一个Transform选“订单_详细订单”第二个选“订单_产品信息”连接类型选“LEFT OUTER”左外连接点击第一个Transform连接字段里的“获得连接字段”就能获取到“订单_详细订单”表的所有字段同样的获取第二个Transform的连接字段第一个Transform里只保留“produc_id”这个字段其他字段右键点击“删除选中的行”第二个Transform里只保留“id”这个字段其他字段也删掉这样就是用“订单_详细订单”的“produc_id”字段和“订单_产品信息”的“id”字段做左外连接配置完点击“确认”如果删错了重新获取字段就行。3.8.3 字段选择组件配置两个表连接后“produc_id”和“id”这两个字段的内容是一样的只需要保留一个我们删掉“id”字段。双击“移除产品ID_1字段”这个组件点击“移除”再点击“获取字段”在获取到的字段里选中除了“id”之外的所有字段右键点击“删除选中的行”看到“id”字段被删掉后点击“确认”就可以了。3.8.4 过滤记录组件配置我们要根据“利润”字段把盈利和亏损订单分开具体配置如下双击“过滤记录”组件在弹窗的下拉列表里选择把结果发送给不同的后续处理步骤选择判断字段为“利润profit”选中“profit(Number)”后点击“确定”判断条件设为“≥0”点击“”在函数里选择“≥”点击“确定”点击“value”值类型选“Integer”输入“0”点击“确定”这样过滤条件就配置好了点击“确认”。3.8.5 Excel输出组件配置我们要把分流后的结果写入到Excel文件里两个Excel输出组件配置方法一样以“盈利订单”为例双击“盈利订单”组件在配置弹窗里把文件名改成“盈利订单”文件拓展名选“xlsx [Excel 2007 and above]”点击“输出字段”在空白表格处右键点击“获取字段”字段获取成功后点击“确认”“亏损订单”组件按照同样的方法配置就可以了。3.9 执行转换所有组件都配置好后就可以执行转换任务了点击页面上的启动按钮弹出窗口后点击“启动”等待一会儿提示执行成功就可以了。3.10 查看执行日志任务执行的时候所有操作都会记录到日志里执行完之后我们可以查看执行结果和日志具体看截图。3.11 查看结果点击“文件库”右键根目录刷新一下就能看到转换任务输出的两个文件盈利订单和亏损订单右键文件选择下载就能查看具体的内容了。三、实验结果输出文件内容说明盈利订单.xlsxprofit ≥ 0 的订单后续可以用来分析哪些产品利润高亏损订单.xlsxprofit 0 的订单可以用来追查亏损的原因这次实验成功完成了订单数据的关联和分流处理给后续的盈利分析提供了规范的数据基础。四、核心组件说明组件作用本实验配置要点表输入读取数据库里的表数据配置好数据源和SQL自动获取字段记录集连接实现多表关联选对连接类型和连接字段字段选择筛选字段、重命名字段删掉重复的id字段过滤记录按条件分流数据设置判断条件为profit ≥ 0Excel输出导出处理后的结果配置好文件名和输出字段五、问题与解决这次实验过程中我们遇到了两个小问题都解决了分享给大家避免踩坑问题1Excel输出组件获取不到字段解决方法配置Excel输出时点击“获取字段”没反应后来发现是过滤记录到Excel输出的连接线类型选错了。盈利订单应该连“True输出”亏损订单连“False输出”重新创建连接线选对类型后就正常了。问题2Excel输出组件因为文件名相同导致执行报错解决方法配置完两个Excel输出组件后执行转换时系统报错检查后发现两个组件的默认文件名都是“file”没修改。两个输出步骤用同一个文件名平台区分不开把两个文件名分别改成“盈利订单”和“亏损订单”重新执行就好了。六、实验总结通过这次实验我们熟悉了助睿零代码ETL平台的基本操作比如创建项目、同步数据源、新建转换流、添加和配置组件、执行转换还有查看结果。也掌握了表输入、记录集连接、字段选择、过滤记录、Excel输出这些常用组件的配置方法搞明白了多表关联和条件分流在数据处理中的用法。对比以前那种写SQL、写脚本的数据处理方式助睿平台的零代码拖拽操作确实更直观组件之间的数据流向一眼就能看明白调试起来也方便。对于我们初学者来说这种方式降低了学习难度能快速上手完成常见的数据加工任务。#助睿数智 #商业数据分析 #ETL数据加工 #数据实验