资讯动态

ETL 实验复盘:从 CSV 到学生画像标签表的完整转换流

发布时间:2026/8/15 22:22:46 来源:尧图企业网站定制
项目创建与数据准备新建项目“学生用户画像标签构建”。文件库中新建目录“数智教育数据集”将公共空间中的3_kaoqin.csv、4_kaoqintype.csv、2_student_info.csv导出至该目录。元数据中新建 MySQL 数据源连接名“团队私有数据库”填写助教提供的主机地址、端口、数据库名、用户名密码驱动选MySQL 8测试通过后添加。原始数据表创建与导入分别执行以下建表 SQL通过“执行一个SQL脚本”组件选择“团队私有数据库”raw_attendance原始考勤记录表raw_attendance_type原始考勤类型表raw_student_info原始学生信息表导入数据考勤记录CSV文件输入→表输出。文件选3_kaoqin.csvUTF-8逗号分隔输出至raw_attendance。考勤类型CSV文件输入→表输出。文件选4_kaoqintype.csv列分隔符为制表符TAB编码 GB2312输出至raw_attendance_type。学生信息CSV文件输入→字段选择→表输出。CSV 文件选2_student_info.csv获取字段后将bf_leaveSchool类型改为String在字段选择组件中将bf_zhusu、bf_qinshihao的元数据类型设置为Integer输出至raw_student_info。目标标签表创建新建转换流执行 SQL 创建student_attendance_stats表包含学生基本信息、迟到/早退/请假/未穿校服次数等字段。核心标签计算转换流新建转换流“学生考勤主题标签”数据接入三个表输入组件分别读取raw_attendance、raw_attendance_type、raw_student_info全部字段。考勤记录与类型关联考勤记录后接“排序记录”按attendance_type_id、attendance_task_order_id排序。排序结果与“考勤类型”表输入通过“记录集连接”LEFT OUTER关联连接字段同为上述两个字段。异常行为标记添加 JavaScript 组件编写脚本判断迟到、早退、请假、未穿校服输出isLate、isEarly、isLeave、isNoUniform0/1。按学生聚合添加“分组”组件分组字段stu_id, stu_name, cla_id, cla_name聚合函数 SUM 分别计算迟到次数、早退次数、请假次数、未穿校服次数。关联学生信息学生信息表输入后接“排序记录”按stu_id。上一步聚合结果后接“排序记录”按stu_id。二者通过“记录集连接”LEFT OUTER关联连接字段stu_id。字段筛选用“字段选择”组件移除冗余字段保留stu_id, stu_name, cla_id, cla_name, late_count, early_count, leave_count, no_uniform_count, stu_sex, born_date, policy, live_on_campus。空值处理用“替换NULL值”组件将stu_sex, born_date, policy, live_on_campus的空值替换为“未知”。属性标准化值映射组件将live_on_campus的0映射为“否”1映射为“是”默认值“否”。JavaScript 组件“从班级提取年级”根据cla_name判断高一/高二/高三输出字段gra_name。JavaScript 组件“校区类型判定”班级名以“白-”或“东-”开头则为“新校区”其他非空为“老校区”输出字段class_campus_type。结果入库连接“表输出”组件选择“团队私有数据库”目标表student_attendance_stats勾选“裁剪表”和“指定数据库字段”建立字段映射。执行与验证运行主转换流观察日志直至成功。在元数据中刷新“团队私有数据库”查询student_attendance_stats表确认数据符合预期。

读完文章,也想定制专属网站?

尧图设计师 24 小时内与您沟通定制方案

免费获取报价