最近在研究 AI BI智能数据分析 的落地实践。敬请期待后续专题实战系列《从零手把手教你搭建 AI 驱动的 BI 系统》将覆盖 Text2SQL、多轮对话、语义层、权限治理、生产级部署全链路代码可落地、坑点全复盘。Flink 系列文章一、Flink 专栏本专栏系统介绍某一知识点并辅以具体的示例进行说明。本专栏的文章编号可能不是顺序的主要是因为写的时候顺序没统一但相关的文章又引入了所以后面就没有调整了按照写文章的顺序进行编号。但一个专题的顺序号是统一的不存在编号跳跃情况。1、Flink 部署系列本部分介绍Flink的部署、配置相关基础内容。1、Flink1.12.7或1.13.5详细介绍及本地安装部署、验证2、Flink1.13.5二种部署方式(Standalone、Standalone HA )、四种提交任务方式前两种及session和per-job验证详细步骤11、Flink配置flink-conf.yaml详细说明HA配置、checkpoint、web、安全、zookeeper、historyserver、workers、zoo.cfg2、Flink基础系列本部分介绍Flink 的基础部分比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。3、flink重要概念api分层、角色、执行流程、执行图和编程模型及dataset、datastream详细示例入门和提交任务至on yarn运行4、介绍Flink的流批一体、transformations的18种算子详细介绍、Flink与Kafka的source、sink介绍5、Flink 的 source、transformations、sink的详细示例一5、Flink的source、transformations、sink的详细示例二-source和transformation示例5、Flink的source、transformations、sink的详细示例三-sink示例6、Flink四大基石之Window详解与详细示例一6、Flink四大基石之Window详解与详细示例二7、Flink四大基石之Time和watermark详解与详细示例watermark基本使用、kafka作为数据源的watermark使用示例以及超出最大允许延迟数据的接收实现8、Flink四大基石之State概念、使用场景、持久化、批处理的详解与keyed state和operator state、broadcast state使用和详细示例9、Flink四大基石之Checkpoint容错机制详解及示例checkpoint配置、重启策略、手动恢复checkpoint和savepoint10、Flink的source、transformations、sink的详细示例二-source和transformation示例【补充示例】12、Flink source和sink 的 clickhouse 详细示例40、Flink 的Apache Kafka connectorkafka source的介绍及使用示例-140、Flink 的Apache Kafka connectorkafka sink的介绍及使用示例-240、Flink 的Apache Kafka connectorkafka source 和sink 说明及使用示例 完整版48、Flink DataStream API 编程指南1- DataStream 入门示例48、Flink DataStream API 编程指南2- DataStream的source、transformation、sink、调试48、Flink DataStream API 编程指南3- 完整版49、Flink的Java Lambda 表达式写法示例50、Flink的单元测试介绍及示例51、Flink的管理执行执行配置、程序打包和并行执行的介绍及示例52、Flink的应用程序参数处理-ParameterTool介绍及使用示例59、Flink CEP - Flink的复杂事件处理介绍及示例1-入门59、Flink CEP - Flink的复杂事件处理介绍及示例2- 模式API59、Flink CEP - Flink的复杂事件处理介绍及示例3- 模式选取及超时处理59、Flink CEP - Flink的复杂事件处理介绍及示例4- 延迟数据处理和三个实际应用示例59、Flink CEP - Flink的复杂事件处理介绍及示例完整版60、Flink CDC 入门介绍及Streaming ELT示例同步Mysql数据库数据到Elasticsearch-CDC Connector介绍及示例 (1)60、Flink CDC 入门介绍及Streaming ELT示例同步Mysql数据库数据到Elasticsearch-Streaming ELT介绍及示例260、Flink CDC 入门介绍及Streaming ELT示例同步Mysql数据库数据到Elasticsearch-完整版3、Flik Table API和SQL基础系列本部分介绍Flink Table Api和SQL的基本用法比如Table API和SQL创建库、表用法、查询、窗口函数、catalog等等内容。13、Flink 的table api与sql的基本概念、通用api介绍及入门示例14、Flink 的table api与sql之数据类型: 内置数据类型以及它们的属性15、Flink 的table api与sql之流式概念-详解的介绍了动态表、时间属性配置如何处理更新结果、时态表、流上的join、流上的确定性以及查询配置17、Flink 之Table API: Table API 支持的操作117、Flink 之Table API: Table API 支持的操作218、Flink的SQL 支持的操作和语法20、Flink SQL之SQL Client: 不用编写代码就可以尝试 Flink SQL可以直接提交 SQL 任务到集群上21、Flink 的table API与DataStream API 集成1- 介绍及入门示例、集成说明21、Flink 的table API与DataStream API 集成2- 批处理模式和inser-only流处理21、Flink 的table API与DataStream API 集成3- changelog流处理、管道示例、类型转换和老版本转换示例21、Flink 的table API与DataStream API 集成完整版22、Flink 的table api与sql之创建表的DDL24、Flink 的table api与sql之Catalogs介绍、类型、java api和sql实现ddl、java api和sql操作catalog-124、Flink 的table api与sql之Catalogsjava api操作数据库、表-224、Flink 的table api与sql之Catalogsjava api操作视图-324、Flink 的table api与sql之Catalogsjava api操作分区与函数-426、Flink 的SQL之概览与入门示例27、Flink 的SQL之SELECT (select、where、distinct、order by、limit、集合操作和去重)介绍及详细示例127、Flink 的SQL之SELECT (SQL Hints 和 Joins)介绍及详细示例2-127、Flink 的SQL之SELECT (SQL Hints 和 Joins)介绍及详细示例2-227、Flink 的SQL之SELECT (窗口函数)介绍及详细示例327、Flink 的SQL之SELECT (窗口聚合)介绍及详细示例427、Flink 的SQL之SELECT (Group Aggregation分组聚合、Over Aggregation Over聚合 和 Window Join 窗口关联)介绍及详细示例527、Flink 的SQL之SELECT (Top-N、Window Top-N 窗口 Top-N 和 Window Deduplication 窗口去重)介绍及详细示例627、Flink 的SQL之SELECT (Pattern Recognition 模式检测)介绍及详细示例728、Flink 的SQL之DROP 、ALTER 、INSERT 、ANALYZE 语句29、Flink SQL之DESCRIBE、EXPLAIN、USE、SHOW、LOAD、UNLOAD、SET、RESET、JAR、JOB Statements、UPDATE、DELETE129、Flink SQL之DESCRIBE、EXPLAIN、USE、SHOW、LOAD、UNLOAD、SET、RESET、JAR、JOB Statements、UPDATE、DELETE230、Flink SQL之SQL 客户端通过kafka和filesystem的例子介绍了配置文件使用-表、视图等4、Flik Table API和SQL提高与应用系列本部分是table api 和sql的应用部分和实际的生产应用联系更为密切以及有一定开发难度的内容。16、Flink 的table api与sql之连接外部系统: 读写外部系统的连接器和格式以及FileSystem示例116、Flink 的table api与sql之连接外部系统: 读写外部系统的连接器和格式以及Elasticsearch示例216、Flink 的table api与sql之连接外部系统: 读写外部系统的连接器和格式以及Apache Kafka示例316、Flink 的table api与sql之连接外部系统: 读写外部系统的连接器和格式以及JDBC示例416、Flink 的table api与sql之连接外部系统: 读写外部系统的连接器和格式以及Apache HBase示例516、Flink 的table api与sql之连接外部系统: 读写外部系统的连接器和格式以及Apache Hive示例619、Flink 的Table API 和 SQL 中的内置函数及示例119、Flink 的Table API 和 SQL 中的自定义函数及示例219、Flink 的Table API 和 SQL 中的自定义函数及示例319、Flink 的Table API 和 SQL 中的自定义函数及示例425、Flink 的table api与sql之函数(自定义函数示例)31、Flink的SQL Gateway介绍及示例32、Flink table api和SQL 之用户自定义 Sources Sinks实现及详细示例33、Flink 的Table API 和 SQL 中的时区34、Flink 的Datastream connector之文件系统35、Flink 的 Formats 之CSV 和 JSON Format36、Flink 的 Formats 之Parquet 和 Orc Format37、Flink 的CDC 格式debezium38、Flink 的CDC 格式canal39、Flink 的CDC 格式maxwell41、Flink之Hive 方言介绍及详细示例42、Flink 的table api与sql之Hive Catalog43、Flink之Hive 读写及详细验证示例44、Flink之module模块介绍及使用示例和Flink SQL使用hive内置函数及自定义函数详细示例–网上有些说法好像是错误的53、Flink 的Broadcast State 模式介绍及示例55、Flink之用于外部数据访问的异步 I/O介绍及示例56、Data Source 原理介绍58、Flink维表的实战-6种实现方式维表的join5、Flink 监控系列本部分和实际的运维、监控工作相关。23、Flink 的table api与sql之流式聚合性能调优45、Flink 的指标体系介绍及验证1-指标类型及指标实现示例45、Flink 的指标体系介绍及验证2-指标的scope、报告、系统指标以及追踪、api集成示例和dashboard集成45、Flink 的指标体系介绍及验证3- 完整版46、Flink 的table api与sql之配项列表及示例47、Flink 的指标报告介绍graphite、influxdb、prometheus、statsd和datalog及示例jmx和slf4j示例Prometheusgrafana监控flink运行情况二、Flink 示例专栏本专栏是 Flink 专栏的辅助说明一般不会介绍知识点的信息更多的是提供一个一个可以具体使用的示例。本专栏不再分目录通过链接即可看出介绍的内容。【flink番外篇】1、flink的23种常用算子介绍及详细示例1- map、flatmap和filter【flink番外篇】1、flink的23种常用算子介绍及详细示例2- keyby、reduce和Aggregations【flink番外篇】1、flink的23种常用算子介绍及详细示例3-window、distinct、join等【flink番外篇】1、flink的23种常用算子介绍及详细示例4- union、window join、connect、outputtag、cache、iterator、project【flink番外篇】1、flink的23种常用算子介绍及详细示例完整版【flink番外篇】2、flink的23种算子window join 和interval join 数据倾斜、分区介绍及详细示例1- window join【flink番外篇】2、flink的23种算子window join 和interval join 数据倾斜、分区介绍及详细示例2- interval join【flink番外篇】2、flink的23种算子window join 和interval join 数据倾斜、分区介绍及详细示例3- 数据倾斜处理、分区示例【flink番外篇】2、flink的23种算子window join 和interval join 数据倾斜、分区介绍及详细示例-完整版【flink番外篇】3、fflink的source内置、mysql、kafka、redis、clickhouse介绍及示例1 - File、Socket、Collection【flink番外篇】3、fflink的source内置、mysql、kafka、redis、clickhouse介绍及示例2- 自定义、mysql【flink番外篇】3、flink的source内置、mysql、kafka、redis、clickhouse介绍及示例3- kafka【flink番外篇】3、flink的source内置、mysql、kafka、redis、clickhouse介绍及示例4- redis -异步读取【flink番外篇】3、flink的source内置、mysql、kafka、redis、clickhouse介绍及示例5- clickhouse【flink番外篇】3、flink的source内置、mysql、kafka、redis、clickhouse介绍及示例 - 完整版【flink番外篇】4、flink的sink内置、mysql、kafka、redis、clickhouse、分布式缓存、广播变量介绍及示例1 - File、Socket、console【flink番外篇】4、flink的sink内置、mysql、kafka、redis、clickhouse、分布式缓存、广播变量介绍及示例2 - jdbc/mysql【flink番外篇】4、flink的sink内置、mysql、kafka、redis、clickhouse、分布式缓存、广播变量介绍及示例3 - redis【flink番外篇】4、flink的sink内置、mysql、kafka、redis、clickhouse、分布式缓存、广播变量介绍及示例4 - clickhouse【flink番外篇】4、flink的sink内置、mysql、kafka、redis、clickhouse、分布式缓存、广播变量介绍及示例5 - kafka【flink番外篇】4、flink的sink内置、mysql、kafka、redis、clickhouse、分布式缓存、广播变量介绍及示例6 - 分布式缓存【flink番外篇】4、flink的sink内置、mysql、kafka、redis、clickhouse、分布式缓存、广播变量介绍及示例7 - 广播变量【flink番外篇】4、flink的sink内置、mysql、kafka、redis、clickhouse、分布式缓存、广播变量介绍及示例8 - 完整版【flink番外篇】5、flink的window(介绍、分类、函数及Tumbling、Sliding、session窗口应用)介绍及示例1- 窗口介绍、分类、函数【flink番外篇】5、flink的window(介绍、分类、函数及Tumbling、Sliding、session窗口应用)介绍及示例2 - 基于时间的滚动和滑动窗口【flink番外篇】5、flink的window(介绍、分类、函数及Tumbling、Sliding、session窗口应用)介绍及示例3- 基于数量的滚动和滑动、会话窗口【flink番外篇】5、flink的window(介绍、分类、函数及Tumbling、Sliding、session窗口应用)介绍及示例 - 完整版【flink番外篇】6、flink的WaterMark介绍、基本使用、kafka的水印以及超出最大允许延迟数据的处理介绍及示例1 - 介绍【flink番外篇】6、flink的WaterMark介绍、基本使用、kafka的水印以及超出最大允许延迟数据的处理介绍及示例2 - 基本使用和超过最大延迟数据处理【flink番外篇】6、flink的WaterMark介绍、基本使用、kafka的水印以及超出最大允许延迟数据的处理介绍及示例3 - kafka的水印【flink番外篇】6、flink的WaterMark介绍、基本使用、kafka的水印以及超出最大允许延迟数据的处理介绍及示例 - 完整版【flink番外篇】7、flink的StateKeyed State和operator state介绍及示例1 - Keyed State【flink番外篇】7、flink的StateKeyed State和operator state介绍及示例2 - operator state【flink番外篇】7、flink的StateKeyed State和operator state介绍及示例 - 完整版【flink番外篇】8、flink的Checkpoint容错机制配置、重启策略、手动恢复介绍及示例1 - checkpoint配置及实现【flink番外篇】8、flink的Checkpoint容错机制配置、重启策略、手动恢复介绍及示例2 -重启策略与手动恢复【flink番外篇】8、flink的Checkpoint容错机制配置、重启策略、手动恢复介绍及示例 - 完整版【flink番外篇】9、Flink Table API 支持的操作示例1-通过Table API和SQL创建表【flink番外篇】9、Flink Table API 支持的操作示例2- 通过Table API 和 SQL 创建视图【flink番外篇】9、Flink Table API 支持的操作示例3- 通过API查询表和使用窗口函数的查询【flink番外篇】9、Flink Table API 支持的操作示例4- Table API 对表的查询、过滤操作【flink番外篇】9、Flink Table API 支持的操作示例5- 表的列操作【flink番外篇】9、Flink Table API 支持的操作示例6- 表的聚合(group by、Distinct、GroupBy/Over Window Aggregation)操作【flink番外篇】9、Flink Table API 支持的操作示例7- 表的join操作内联接、外联接以及联接自定义函数等【flink番外篇】9、Flink Table API 支持的操作示例8- 时态表的joinscala版本【flink番外篇】9、Flink Table API 支持的操作示例9- 表的union、unionall、intersect、intersectall、minus、minusall和in的操作【flink番外篇】9、Flink Table API 支持的操作示例10- 表的OrderBy、Offset 和 Fetch、insert操作【flink番外篇】9、Flink Table API 支持的操作示例11- Group Windowstumbling、sliding和session操作【flink番外篇】9、Flink Table API 支持的操作示例12- Over Windows有界和无界的over window操作【flink番外篇】9、Flink Table API 支持的操作示例13- Row-basedmap、flatmap、aggregate、group window aggregate等操作【flink番外篇】9、Flink Table API 支持的操作示例14- 时态表的joinjava版本【flink番外篇】9、Flink Table API 支持的操作示例1-完整版【flink番外篇】9、Flink Table API 支持的操作示例2-完整版【flink番外篇】10、对有状态或及时 UDF 和自定义算子进行单元测试【flink番外篇】11、Flink 并行度设置【flink番外篇】12、ParameterTool使用示例【flink番外篇】13、Broadcast State 模式示例-简单模式匹配1【flink番外篇】13、Broadcast State 模式示例-广播维表2【flink番外篇】13、Broadcast State 模式示例完整版【flink番外篇】14、Flink异步访问外部数据示例【flink番外篇】15、Flink维表实战之6种实现方式-初始化的静态数据【flink番外篇】15、Flink维表实战之6种实现方式-维表来源于第三方数据源【flink番外篇】15、Flink维表实战之6种实现方式-通过广播将维表数据传递到下游【flink番外篇】15、Flink维表实战之6种实现方式-通过Temporal table实现维表数据join【flink番外篇】15、Flink维表实战之6种实现方式-完整版1【flink番外篇】15、Flink维表实战之6种实现方式-完整版2【flink番外篇】16、DataStream 和 Table 相互转换示例【flink番外篇】17、DataStream 和 Table集成-仅插入流Insert-Only示例【flink番外篇】18、通过数据管道将table source加入datastream示例【flink番外篇】19、Datastream数据类型到Table schema映射示例【flink番外篇】20、DataStream 和 Table集成-Changelog Streams变化流示例【flink番外篇】21、Flink 通过SQL client 和 table api注册catalog示例【flink番外篇】22、通过 Table API 和 SQL Client 操作 Catalog 示例更新正快马加鞭进行中…
