Java_KW的博客

Flink 应用-电商用户行为分析文章目录Flink 应用-电商用户行为分析一、电商用户行为分析1.1 项目模块设计1.2 数据源二、项目模块2.1 实时热门商品统计创建POJO代码2.2 实时流量统计 — 热门网页创建POJO代码乱序输出2.3 实时流量统计 — PV和UV统计PV代码统计UV代码2.4 市场营销分析—APP市场推广统计创建POJO代码代码—不分渠道2.5 市场营销分析—页面广告统计创建POJO广告点击次数统计 代码点击异常行为黑名单过滤2.6 恶意登录监控创建POJO代码实现CEP代码

Flink CEP文章目录Flink CEP一、基本概念1.1 什么是CEP1.2 CEP的特点二、Pattern API2.1 个体模式（**Individual Patterns**）量词(Quantifier)条件(Condition)2.2 组合模式2.3 模式组三、模式的检测四、匹配事件的提取五、超时事件的提取相关博客：Flink-复杂事件（CEP）Flink之CEP(复杂时间处理)一、基本概念1.1 什么是CEP复杂事件处理（Complex Event Processing，简称C

Flink 函数文章目录Flink 函数一、Flink Table API 和 SQL 内置函数二、用户自定义函数（UDF）2.1 标量函数（Scalar Functions）2.2 表函数（Table Function）2.3 聚合函数（Aggregate Function）2.4 表聚合函数（Table Function）相关博客：Flink-函数 | 用户自定义函数（UDF）标量函数 | 表函数 | 聚合函数 | 表聚合函数一、Flink Table API 和 SQL 内置函数Flink

Flink 时间特性及sql窗口文章目录Flink 时间特性及sql窗口一、概述二、定义处理时间（Processing Time）2.1 由DataSream转换成表时2.2 定义Table Schema时2.3 创建表的DDL中测试代码三、定义事件时间（Event Time）3.1 由DataStream转换成表时3.2 定义Table Schema时3.3 创建表的DDL中测试代码四、窗口4.1 Group Windows4.2 SQL中的Group Windows测试代码4.3 Over Windo

Flink Table API及Flink SQL文章目录Flink Table API及Flink SQL一、概述二、基本程序结构三、Table API批处理和流处理3.1 表 Table3.2 创建表3.3 创建TableEnvironment3.4 表的查询3.5 Table更新模式3.6 将数据写到文件中3.7 读写Kafka四、表和流的转换4.1 将表Table转换成DataStream4.2 将DataStream转换为Table4.3 创建临时视图**(Temporary View)**五、

Flink ProcessFunction文章目录Flink ProcessFunction一、 KeyedProcessFunction二、TimerService和定时器（Timers）三、侧输出流（SideOutput）四、CoProcessFunction之前使用的转换算子是无法访问事件的时间戳信息和水位线信息的，在某些应用场景下，我们需要这些信息。因此，DataStream API提供了一系列的Low-Level转换算子。可以访问时间戳、watermark以及注册定时事件。还可以输出特定的一些

Flink 状态文章目录Flink 状态一、状态概述二、算子状态Operator State算子状态数据结构测试代码三、键控状态 Keyed State键控状态的数据结构测试代码四、状态后端4.1 概述4.2 状态后端类型相关博客：Flink_Flink中的状态Flink状态管理详解：Keyed State和Operator List State深度解析一、状态概述由一个任务维护，并且用来计算某个结果的所有数据，都属于这个任务的状态可以认为任务状态就是一个本地变量，可以被任务的业务逻

Flink 时间概念和水位文章目录Flink 时间概念和水位一、Flink中的时间语义二、Event Time的引入三、WaterMark 水印3.1 概念3.2 Watermark 的特点及传递3.3 Watermark的引入3.4 Watermark的设定3.5 测试代码3.6 窗口起始点和偏移量Flink 时间语义和水位相关博客Flink_windowFlink-时间语义与Wartmark及EventTime在Window中的使用一、Flink中的时间语义Flink中包括三种时间。E

Flink 窗口文章目录Flink 窗口一、Window1.1 概述1.2 Window 类型**滚动窗口（Tumbling Windows）****滑动窗口（Sliding Windows）****会话窗口（Session Windows）**二、Window API2.1 概述窗口分配器（Window Assigner）创建不同类型的窗口2.2 TimeWindow滚动时间窗口滑动时间窗口2.3 CountWindow滚动计数窗口滑动计数窗口2.4 window function增量聚合函数全窗口函数

Flink 流处理API文章目录Flink 流处理API一、Environment 创建环境1.1 **getExecutionEnvironment**1.2 createLocalEnvironment1.3 **createRemoteEnvironment**二、Source 读取数据2.1 从 集合/文件 中创建数据流2.2 从kafka读取数据2.3 自定义Source三、Transform 转换算子3.1 基本转换算子 map/flatMap/filter3.2 聚合算子3.3 多转换算子3

Flink 运行架构文章目录Flink 运行架构一、Flink 运行时的组件1.1 作业管理器（JobManager）1.2 资源管理器（**ResourceManager**）1.3 任务管理器（**TaskManager**）1.4 分发器（**Dispatcher**）二、任务提交流程三、任务调度原理3.1 TaskManager和Slots3.2 Slot和并行度3.3 程序和数据流3.4 执行图（ExecutionGraph）3.5 数据传输形式3.6 任务链（OeratorChains）一、