Flink实践代码-Watermark

Will Cui

已于 2024-04-10 11:37:47 修改

阅读量1k

点赞数 29

文章标签： flink python 大数据

于 2024-04-03 19:33:36 首次发布

本文链接：https://blog.csdn.net/danevc/article/details/137355705

版权

本文介绍了Flink中实现数据流处理的关键步骤，包括构建运行环境、接入数据流和设置WaterMark策略。核心代码展示了如何定义WaterMark策略以及Group Window聚合操作，用于按时间间隔对数据进行分组。Table API在Flink中的作用也被提及，它是批处理和流处理的统一API，支持Scala、Java和Python，并提供了与SQL类似的查询能力。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.代码与含义解释

1.1 思路

Flink 获取数据流后，需要做数据过滤那么首先就要有一下几个步骤：

构建运行环境
接入数据流
数据加入 WaterMark

1.2 直接上代码

package com.youtree.flink;

import org.apache.flink.connector.datagen.table.DataGenConnectorOptions;
import org.apache.flink.table.api.*;

import static org.apache.flink.table.api.Expressions.$;
import static org.apache.flink.table.api.Expressions.lit;

/******************************************************
 * @program        : com.youtree.flink
 * @ClassName      : Visit_Info_for_watermark
 * @Author

最低0.47元/天解锁文章