flinksql flinktable TopN 或者去重

Thomas2143

于 2020-12-29 14:10:18 发布

阅读量735

点赞数

分类专栏：总结

本文链接：https://blog.csdn.net/qq_35515661/article/details/111906693

版权

总结专栏收录该内容

791 篇文章 ¥99.90 ¥299.90

订阅专栏

本文旨在介绍如何使用Flink SQL进行数据去重和求TopN操作，特别指出去重实际上等同于求Top1。文中详细解析了官方文档，并提供了相关代码示例，同时探讨了通过配置mini-batch参数来提升处理速度的优化策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

目的

实现flink sql 去重或者求TopN.其实去重就是求Top1

TopN官方文档(去重在同一页面)

代码

package UserBehiverAnalysis

import org.apache.flink.streaming.api.TimeCharacteristic
import org.apache.flink.table.api._
import org.apache.flink.table.api.bridge.scala._
import org.apache.flink.streaming.api.scala._
import org.apache.flink.types.Row

/**
 * flink1.12
 * 官方文档TopN 或者去重(即Top1) flink sql 模板: https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/table/sql/queries.html#%E5%88%86%E7%BB%84%E7%AA%97%E5%8F%A3
 */
object HotItemsWithSql {
  // 获取每个id每个窗口内计数排名前5名
  def main(args: Array[String]): Unit = {
    // 创建flink流处理执行环境

了解本专栏