Flink从入门到精通100篇（二十三）-Flink实战应用案例：如何清理过期的 Checkpoint 目录？

最新推荐文章于 2024-11-27 20:45:47 发布
最新推荐文章于 2024-11-27 20:45:47 发布
阅读量1.3k 收藏 1
点赞数
分类专栏： Flink从入门到精通100篇 文章标签： flink big data 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wenyusuran/article/details/109984740
版权
本文探讨了Flink Checkpoint目录的清除策略，分析了生产环境中应选择DELETE_ON_CANCELLATION还是RETAIN_ON_CANCELLATION，并强调了定期清理Checkpoint和Savepoint目录的重要性。文章通过一个故障案例，揭示了RocksDB增量Checkpoint的工作原理，以及如何合理删除Checkpoint目录。总结了基于元数据解析的闭环清理策略，确保不会误删仍被依赖的Checkpoint信息。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

  • Flink Checkpoint 目录的清除策略

  • 生产环境应该选择哪种清除策略

  • 生产环境必须定期脚本清理 Checkpoint 和 Savepoint 目录

  • RocksDB 增量 Checkpoint 实现原理

  • 如何合理地删除 Checkpoint 目录？

  • 通过解析 Flink Checkpoint 的元数据信息来合理清理 Checkpoint 信息

1. 故障背景

本次故障涉及到的知识面比较多，将从以下多个角度来详细描述。

1.1 Flink Checkpoint 目录的清除策略

如下图所示，红圈处的一行配置 env.getCheckpointConfig().enableExternalizedCheckpoints() 表示当 Flink 任务取消时，是否保留外部保存的 CheckPoint 信息。

参数有两种枚举，分别是：ExternalizedCheckpointCleanup.DELETE_ON_CANCELLATION 和 ExternalizedCheckpointCleanup.D

了解本专栏 订阅专栏 解锁全文
【Flink】Flink 清理过期 Checkpoint 目录的正确姿势
九师兄
11-20 667
1.概述 转载：Flink 清理过期 Checkpoint 目录的正确姿势
Flink从入门到精通100篇（六）-Flink 应用之 对Release 文档进行深度解读
wenyusuran的专栏
06-30 1297
集群和部署 支持 Hadoop 3.0 及更高的版本：Flink 不再提供任何flink-shaded-hadoop-依赖。用户可以通过配置 HADOOP_CLASSPATH 环境变量(推荐)或在 lib 文件夹下放入 Hadoop 依赖项。另外include-hadoopMaven profile 也已经被移除了。 移除了 LegacyScheduler：Flink 不再支持 legacy scheduler，如果你设置了jobmanager.scheduler: legacy...
Flink在大规模状态数据集下的checkpoint调优
走在前往架构师的路上
12-26 5441
文章目录前言Checkpoint快慢的性能指标相邻Checkpoint的间隔时间设置外部State的存储选择 前言 众所周知，Flink内部为了实现它的高可用性，实现了一套强大的checkpoint机制，还能保证作用的Exactly Once的快速恢复。对此，围绕checkpoint过程本身做了很多的工作。在官方文档中，也为用户解释了checkpoint的部分原理以及checkpoint在实际生...
Flink如何清除过期的CheckPoint
淡定一生2333的博客
07-15 7335
生产环境中，Flink Job运行过程中会定期执行CheckPoint，将内部状态持久化到外部的存储系统中，一般会选择使用HDFS。多种外部存储系统之间的差异详见之前写的那篇文章《Flink的状态后端(State Backends)》。随着程序不停的执行， CheckPoint文件会越来越多，如何清理过期的文件就是一个很大的问题。 一般建议大家选用RocksDB作为StateBackend。RocksDB使用的LSM树，会将状态存储到磁盘sst文件(类似HBase中的HFile)中，避免S...
Flink（三十七）—— Flink 清理过期 Checkpoint 目录的正确姿势
weixin_42073629的博客
10-19 2126
本博客是笔者在生产环境使用 Flink 遇到的 Checkpoint 相关故障后，整理输出，价值较高的实战采坑记，本文会带你更深入的了解 Flink 实现增量 Checkpoint 的细节。 通过本文，你能 get 到以下知识： Flink Checkpoint 目录的清除策略 生产环境应该选择哪种清除策略 生产环境必须定期脚本清理 Checkpoint 和 Savepoint 目录 RocksDB 增量 Checkpoint 实现原理 如何合理地删除 Ch.
Flink 清除过期Checkpoints目录文件
lihuazaizheli的博客
06-12 787
1.创建shell脚本/flink/flink_checkpoint_clear.sh #!/bin/bash # hdfs目录 HDFS='/hadoop/hadoop-2.9.1/bin/hdfs dfs -ls /flink/checkpoints' # 删除N天前的hdfs目录 N=3 # 删除脚本 DELETE='/hadoop/hadoop-2.9.1/bin/hdfs dfs -rm -r' # 生产使用 old_version=$($HDFS | awk 'BEGIN{ days_ago
Flink 清理过期 Checkpoint 目录的正确姿势
http://www.54tianzhisheng.cn/
02-20 4101
本博客是笔者在生产环境使用 Flink 遇到的 Checkpoint 相关故障后，整理输出，价值较高的实战采坑记，本文会带你更深入的了解 Flink 实现增量 Checkpoint 的...
Flink笔记(十九)：Flink 从 Checkpoint 中恢复数据
01-20
本篇将深入讲解如何利用 Flink 的 Checkpoint 机制从已保存的状态中恢复数据。 首先，我们需要理解什么是 Flink 的 Checkpoint。Checkpoint 是 Flink 在处理无界数据流过程中的一种状态保存策略。当任务执行到某个...
Flink从入门到精通100篇（十三）-Flink的入门教学
wenyusuran的专栏
12-06 1671
一.Flink的引入 这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有Hadoop、Storm，以及后来的Spark，他们都有着各自专注的应用场景。Spark掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark的火热或多或少的掩盖了其他分布式计算的系统身影。就像Flink，也就在这个时候默默的发展着。 在国外一些社区，有很多人将大...
Flink从入门到精通100篇（十九）-基于 Flink 的大规模准实时数据分析平台的建设实践
wenyusuran的专栏
12-30 1539
导读： 如何基于 Flink 搭建大规模准实时数据分析平台？在 Flink Forward Asia 2019 上，来自 Lyft 公司实时数据平台的徐赢博士和计算数据平台的高立博士分享了 Lyft 基于 Apache Flink 的大规模准实时数据分析平台的建设实践。 本次分享主要分为四个方面： Lyft 的流数据与场景 准实时数据分析平台和架构 平台性能及容错深...
（7）Flink-CheckPoint
allensandy的博客
06-18 1232
目录 1、checkpoint 2、StateBackend 3、Restart Strategies 3、SavePoint 1、checkpoint 默认情况下，checkpoint不会被保留，取消程序时即会删除它们，但是可以通过配置保留定期检查点。开启Checkpoint功能，有两种方式。其一是在conf/flink_conf.yaml中做系统设置；其二是针对任务再代码里灵活配置。推荐第二种方式，针对当前任务设置，设置代码如下所示： //获取flink的运行环境 final Strea
flink-checkpoint 目录内容
dian张
06-05 2113
_metadata:保存了state 的句柄,JM 解析元数据文件，做一些校验，将信息写入到 zk 中，然后准备从这一次 Checkpoint 中恢复任务 其余小文件:是 state 数据，由各 Task 在触发 checkpoint 的时候上传，恢复的时候，JM 读取_metadata 将相应句柄下发到 Task，Task 通过远端 HDFS 拉取对应的 state ...
flink 检查点（checkpoint）配置与使用
Aspirin's Nest
12-01 1万+
前言 之前文章有讲过flink的有状态算子。有状态算子就是讲算子产生的中间结果存储在Flink的一些内存数据结构中，比如ValueState、MapState等等。这可以算一种计算机制。比如对流中的某个字段进行累加，我们必须要保存累加的中间结果，下一个事件才能知道加谁。 但是距离容灾还差一段距离。比如job失败了，程序都没有了，内存中也就没有状态数据了。这时候就需要检查点了。所以，检查点就是定期保存任务状态的机制。但是状态又保存到哪里了呢？之前说过的状态后端。 检查点是用于错误恢复的，但这是有条件的：
Flink Checkpoint 本地磁盘未清除导致的大数据问题
学习使你进步。
08-30 392
然而，如果不及时清除本地磁盘上的过期 Checkpoint 数据，可能会导致磁盘空间的不断占用，最终影响应用程序的正常运行。通过使用 Flink 提供的清理工具，并定期清除本地磁盘上的过期 Checkpoint 数据，我们可以有效地解决这个问题，确保 Flink 应用程序的稳定性和可靠性。方法启用 Checkpoint，并设置 Checkpoint 的时间间隔为每分钟一次。通过定期清除本地磁盘上的过期 Checkpoint 数据，我们可以确保 Flink 应用程序的正常运行，并防止磁盘空间被耗尽。
Flink(七） Checkpoint/Savepoints
又小雨的博客
08-16 760
一、简介 持久化，说的是两种不同的持久化方式，Checkpoint自动持久化。和Savepoints手动持久化 checkpoint checkpoint是由flink定期的，自动的进行数据的持久化（把状态中的数据写入到磁盘（HDFS））。新的checkpoint执行完成之后，会把老的checkpoint丢弃掉 JobManager负责checkpoint的发起以及协调。JobManager节点会定期向TaskManager节点发送Barrier（实际上 是JobManager创建的CheckpointCo
【Flink 使用注意】Flink checkpoint清除策略使用指南
ChengYanan的博客
01-14 4738
文章目录Flink Checkpoint 目录的清除策略应用代码Flink源码需要注意 Flink Checkpoint 目录的清除策略 应用代码 CheckpointConfig checkPointConfig = streamEnv.getCheckpointConfig(); checkPointConfig.setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE); checkPointConfig.setCheckpointTimeout(1 *
Flink状态管理与CheckPoint
热门推荐
ZERO
03-05 1万+
转载自：https://blog.csdn.net/hxcaifly/article/details/84673292     https://blog.csdn.net/rlnLo2pNEfx9c/article/details/81517928     https://blog.csdn.net/qq_26654727/article/details/83833517   Flink提供了Ex...
【详细介绍及演示】Flink之checkpoint检查点的使用
最新发布
song的博客
11-27 3687
快照点, 是Flink中所有有状态的Operator在某一个时刻的State快照信息/存档信息。一句话概括:Checkpoint就是State的快照。savePointcheckpoint自动完成state快照、savePoint是手动的完成快照。如果程序在没有设置checkpoint的情况，可以通过savePoint设置state快照有两种添加检查点的方式：1、在java代码中自动添加在执行任务时会在hdfs上创建检查点// 第一句：开启快照，每隔1s保存一次快照。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

文宇肃然

精神和物质鼓励你选一个吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值