sysocc的博客

假设来自 Kafka 的数据流，经过应用逻辑的计算，生成状态保存到 state 中，这个过程是源源不断的，如图所示，为了保证state的容错性，程序会周期性的保存数据消费的位置和该时刻的状态，叫做快照，如果程序有异常需要重启的时候，就会从快照中恢复。Flink 支持有状态的计算，可以把数据流的结果一直维持在内存（或 disk）中，比如累加一个点击数，如果某一时刻计算程序挂掉了，如何保证下次重启的时候，重新恢复计算的数据可以从状态中恢复，并且每条数据只被计算了一次呢？但是，您可以配置要保留的定期检查点。

Apache Flink 是大数据领域又一新兴框架。它与 Spark 的不同之处在于，它是使用流式处理来模拟批量处理的，因此能够提供亚秒级的、符合 Exactly-once 语义的实时处理能力。Flink 的使用场景之一是构建实时的数据通道，在不同的存储之间搬运和转换数据。本文将介绍如何使用 Flink 开发实时 ETL 程序，并介绍 Flink 是如何保证其 Exactly-once 语义的。