超级会员免费看
本文详细阐述了Flink的数据处理流程，从Source开始，通过Transformation转换，再到Sink的输出。Flink的程序结构分为Source、Transformation和Sink三个部分，形成有向无环图(DAG)。数据流图经历了StreamGraph、JobGraph、ExecutionGraph和物理执行图四个阶段，其中StreamGraph优化合并操作，JobGraph由JobManager调度生成ExecutionGraph，最终在TaskManager上形成物理执行图并运行。keyBy操作用于根据数据hash值进行分区。
然后我们再来看实际上,flink对数据的处理,反应到代码上可以看到都是对DataStream的处理对吧,然后我们看,可以分成3个部分,一个是source部分,这里就是对源数据流的读取,
然后transformation这个是转换的意思对吧,是对数据流的转换,然后再看sink这个是对数据流的输出
对吧.
transformation这个步跟spark不一样,不会区分转换算子和启动算子.
然后我们再看,把上面的 程序代码分成了3个部分以后,再去看可以看成一个数据流图了,
其实就是数据流的流动对吧,流动的各个阶段做了各种处理,这里要注意,可以看到输入source,这里
可以有多个,源数据的流也可以有多个,然后sink,也可以有多个对吧,因为这里输出sink,可以输出到
mysql,也可以输出到redis,csv等等,可以有多个输出.
然后上面的这个数据流图可以看到他是一个有向无环图对吧.
订阅专栏 解锁全文
扫一扫
313
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
