Flink从入门到精通100篇（十三）-Flink的入门教学

最新推荐文章于 2025-05-05 09:49:23 发布

文宇肃然

最新推荐文章于 2025-05-05 09:49:23 发布

阅读量1.6k

点赞数

分类专栏： Flink从入门到精通100篇

本文链接：https://blog.csdn.net/wenyusuran/article/details/103418944

版权

本文介绍了Flink作为流式计算框架的原因，监控平台告警部分的应用场景，强调实时处理数据的重要性。文章阐述了Flink的数据集类型、运算模型，解释了Flink的无限和有界数据处理能力，以及其流式和批处理的灵活性。此外，还探讨了Flink的分布式运行机制、容错特性和优缺点，适合初学者了解Flink的基本概念和应用场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

Flink 是一种流式计算框架，为什么我会接触到 Flink 呢？因为我目前在负责的是监控平台的告警部分，负责采集到的监控数据会直接往 kafka 里塞，然后告警这边需要从 kafka topic 里面实时读取到监控数据，并将读取到的监控数据做一些聚合/转换/计算等操作，然后将计算后的结果与告警规则的阈值进行比较，然后做出相应的告警措施（钉钉群、邮件、短信、电话等）。画了个简单的图如下：

目前告警这块的架构是这样的结构，刚进公司那会的时候，架构是所有的监控数据直接存在 ElasticSearch 中，然后我们告警是去 ElasticSearch 中搜索我们监控指标需要的数据，幸好 ElasticSearch 的搜索能力够强大。但是你有没有发现一个问题，就是所有的监控数据从采集、采集后的数据做一些计算/转换/聚合、再通过 Kafka 消息队列、再存进 ElasticSearch 中，再而去 ElasticSearch 中查找我们的监控数据，然后做出告警策略。整个流程对监控来说看起来很按照常理，但是对于告警来说，如果中间某个环节出了问题，比如 Kafka 消息队列延迟、监控数据存到 ElasticSearch 中写入时间较长

了解本专栏