- 博客(14)
- 收藏
- 关注
RSS订阅转载 Flink,Storm,SparkStreaming性能对比
Yahoo 的 Storm 团队曾发表了一篇博客文章 ，并在其中展示了 Storm、Flink 和 Spark Streaming 的性能测试结果。该测试对于业界而言极 具价值，因为它是流处理领域的第一个基于真实应用程序的基准测试。该应用程序从 Kafka 消费广告曝光消息，从 Redi...
2019-09-05 10:23:00
213
转载 最简单流处理引擎——Kafka Streams简介
Kafka在0.10.0.0版本以前的定位是分布式，分区化的，带备份机制的日志提交服务。而kafka在这之前也没有提供数据处理的顾服务。大家的流处理计算主要是还是依赖于Storm，Spark Streaming，Flink等流式处理框架。Storm，Spark Streaming，Fli...
2019-09-04 11:16:00
322
转载 超越Storm，SparkStreaming——Flink如何实现有状态的计算
流式计算分为无状态和有状态两种情况。无状态计算观察每个独立的事件，Storm就是无状态的计算框架，每一条消息来了以后和前后都没有关系，一条是一条。比如我们接收电力系统传感器的数据，当电压超过240v就报警，这就是无状态的数据。但是如果我们需要同时判断多个电压，比如三相电路，我们判断三相电都高...
2019-09-03 17:47:00
413
转载 可以穿梭时空的实时计算框架——Flink对时间的处理
Flink对于流处理架构的意义十分重要，Kafka让消息具有了持久化的能力，而处理数据，甚至穿越时间的能力都要靠Flink来完成。在Streaming-大数据的未来一文中我们知道，对于流式处理最重要的两件事，正确性，时间推理工具。而Flink对两者都有非常好的支持。Flink对于正确性的...
2019-09-02 12:36:00
264
转载 替代Flume——Kafka Connect简介
我们知道过去对于Kafka的定义是分布式，分区化的，带备份机制的日志提交服务。也就是一个分布式的消息队列，这也是他最常见的用法。但是Kafka不止于此，打开最新的官网。我们看到Kafka最新的定义是：Apache Kafka® isa distributed streaming pla...
2019-08-30 11:26:00
240
转载 数据架构的未来——浅谈流处理架构
数据架构设计领域正在发生一场变革，其影响的不仅是实时处理业务，这场变革可能将基于流的处理视为整个架构设计的核心，而不是将流处理只是作为某一个实时计算的项目使用。本文将对比传统数据架构与流处理架构的区别，并将介绍如何将流处理架构应用于微服务及整体系统中。传统数据架构 传统数据架构是一...
2019-08-29 10:17:00
202
转载 Flink快速入门--安装与示例运行
flink是一款开源的大数据流式处理框架，他可以同时批处理和流处理，具有容错性、高吞吐、低延迟等优势，本文简述flink在windows和linux中安装步骤，和示例程序的运行。首先要想运行Flink，我们需要下载并解压Flink的二进制包，下载地址如下：https://flink.apa...
2019-08-28 13:28:00
312
转载 Kafka监控工具汇总
对于大数据集群来说，监控功能是非常必要的，通过日志判断故障低效，我们需要完整的指标来帮我们管理Kafka集群。本文讨论Kafka的监控以及一些常用的第三方监控工具。一、Kafka Monitoring首先介绍kafka的监控原理，第三方工具也是通过这些来进行监控的，我们也可以自己去是实现...
2019-08-23 11:49:00
142
转载 实时计算大数据处理的基石-Google Dataflow
此文选自Google大神Tyler Akidau的另一篇文章：Streaming 102: The world beyond batch 欢迎回来！如果您错过了我以前的帖子，Streaming-大数据的未来，强烈建议您先花时间阅读那篇文章。简要回顾一下，上一篇我们介绍了Streami...
2019-08-22 16:07:00
146
转载 Streaming-大数据的未来
分享一篇关于实时流式计算的经典文章，这篇文章名为Streaming 101: The world beyond batch那么流计算如何超越批处理呢？从这几个方面说明：实时流计算系统，数据处理模式，还有大数据的未来。一、实时流式计算系统实时流式计算的意义：1、企业渴望获得更及时的数据...
2019-08-21 15:44:00
157
转载 Kafka之Producer
通过https://www.cnblogs.com/tree1123/p/11243668.html 已经对consumer有了一定的了解。producer比consumer要简单一些。一、旧版本producer0.9.0.0版本以前，是由scala编写的旧版本producer。入口类...
2019-08-19 16:57:00
107
转载 Kafka之Producer
通过https://www.cnblogs.com/tree1123/p/11243668.html 已经对consumer有了一定的了解。producer比consumer要简单一些。一、旧版本producer0.9.0.0版本以前，是由scala编写的旧版本producer。入口类...
2019-08-19 16:47:00
169
转载 Kafka单线程Consumer及参数详解
请使用0.9以后的版本：示例代码 Properties props = new Properties(); props.put("bootstrap.servers", "kafka01:9092，kafka02:9092"); props.put("group.id"...
2019-08-16 10:18:00
1275
转载 什么是Kafka？
通过Kafka的快速入门 https://www.cnblogs.com/tree1123/p/11150927.html能了解到Kafka的基本部署，使用，但他和其他的消息中间件有什么不同呢？Kafka的基本原理，术语，版本等等都是怎么样的？到底什么是Kafka呢？一、Kafka简介...
2019-08-15 16:15:00
92
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人