
Spark
睡眼惺忪_
这个作者很懒,什么都没留下…
展开
-
Kafka使用入门教程
Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计。 1 介绍 首先让我们看几个基本的消息系统术语: Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行,可以由一个或多个服务组成,每转载 2015-11-17 11:34:44 · 1383 阅读 · 0 评论 -
Spark中的编程模型
1. Spark中的基本概念 在Spark中,有下面的基本概念。 Application:基于Spark的用户程序,包含了一个driver program和集群中多个executor Driver Program:运行Application的main()函数并创建SparkContext。通常SparkContext代表driver program Executor:为某Appli转载 2015-04-24 10:53:06 · 10503 阅读 · 0 评论