- 博客(12)
- 收藏
- 关注
RSS订阅原创 第一个Spark程序（编码+Spark-submit提交运行）
[size=xx-large]第一个程序[/size]将搜狗实验室的日志分析，分析出查询排行榜；需要先将txt文件传到HDFS上，然后分析；程序代码：[code="java"]package main.scalaimport org.apache.spark.{ SparkContext, SparkConf }import org.apache.spark...
2014-12-23 15:01:23
479
原创 Spark开发环境搭建（for Eclipse）
[size=x-large]下载和安装Scala插件[/size]Scala IDE（[url]http://scala-ide.org/[/url]）；或者在已有的Eclipse IDE里面安装Scala插件，选择插件安装时注意要选Scala worksheet功能，以方便在Eclipse里面直接测试一些代码片段。也要看清楚和对应版本的Eclipse,不然会有问题。下载后，叫up...
2014-12-23 14:20:45
272
原创 Scala中的下划线到底有多少种应用场景
我目前了解的有一下几个用处：1、作为“通配符”，类似Java中的*。如import scala.math._2、:_*作为一个整体，告诉编译器你希望将某个参数当作参数序列处理！例如val s = sum(1 to 5:_*)就是将1 to 5当作参数序列处理。3、指代一个集合中的每个元素。例如我们要在一个Array a中筛出偶数，并乘以2，可以用以下办法：a.fil...
2014-12-23 09:18:01
1340
原创 Spark RDD API详解(一) Map和Reduce
RDD是什么？RDD是Spark中的抽象数据结构类型，任何数据在Spark中都被表示为RDD。从编程的角度来看，RDD可以简单看成是一个数组。和普通数组的区别是，RDD中的数据是分区存储的，这样不同分区的数据就可以分布在不同的机器上，同时可以被并行处理。因此，Spark应用程序所做的无非是把需要处理的数据转换为RDD，然后对RDD进行一系列的变换和操作从而得到结果。本文为第一部分，将介绍S...
2014-12-23 09:16:33
154
原创 Spark Standalone 集群部署图文分享
JDK和Scala的安装 请参阅Hadoop安装文章里的说明：http://congli.iteye.com/blog/2158007 SSH无密码登录 请参阅Hadoop安装文章里的说明：http://congli.iteye.com/blog/2158007 Spark的下载和安装包解压 1、 下载spark，我用的是1.1.0 for hadoop2.4
2014-12-17 10:02:19
462
原创 热力图划区统计--用到的tootip组件介绍
[size=x-large][b]背景及用处[/b][/size]用来看问号的说明，样式美观，书写比较方便；缺点是，当需要动态的时候，箭头指向不到鼠标的点；[size=x-large][b]官网：[/b][/size]介绍和例子都可以参见官方网站：[url]http://vadikom.com/demos/poshytip/#[/url]、[b][size=x-la...
2014-11-26 10:16:09
314
原创 热力图划区统计--用到的jquery_dialog组件介绍
这个组件式参考了一篇博客：[url]http://hngmduyi.iteye.com/blog/1660075[/url]组件的具体介绍见此博客即可；但是此组件有几处可优化的地方，后续在介绍热力点击图的时候，会将所有功能介绍完整...
2014-11-25 14:42:56
170
原创 热力图划区统计--用到的imgAreaSelect组件介绍
[size=x-large][b]背景[/b][/size]公司要做一个热力点击图，并能选择一定的区域（框选出一个矩形），并拿到左上角和右下角的坐标。然后计算该区域的点击量以及所占页面点击量的百分比，并显示在框选区域内，并显示在弹出层上。框选的组件选择了imgAreaSelect;[size=x-large][b]介绍[/b][/size]官网：[url]http://...
2014-11-25 14:14:33
185
原创 Spark Standalone 集群部署图文分享
[size=x-large][b]JDK和Scala的安装[/b][/size]请参阅Hadoop安装文章里的说明：[url]http://congli.iteye.com/blog/2158007[/url][size=x-large][b]SSH无密码登录[/b][/size]请参阅Hadoop安装文章里的说明：[url]http://congli.iteye.com/bl...
2014-11-19 16:37:11
129
原创 Hadoop的分布式安装部署图文分享
由于Spark以后会用到HDFS以及YARN，所以第一步可以先将Hadoop的最简单的集群搭建好，以便以后方便使用。[size=x-large][b]集群规划（根据我虚拟机而定）[/b]:[/size][list][*][color=blue]NameNode[/color][*]– Hadoop1 （ 192.168.52.151）[*][color=blue]DataN...
2014-11-19 14:37:14
395
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人