
大数据
文章平均质量分 54
zhangludcsdn
这个作者很懒,什么都没留下…
展开
-
idea开发第一个spark程序---统计文本单词数
在创建项目之前确保自己本地安装好了scala环境和java环境,因为spark是scala编写的,scala和java一样都是需要编译成字节码,然后在JVM里面运行。我本地的scala版本是2.11.0版本,hadoop是2.7.6版本第一步:打开idea,然后创建一个maven项目在pom里面加入如下依赖: <properties> <spar...原创 2018-09-11 15:35:44 · 1454 阅读 · 0 评论 -
elasticsearch的windows安装与测试
elasticsearch是一个失业的程序员写的,当时他的老婆要去伦敦学习厨师,然后他就给他的老婆写了一个食谱搜索引擎Lucene,后来为了让引擎方便的应用于java应用中去,就抽象了一些接口,开发了第二个版本。接着找到了一份工作,该工作场景要应用于分布式场景中,所以就开发了如今的elasticsearch。可以在集群里面进行高效的搜索。1.可以去elasticsearch官网下载...原创 2018-09-25 13:08:19 · 827 阅读 · 0 评论 -
windows搭建kafka环境
zookeeper和kafka、scala的安装包https://pan.baidu.com/s/10wdkDQnAHzs9eXYDRZ0P-g1.安装jdk1.1需要注意JAVA_HOME的环境变量设置需要放在oracle安装路径的上面。1.2尽量安装这个没有空格的路径下面。1.3配置classpath和path环境变量2.安装scala,因为kafka是scala写的3...原创 2018-11-14 12:05:13 · 597 阅读 · 0 评论