在配置Hadoop环境前，应该在Linux环境中先配置JAVA环境变量，SSH免密登录。如果没有SSH免密登录，在分布式环境下，就会重复很多次输入密码的动作。
假设此时JAVA_HOME与SSH免密登录已经配置好。这时候从Hadoop官网
http://hadoop.apache.org/ 下载Hadoop压缩包，上传到Linux上，选择一个合适的目录解压。解压之后，按照如下步骤进行操作：
1.在Hadoop包根目录下，编辑文件 etc/hadoop/hadoop-env.sh，更改：
export JAVA_HOME=/usr/java/latest
2.然后使用 bin/hadoop 测试hadoop命令是否可用
3.配置HDFS
(1)配置NameNode
在文件etc/hadoop/core-site.xml中
(2)配置DataNodes
在文件etc/hadoop/slaves中
hadoop-senior.ibeifeng.com
(3)配置SecondaryNode
4.接下来进行测试
(1)格式化文件系统
bin/hdfs namenode -format
(2)启动NN节点和DN节点的进程
sbin/start-dfs.sh
(3)创建执行MapReduce任务的文件目录
bin/hdfs dfs -mkdir /user
bin/hdfs dfs -mkdir /user/<username>
(4)将输入文件复制到分布式文件系统中
bin/hdfs dfs -put etc/hadoop input
(5)执行一个测试用例
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar grep input output 'dfs[a-z.]+'
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
