
学习
代码搬运工0106
这个作者很懒,什么都没留下…
展开
-
hadoop学习(一)
Hadoop特点: 1.扩容能力(scalable):能可靠(reliable)的存储和处理PB级别的数据。如果数据量大,存储不了,在增加节点就可以了 2.成本低(economical):可以通过普通机器组成的服务器集群来分发以及处理数据,这些服务器集群可以达到数千个节点。 3.高效率(efficient):通过分发计算程序,hadoop可以在数据节点上(本地)并行的(parallel)处理...原创 2018-12-21 10:16:38 · 140 阅读 · 0 评论 -
hadoop学习(二)
伪分布式环境搭建(一) ssh免密登录 1.本机 ssh-keygen -t rsa //在root用户使用ssh工具生成秘钥(也可以使用普通用户) cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys //复制一份秘钥 ssh 本机 2.其他服务器 ssh-keygen -t rsa ssh-copy-id 用户名@IP cat ...原创 2018-12-21 16:16:20 · 163 阅读 · 0 评论 -
hadoop学习(三)
伪分布环境搭建(三) 修改配置文件 hadoop-env.sh export JAVA_HOME=/data/soft/jdk1.8 export HADOOP_LOG_DIR=/data/hadoop_repo/logs/hadoop yarn-env.sh export JAVA_HOME=/data/soft/jdk1.8 export YARN_LOG_DIR=/data/ha...原创 2018-12-21 16:22:50 · 141 阅读 · 0 评论 -
hadoop学习(四)
格式化hdfs bin/hdfs namenode -format 格式化操作不能重复执行。 如果一定要重复格式化,带参数-force即可。 详细启动脚本介绍 第一种:全部启动集群所有进程 启动:sbin/start-all.sh 停止:sbin/stop-all.sh 第二种:单独启动hdfs【web端口50070】和yarn【web端口8088】的...原创 2018-12-21 16:27:06 · 297 阅读 · 0 评论