j_noob的博客

Hadoop特点： 1.扩容能力（scalable）：能可靠（reliable）的存储和处理PB级别的数据。如果数据量大，存储不了，在增加节点就可以了 2.成本低（economical）：可以通过普通机器组成的服务器集群来分发以及处理数据，这些服务器集群可以达到数千个节点。 3.高效率（efficient）：通过分发计算程序，hadoop可以在数据节点上（本地）并行的（parallel）处理...

伪分布式环境搭建（一） ssh免密登录 1.本机 ssh-keygen -t rsa  //在root用户使用ssh工具生成秘钥（也可以使用普通用户） cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys   //复制一份秘钥 ssh 本机 2.其他服务器 ssh-keygen -t rsa ssh-copy-id 用户名@IP cat ...

伪分布环境搭建（三） 修改配置文件 hadoop-env.sh export JAVA_HOME=/data/soft/jdk1.8 export HADOOP_LOG_DIR=/data/hadoop_repo/logs/hadoop yarn-env.sh export JAVA_HOME=/data/soft/jdk1.8 export YARN_LOG_DIR=/data/ha...

格式化hdfs bin/hdfs namenode -format 格式化操作不能重复执行。 如果一定要重复格式化，带参数-force即可。         详细启动脚本介绍  第一种：全部启动集群所有进程 启动：sbin/start-all.sh 停止：sbin/stop-all.sh 第二种：单独启动hdfs【web端口50070】和yarn【web端口8088】的...