
hadoop
LifeSecret
追求简单的结束战斗,大部分时间在磨刀霍霍
展开
-
Hadoop集群非法节点加入检测
介绍有时你会发现,hadoop namenode的50070页面显示的datanode节点信息中,有些并非是我们同意加入的,或者你使用了iptables,但是防得住IP,防不住hostname变化,而且过去发现,服务器修改hostname直接在/etc/profile里面采用hostname XXX的形式,据我了解,/etc/profile只有在shell登录的时候才会被调用, 而正确的修改方式是原创 2015-09-09 22:51:00 · 593 阅读 · 0 评论 -
学习计划 - hadoop
学习目标hadoop在什么背景下产生当时,有一个组织在做全球免费搜索业务,但是面临大量的存储和计算,此时,Google分享了两篇论文,一个是分布式存储,稍后是分布式计算,但是Google并没有释放出源代码,该组织依据分布式存储的论文,做出了hadoop,实现了分布式存储,稍后Yahoo继续维护hadoop hdfs以及研发了mapreduce实现。hadoop当前发展如何hadoop当前版本3.0.原创 2016-08-31 08:06:41 · 1193 阅读 · 0 评论