BigData_Mining的博客

Hadoop中常用的压缩算法有bzip2、gzip、lzo、snappy，其中lzo、snappy需要操作系统安装native库才可以支持。下面这张表，是比较官方一点的统计，不同的场合用不同的压缩算法。bzip2和GZIP是比较消耗CPU的，压缩比最高，GZIP不能被分块并行的处理；Snappy和LZO差不多，稍微胜出一点，cpu消耗的比GZIP少。通常情况下，想在CPU和IO之间取得平衡...

2、 修改core-site.xml，在<configuration></configuration>之间添加： fs.defaultFS hdfs://Master:9000 hadoop.tmp.dir file:/usr/local/hadoop-2.6.0/tmp Abase for other temporary d...