akingde

先占个位置

Hadoop Shell 讲解概述 所有的hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。 用法：hadoop [--config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS] Hadoop有一个选项解析框架用于解析一般的选项和运行类。 命令选项 --config confdi...

Hadoop FS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，...

创建目录 hadoop dfs -mkdir 目录名（dfs也可以用fs代替）   列取目录 hadoop dfs -ls .（当前目录） hadoop dfs -ls 目录名   从本地文件系统复制文件到DFS hadoop dfs -copyFromLocal 源文件 目标文件 源文件默认从当前目录中读取，如果目标文件是相对路径则是保存在DFS的/user/root/目录下...

现在的部分工作是进行日志分析，由于每天的日志压缩前80多G左右，用lzop压缩后10G左右，如果用shell直接进行统计，需要花费很长时间才能完成，而且还需要用java函数对request url进行转换，于是采用hive+hdfs+sqoop方案进行日志统计分析 hadoop+hive+hdfs+sqoop的架构就不详细说了，可以直接用cloudera的repo直接安装 日志分析步骤 一...

1.当hive执行join内存溢出时，可以修改hive的配置文件hive-site.xml，增大内存，如下： mapred.child.java.opts -Xmx 1024m 2.hive默认建表时的路径也可以在hive-site.xml里配置，如下: hive.metastore.warehouse.dir value >/user/hive/warehouse descripti...