河南骏的博客

在安装lcoudera manager的时候回碰到ntp时间同步的问题，1、在/etc/ntp.conf配置如：       在server节点配置如下：driftfile /var/lib/ntp/driftrestrict 127.0.0.1restrict -6 ::1restrict default nomodify notrap server 65

1、安装环境JDK1.7.0centOS6.4hive0.13.1cdh5.3.6hadoop2.5.0mysql2、Hive的功能架构介绍Hive是一种以SQL风格进行任何大小数据分析的工具，其特点是采取类似关系数据库的SQL命令。其特点是通过 SQL处理Hadoop的大数据，数据规模可以伸缩扩展到100PB+，数据形式可以是结构或非结构数据。Hive与传统关系数据

根据导出的地方不一样，将这些方式分为三种：（1）、导出到本地文件系统；（2）、导出到HDFS中；（3）、导出到Hive的另一个表中。为了避免单纯的文字，我将一步一步地用命令进行说明。一、导出到本地文件系统　　hive> insert overwrite local directory '/home/wyp/wyp'    > select *

在数据开发中，由于数据量非常的大，有时候需要将关系型数据库（Oracle/Postgresql/Mysql等）中的表导入到hdfs中进行分布式存储。本文就oozie定时调用sqoop job从oracle库中增量导入数据至hive表具体操作记录一下：首先，准备工作是在HDFS上创建oozie job需要的workflow.xml,hive-site.xml,coordinator.xml和li

最近在这几天在搞伪分布式安装hue,在安装oozie的时候总是启动不了web界面，花了很长时间搞定，下面是安装oozie的步骤总结一下：安装环境：centOS6.4Java JDK 1.7Mavenhadoop-2.5.0-cdh5.3.6oozie-4.0.0-cdh5.3.6ext-2.2.zip安装前注意事项Download ExtJS library (it mus

安装oozie有些问题，按照教程执行以下命令导入oozie share libsudo -u oozie /usr/lib/oozie/bin/oozie-setup.sh sharelib create -fs hdfs://cloud61 -locallib /usr/lib/oozie/oozie-sharelib-yarn一直报Caused by: java.net.ConnectEx

这个问题折腾了很久，现在还是有点困惑，废话少说，先把我趟的KENG说一下：1、修改/tmp 文件的权限    ------->  sudo chmod a+wrx /tmp2、把mysql 的驱动jar包放到 hdfs上3、把hive-site.xml(一般在/opt/cm-5.7.0/run/cloudera-scm-agent/process/64-hue-HUE_SERVER/h

ErrorCode [JA009], Message [JA009: org.apache.hadoop.yarn.exceptions.InvalidResourceRequestException: Invalid resource request, requested memory  max configured, requestedMemory=1536, maxMemory=1307

由于在CM5.7.0中执行HUE的hive workflow有问题，网上说是oozie仅支持0.13.1版本的hive，故搭建的集群暂时用不上，需要重新搭建一个伪分布式的cm，网上找到一篇，在下载下面的组件的时候，确实是有些版本限制，按下文走一遭试试！帮的上忙的链接：http://suncf1985.iteye.com/blog/2012926！！！本文介绍如何在centOS6.4

https://blog.csdn.net/a2011480169/article/details/51544664，这边博客写的很详细，很实用，分享与喜爱！！！

问题1：Caused by: javax.jdo.JDODataStoreException: Required table missing : "`VERSION`" in Catalog "" Schema "". DataNucleus requires this table to perform its persistence operations. Either your M

hive以行分隔数据，需要修改为按逗号'  ,  ‘ 进行分隔读取，具体操作如下，首先在hive中创建自己的table,  并且设置以逗号分隔。 create table IP(ip varchar(30), country varchar(30), province varchar(30), city varchar(30), district varchar(30), li

Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据。其在Hadoop的架构体系中承担了一个SQL解析的过程，它提供了对外的入口来获取用户的指令然后对指令进行分析，解析出一个MapReduce程序组成可执行计划，并按照该计划生成对应的MapReduce任务提交给Hadoop集群处理，获取最终的结果。元数据——如表模式——

With CDH4 and CDH5 there's no longer a 'HADOOP_HOME' env-var. It has been instead renamed to 'HADOOP_PREFIX', which for a default parcel environment can be set to/opt/cloudera/parcels/CDH/lib/hadoop

1、HUE中hive 查询有问题，页面报错：Could not connect to localhost:10000解决方法：在安装的HIVE中启动hiveserver2 &,因为端口号10000是hiveserver2服务的端口号，否则，Hue Web 控制无法执行HIVE 查询。2、Hue中配置DB 查询（mysql）。解决方法：编辑hue.ini[rdbms]/[li

put configuration in HUE as below:[librdbms]  # The RDBMS app can have any number of databases configured in the databases  # section. A database is known by its section name  # (IE sqli

今天调试CDH的oozie，安装好服务后，打开web管理界面：页面提示：Oozie web console is disabled.To enable Oozie web console install the Ext JS library.Refer to Oozie Quick Start documentation for details.缺少Ext

问题导读：1.什么是CDH？2.搭建CDH集群 需要的基本环境是什么？3.如何对集群进行基本的配置？4.怎样进行Cloudera Manager安装？5.怎样进行CDH服务安装？解决方案：一、简介CDH是cloudera公司开发的一个快速部署、高效管理Hadoop和其各种组件的一个商业化产品。主要分为两部分，分别为Cloudera M

参考博客地址:http://shiyanjun.cn/archives/664.html前提是你的hive和你的oozie都已经配置好了。hive配置很简单，oozie配置中的问题可以看我的上一篇博客。分为几步，1 hive-site.xml 及对应版本的hive的jar包，都要上传到hdfs。你肯定在hdfs上已经建立了对应的目录。      针对我装的cm5.7，相

我的ORACLE 是11G  ，找到ojdbc6.jar，放到sqoop 的lib 下面，我的是cloudera 集群，目录是/opt/cloudera/parcels/CDH-5.10.0-1.cdh5.10.0.p0.41/lib/sqoop/lib /opt/cm-5.10.0/share/cmf/lib/ojdbc6.jar/var/lib/sqoop2/ojdbc6.ja

一简介Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。二特点Sqoop中一大亮点就是可以通过hadoop的mapreduce把数据从关系型数据库中导入数据到HDFS。三 Sqo

转载自：http://www.mamicode.com/info-detail-1458867.html

Hive中提供了很多分析函数，用于完成负责的统计分析。先看看基础的sum,avg,min,max，用于实现分组内所有和连续累计的统计。sum(columns) over (partition by col1 order by col2 rows between n/unbounded preceding and m following/current row )如果不指定rows betw...