Hive工具介绍（三）

1. 表的分区(在建立表时指定分区)

 

如果运行过程中报错：is running 460233216B beyond the 'VIRTUAL' memory limit.

一般是虚拟内存设置的不对的原因

解决方案：

在hadoop的配置文件目录中，对mapred-site.xml中添加如下配置

<property>

 

    <name>mapreduce.map.memory.mb</name>

 

    <value>2048</value>

 

 </property>

 

 

  <property>

 

    <name>mapreduce.reduce.memory.mb</name>

 

    <value>2048</value>

 

 </property>

 

 

HA集群发现其中一个备NN无法启动

解决方案：

将能够启动的namenode节点的tmp/dfs/name目录下面的文件拷贝到不能启动的namenode节点上

然后重启hdfs

 

五、内部表与外部表

Hive创建的表分为内部表和外部表，对于内部表来说，在创建的时候会把数据移动到数据仓库指向的位置，如果是外部表，则仅仅记录数据所在的位置。

对于内部表，在删除的时候会把元数据和数据一起删除，外部表则仅仅只删除元数据，真正的数据不会删除。因而在共享源数据的情况下，可以选择使用外部表。

        数据文件的全部操作都是由Hive来完成的，除此外不会有其它的应用使用这个数据文件

        在实际的应用中数据文件可能不仅仅是由Hive来操作，这时一般是不可以改变数据文件的格式及位置的，这时一般是用外部表来实现Hive操作

外部表的创建方式

     create external table person(

     id int,

    name string,

    age int,

    fav array<string>,

    addr map<string,string>

    )

    comment 'this is a person table'

    row format delimited fields terminated by '\t'

    collection items terminated by '-'

    map keys terminated by ':'

    stored as textfile;

注意：上面的建表语句使用了external关键字

            查看数据是可以看到：/usr/hive/warehouse/person/ data.txt

 

六、内置函数与自定义函数

Hive中包含了一些自定义的函数，如果内置函数不满足需求，我们也可以编写自定义函数(UDF：User Defined Function)

UDF函数有如下三种类型：

创建一个虚拟txt文件

echo 'X' > dual.txt

创建一个虚拟表dual

create table dual (dummy string);

导入数据

load data local inpath '/root/dual.txt' overwrite into table dual;

 

拼接函数concat

select concat('a','b','c','d') from dual;

输出结果：abcd

统计记录行count

select count(1) from dual;

输出结果：1

拆分字符串并逐行输出explode、split

select explode(split('a,b,c,d,e',',')) from dual;

输出结果：

a

b

c

d

e

 

自定义函数

import org.apache.hadoop.hive.ql.exec.UDAF;
import org.apache.hadoop.hive.ql.exec.UDAFEvaluator;
import org.apache.hadoop.io.IntWritable;


public class Maximum extends UDAF {
    public static class MaximumIntUDAFEvaluator implements UDAFEvaluator{


        private IntWritable result;
        @Override
        public void init() {
            result = null;
        }


        public boolean iterate(IntWritable value){
            if(value == null){
                return true;
            }
            if(result == null){
                result = new IntWritable(value.get());
            } else {
                result.set(Math.max(result.get(),value.get()));
            }
            return true;
        }


        public IntWritable terminatePartial(){
            return result;
        }


        public boolean merge(IntWritable other){
            return iterate(other);
        }


        public IntWritable terminate(){
            return result;
        }
    }
}

 

import java.sql.*;


public class HiveTest {
    private static final String DRIVER = "org.apache.hive.jdbc.HiveDriver";
    private static final String DATABASE_PATH="jdbc:hive2://192.168.2.2:10000/default";
    private static final String USER_NAME="root";
    private static final String PASSWORD="123456";


    public static void main(String[] args) throws SQLException {
        Connection conn = null;
        Statement stmt = null;
        ResultSet rs = null;


        String hql = "select count(1) from person";
        int count = 0;
        try {
            //注册驱动
            Class.forName(DRIVER);
            //创建连接
            conn = DriverManager.getConnection(DATABASE_PATH,USER_NAME,PASSWORD);
            //创建statement
            stmt = conn.createStatement();
            //执行hql语句
            rs = stmt.executeQuery(hql);
            //处理结果集
            if(rs.next()){
                count = rs.getInt(1);
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            //关闭连接
            if(rs != null)
                rs.close();
            if(stmt != null)
                stmt.close();
            if(conn != null)
                conn.close();
        }
        System.out.println(count);
    }
}