Hive学习笔记（更新中）

最新推荐文章于 2025-03-20 20:34:28 发布

TheEvil7

最新推荐文章于 2025-03-20 20:34:28 发布

阅读量558

点赞数

分类专栏：大数据文章标签： hive 数据库 sql

本文链接：https://blog.csdn.net/TheEvil7/article/details/110232177

版权

本文详细介绍了Hive的各种数据类型、Join操作、排序与分发策略、视图和索引的创建与管理，重点讨论了数据倾斜的原因、表现及解决方案，还涵盖了Hive的参数优化和SQL函数使用，旨在深入理解并优化Hive查询性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hive学习

1、Hive数据类型

1.1、基本数据类型

数据类型	所占字节	开始支持版本及描述
TINYINT	1字节（8位）有符号整数	1
SMALLINT	2字节（16位）有符号整数	1
INT	4字节（32位）有符号整数	1
BIGINT	8字节（64位）有符号整数	１
FLOAT	4字节（32位）单精度浮点数	1
DOUBLE	8字节（64位）双精度浮点数	1
BOOLEAN	true/false	TRUE
STRING	字符串	‘xia’，“xia”
BINARY		从Hive0.8.0开始支持
TIMESTAMP		从Hive0.8.0开始支持
DECIMAL		从Hive0.11.0开始支持
CHAR		从Hive0.13.0开始支持
VARCHAR		从Hive0.12.0开始支持
DATE		从Hive0.12.0开始支持

Hive的基本数据类型和java的基本数据类型是一一对应的，除了string类型。有符号的整数类型：TINYINT、SMALLINT、INT和BIGINT分别等价于Java的byte、short、int和long原子类型，它们分别为1字节、2字节、4字节和8字节有符号整数。

对于Hive的string类型相当于数据库的varchar类型，该类型是一个可变的字符串。

1.2、复杂数据类型

	复杂数据类型
类型	描述	示例
ARRAY	一组有序字段。字段的类型必须相同	Array(1,2)
MAP	一组无序的键/值对。键的类型必须是原子的，值可以是任何类型，同一个映射的键的类型必须相同，值的类型也必须相同	Map(‘a’,‘1’,‘b’,‘2’)
STRUCT	一组命名的字段。字段类型可以不同	Struct(‘a’,1,1,0)

2、Join语句

2.1、INNER JOIN

内连接（INNER JOIN）中，只有进行连接的两个表中都存在于连接标准相匹配的数据才会被保留下来。标准SQL是支持对连接关键字进行非等值连接的，但非等值连接在Hive中是非法的，主要原因是通过MapReduce很难实现这种类型的连接，同时，Hive目前还不支持在ON子句中的谓词间使用OR。

大多数情况下，Hive会对每对JOIN连接对象启动一个MapReduce任务。

2.2、LEFT OUTER JOIN

左外连接，这种JOIN连接操作中，JOIN操作符左边表种符合WHERE子句的所有记录将会被返回。JOIN操作符右边表中如果没有符合ON后边连接条件的记录时，那么从右边表指定选择的列的值将会是NULL。

2.3、RIGHT OUTER JOIN

右外连接会返回右边表中所有符合WHERE语句中的记录，左表中匹配不上的字段值用NULL代替。

2.4、FULL OUTER JOIN

完全外连接，将会返回所有表中符合WHERE语句条件的所有记录，如果任一表的指定字段没有符合条件的值的话，那么就使用NULL值代替。

2.5、LEFT SEMI JOIN

左半开连接会返回左表中的记录，SEMI JOIN比通常的INNER JOIN要更高效，其原因是对于左表一条指定的记录，在右表中一旦找到匹配的记录，Hive就会理解停止扫描。注意的是SELLECT和WHERE语句中不能引用到右边表中的字段。

2.6、MAP SIDE JOIN

如果所有表中只有一张是小表，那么可以在最大的表通过MAPPER的时候将小表完全放到内存中，Hive可以在MAP端执行连接过程（成为MAP SDIE JOIN），这是因为Hive可以和内存中的小表进行注意匹配，从而省略掉常规连接操作所需要的REDUCE

3、Order by，Sort by，Dristribute by，Cluster by

3.1、Order by

order by会对所输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序）

只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。

set hive.mapred.mode=nonstrict;(default value/默认值)

set hive.mapred.mode=strict;

order by和数据库中的Order by功能一致，按照某一项 & 几项排序输出。

与数据库中order by的区别在于在hive.mapred.mode = strict模式下，必须指定limit，否则执行会报错。

hive> select * from test order by id; 
FAILED: Error in semantic analysis: 1:28 In strict mode, if ORDER BY is specified, LIMIT must also be specified. Error encountered near token 'id'

原因：在order by状态下所有数据会到一台服务器进行reduce操作，即使只有一个reduce，如果在数据量大的情况下会出现无法输出结果的情况，如果进行limit n，那只有n * map number条记录而已。只有一个reduce也可以处理过来。

3.2、Sort by

sort by不是全局排序，其在数据进入reducer前完成排序。

因此，如果用sort by进行排序，并且设置mapred.reduce.tasks>1，则sort by只保证每个reducer的输出有序，不保证全局有序。

sort by不受hive.mapred.mode是否为strict，nostrict的影响

sort by的数据只能保证在同一reduce中的数据可以按指定字段排序。

使用sort by你可以指定执行的reduce个数（set mapred.reduce.tasks=），对输出的数据再执行归并排序，即可以得到全部结果。

注意：可以用limit子句大大减少数据量。使用limit n后，传输到reduce端（单机）的数据记录数就减少到n*(map个数)。否则由于数据过大可能出不了结果。

3.3、Distribute by

按照指定的字段对数据进行划分到不同的输出reduce / 文件中。

insert overwrite local directory '/home/hadoop/out' select * from test order by name distribute by length(name);

此方法会根据name的长度划分到不同的reduce中，最终输出到不同的文件中。

length是内建函数，也可以指定其他的函数或者使用自定义函数。

3.4、Cluster by

cluster by除了具有distribute by的功能外，还兼具sort by的功能。但是排序只能是倒序排序，不能指定排序规则为asc或者desc。

4、HiveQL：视图

视图可以循序保

最低0.47元/天解锁文章