
::: :: : Hive : :: :::
文章平均质量分 58
大数据小蜜蜂 数仓工具 HIVE 安装、使用、问题、总结、实例
シ風
大数据学习记录与分享!博客已迁移到 https://yuanzhengme.blog.csdn.net/?type=blog Java+大数据
展开
-
Hive【基础知识 05】常用DDL操作(数据库操作+创建表+修改表+清空删除表+其他命令)
1.Database-- 1.1 查看数据库列表SHOW databases;-- 1.2 使用数据库USE database_name;-- 1.3 新建数据库-- 语法:CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name --DATABASE|SCHEMA 是等价的[COMMENT database_comment] --数据库注释[LOCATION hdfs_path] --存储在 HDFS 上的位置[WITH DBP原创 2021-10-27 10:15:31 · 308 阅读 · 4 评论 -
Hive【基础知识 04】【Hive 属性配置的三种方式及配置的优先级说明】
1. 方式一【配置文件】使用配置文件指定的配置是永久有效的,Hive 有以下三个可选的配置文件:hive-site.xml :Hive 的主要配置文件;hivemetastore-site.xml: 关于元数据的配置;hiveserver2-site.xml:关于 HiveServer2 的配置。示例如下,在 hive-site.xml 配置 hive.exec.scratchdir 【这个目录是hdfs系统的】:<property> <name>hive.ex原创 2021-08-05 16:01:05 · 1593 阅读 · 0 评论 -
Hive【基础知识 03】【HiveServer2/beeline 配置使用】
Hive 内置了 HiveServer 和 HiveServer2 服务,两者都允许客户端使用多种编程语言进行连接,但是 HiveServer 不能处理多个客户端的并发请求,因此产生了 HiveServer2。HiveServer2(HS2)允许远程客户端可以使用各种编程语言向 Hive 提交请求并检索结果,支持多客户端并发访问和身份验证。HS2 是由多个服务组成的单个进程,其包括基于 Thrift 的 Hive 服务(TCP 或 HTTP)和用于 Web UI 的 Jetty Web 服务。HiveS原创 2021-08-03 15:08:34 · 901 阅读 · 5 评论 -
Hive【基础知识 02-2】【Hive CLI 命令行工具使用】【详细举例-包含测试脚本文件】
1.Hive CLI1.1 Help使用 hive -H 或者 hive --help 命令可以查看所有命令的帮助,显示如下:usage: hive-d,--define <key=value> # Variable subsitution to apply to hive commands. e.g. -d A=B or --define A=B --定义用户自定义变量--database <databasename> Specify the database原创 2021-08-05 09:40:19 · 1199 阅读 · 0 评论 -
Hive【基础知识 02-1】【Hive CLI 命令行工具使用】【准备阶段-建库、建表、导入数据、编写测试SQL脚本并上传HDFS】
【为了CLI和Beeline命令行使用测试,这里先创建一个数据库和表并导入一些数据】1. 创建数据库# 创建数据库hive> CREATE DATABASE IF NOT EXISTS hive_test > COMMENT 'hive database for test' > LOCATION '/tmp/hive/test' > WITH DBPROPERTIES ('create'='yuanzhengme');OKTime taken: 0.原创 2021-08-05 11:16:28 · 439 阅读 · 0 评论 -
Hive【基础 01】核心概念+体系架构+数据类型+内容格式+存储格式+内外部表(部分图片来源于网络)
1.简介Hive 是一个构建在 Hadoop 之上的数据仓库,它可以将结构化的数据文件映射成表,并提供类 SQL 查询功能,用于查询的 SQL 语句会被转化为 MapReduce 作业,然后提交到 Hadoop 上运行。特点:简单、容易上手 (提供了类似 sql 的查询语言 hql),使得精通 sql 但是不了解 Java 编程的人也能很好地进行大数据分析;灵活性高,可以自定义用户函数 (UDF) 和存储格式;为超大的数据集设计的计算和存储能力,集群扩展容易;统一的元数据管理,可与 prest.原创 2021-08-02 20:00:53 · 234 阅读 · 0 评论 -
Hive【环境搭建 01】【hive-3.1.2版本 安装配置】【含 mysql-connector-java-5.1.47.jar 网盘资源】【详细】
我使用的安装文件是 apache-hive-3.1.2-bin.tar.gz ,以下内容均以此版本进行说明。前置条件MySQL数据库我安装的是 mysql-5.7.28 版本的,安装方法可参考《Linux环境安装MySQL5.7.28》。[root@tcloud ~]# service mysqld status SUCCESS! MySQL running (18714)Hadoop环境我安装的是 hadoop-3.1.3 版本的,安装方法可参考《Linux环境安装Hadoop3.原创 2021-08-03 14:57:45 · 1634 阅读 · 0 评论 -
Hive【Hive学习大纲】【数据仓库+简介+工作原理】【自学阶段整理的xmind思维导图分享】【点击可放大看高清】
原创 2021-08-02 19:54:56 · 427 阅读 · 0 评论