一个jdbc链接hive的小例子

本文提供了一个使用Java API连接并查询Hive数据库的例子。通过示例代码展示了如何加载Hive驱动、建立连接、获取元数据及打印列信息等操作。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 

先启动Hive远程服务接口

hive --service hiveserver

 

import java.sql.Connection;  
import java.sql.DriverManager;  
import java.sql.ResultSet;  
import java.sql.ResultSetMetaData;
import java.sql.Statement;
import org.apache.hadoop.hive.jdbc.HiveDriver;;
public class HiveTest {

	public static void main(String[] args) throws Exception {  
        
        Class.forName("org.apache.hadoop.hive.jdbc.HiveDriver");  
          
        //String dropSQL="drop table javabloger";  
        //String createSQL="create table javabloger (key int, value string)";  
        //String insterSQL="LOAD DATA LOCAL INPATH '/work/hive/examples/files/kv1.txt' OVERWRITE INTO TABLE javabloger";  
        //String querySQL="SELECT a.* FROM javabloger a";  
        String querySQL="SELECT * FROM person";  
          
        Connection con = DriverManager.getConnection("jdbc:hive://127.0.0.1:10000/default", "", "");  
        Statement stmt = con.createStatement();  
        ResultSet rs = null;
        
        
       // rs = stmt.executeQuery("select * from rc_box_office");
        ResultSetMetaData meta2 = stmt.executeQuery("SELECT * FROM person").getMetaData();
        
        System.out.println(meta2.getColumnCount()+"  *0");
        
        System.out.println(meta2.getColumnName(1)+"  *1");
        
        System.out.println(meta2.getColumnType(1)+"  *2");
        System.out.println(meta2.getColumnType(2)+"  *3");
        System.out.println(meta2.getColumnType(3)+"  *4");
        //System.out.println(meta2.getCatalogName(1)+"  *4");
        
        
        //        stmt.executeQuery(dropSQL);  
//        stmt.executeQuery(createSQL);  
//        stmt.executeQuery(insterSQL);  
       /* ResultSet res = stmt.executeQuery(querySQL);  
          
        while (res.next()) {  
            System.out.println("Result: key:"+res.getString(1) +"  –>  value:" +res.getString(2));  
        } */ 
    }  
}  

 那天写个同步oracle和hive表的程序试试

### Hive 中左连接的使用方法 在 SQL 查询中,`LEFT JOIN` 是一种常见的操作方式,用于返回左侧表中的所有记录以及右侧表中满足条件的匹配记录。如果右表中不存在对应的记录,则会填充 `NULL`。 #### 语法结构 以下是 Hive 中 `LEFT JOIN` 的基本语法: ```sql SELECT a.column1, a.column2, b.column3 FROM table_a a LEFT JOIN table_b b ON a.key = b.key; ``` 在此查询中: - `table_a` 和 `table_b` 分别表示参与连接的两张表。 - `a.key = b.key` 表示两个表之间的关联字段。 - 如果 `table_b` 中没有找到与 `table_a` 关联的记录,则对应的结果列会被设置为 `NULL`[^4]。 #### 示代码 假设我们有两个表:`employees` 和 `departments`,分别存储员工信息和部门信息。现在我们需要获取所有员工及其所属部门的信息,即使某些员工未分配到任何部门。 ```sql SELECT e.employee_id, e.name AS employee_name, d.department_name FROM employees e LEFT JOIN departments d ON e.department_id = d.department_id; ``` 在这个例子中: - `e.employee_id`, `e.name` 来自 `employees` 表。 - `d.department_name` 来自 `departments` 表。 - 对于那些没有被分配到具体部门的员工,其 `department_name` 列将会显示为 `NULL`[^5]。 --- ### 解决 Hive 左连接可能遇到的问题 尽管 `LEFT JOIN` 的逻辑简单明了,在实际应用过程中可能会碰到一些问题。下面列举了一些常见情况及其解决方案。 #### 1. 驱动包缺失或版本不兼容 当尝试通过 JDBC 连接外部数据库(如 MySQL)并执行复杂查询时,可能出现驱动包加载失败的情况。这通常是因为导入了错误的驱动程序或者路径不对。确保将正确的驱动包放置到指定位置 `/opt/module/hive/lib/mysql-connector-java-5.1.27-bin.jar` 而非 `.tar.gz` 文件[^1]。 #### 2. Java IO 暂存目录配置不当 有时运行 Hive 查询时会出现临时文件创建失败等问题。可以通过修改 `hive-site.xml` 添加如下属性来调整暂存目录的位置: ```xml <property> <name>system:java.io.tmpdir</name> <value>/your_hive_installation_directory/tmp</value> </property> ``` 此更改有助于避免因默认系统级缓存路径不足而导致的操作中断现象[^2]。 #### 3. HDFS 上的数据访问权限冲突 假如涉及跨节点读取数据集而触发安全机制报警的话,那么很可能是目标资源缺乏足够的共享许可权限所致。此时可考虑授予更宽松的访问级别给特定子目录下的对象实如针对 `/data/user/hive` 设置完全开放模式即可快速缓解此类矛盾状况: ```bash hadoop fs -chmod -R +rwx /data/user/hive ``` 上述命令允许任意用户对该路径实施增删改查动作直至另行设定新的约束规则为止[^3]。 --- ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值