data2tech的博客

Hive CLI是一种重客户端，在新版本中已移除，推荐使用Hive beeline客户端，可以更好地实现安全控制，下面讲讲beeline的使用。在hive1.1.0中使用Hive CLI会提示WARNING: Hive CLI is deprecated and migration to Beeline is recommended.无kerberos的hivebeeline!connect jdbc:hive2://centos:10000 username password对于没有开启.

如图，Roles页面显示There are currently no roles defined但是在Browser选项页是有roles的从后台HTTP请求来看，list_sentry_privileges_by_authorizable接口是有数据欢迎关注微信公众号九万里大数据。而list_sentry_roles_by_group接口没有数据解决办法是将当前用户拉入sentry的admin组，比如hive组，...

欢迎关注微信公众号九万里大数据。目录执行引擎LLAP负载管理统一查询接口JDBC ConnectorKafka Connector 执行引擎 欢迎关注微信公众号九万里大数据。在Hive3中，Tez完全取代了MapReduce，这张图显示了Hive3的查询流程。 Hive编译查询语句 Tez执行查询 YARN分配资源 Hive更新HDFS上的数据 Hive返回查询结果给JDBC连接 LLAP负载管理 ...

欢迎关注微信公众号九万里大数据。目录Hive ACID v21.创建ACID事务表2.支持合并3.ACID工具SQL兼容性约束和代理键物化视图 Hive ACID v2 Hive3的ACID v2相比Hive2的ACID v1，对很多事务的特性进行了优化升级，使之更接近于关系型数据库。使用ACID语义修改现有Hive表数据，包括insert, update, delete, merge支持数据库四大特性, Atomicity, Consistency,.

对于需要跨集群迁移Hive表的，只需要迁移表结构的，可以采取从原始集群导出Hive表结构，然后在新集群导入Hive表结构，实现Hive元数据的迁移。欢迎关注微信公众号九万里大数据。目录导出所有的hive库导出库的所有hive表导出所有hive表的建表语句处理一下导出的建表语句，比如去掉一些表路径信息等导入hive表导出所有的hive库#!/bin/bash# 1-export_database.shdir="output/database"if [ ! -d

欢迎关注微信公众号九万里大数据。之前的文章讲述了Kafka的分区重分配。这里讲述Kafka的优先副本选举方法，该办法可用于机器上副本的负载均衡，避免个别broker机器上leader副本过多导致数据写入压力过大。首先，查看topic的partition分布情况/opt/cloudera/parcels/KAFKA/lib/kafka/bin/kafka-topics.sh --zookeeper zk1:2181 --topic topic_replica_test --describe.

之前的文章讲述了Kafka的分区重分配，该方法同样可以用来增加或减少Kafka topic的副本数。该方法，可灵活地运用于提高topic的高可用性，提高数据的读写等场景。目录从一个副本数，增加到2个副本数。再增加一个副本，达到3个副本数 从一个副本数，增加到2个副本数。 创建reassign.json文件{"version":1,"partitions":[{"topic":"topic_replica_test","partition":0,"replicas":[164.

欢迎关注微信公众号九万里大数据。目录背景说明修复方法源码分析结合数据库分析 背景说明 CDH6.0.1自带的HUE版本是4.2 HUE4.2和HUE4.3在使用LdapBackend时有个bug，会导致任意的LDAP用户登录，都是超级管理员。 在HUE4.4版本修复了这个bug。https://issues.cloudera.org/browse/HUE-8675https://review.cloudera.org/r/13556/欢..

Kafka的分区重分配，可用于broker机器下线前的数据搬迁，topic的副本数增大或减小等。生成Kafka分区重分配方案首先，查看当前topic的partition分布情况kafka-topics --zookeeper zk1:2181 --topic topic_replica_test --describe假定下面我们想将该topic的partition从broker id为164,165的brokers上移走。创建topic-reassign.json文件，内容为.