hdfs同步sentry权限到文件系统acl异常，导致hdfs acl权限全部丢失

于 2024-11-27 14:52:59 发布
阅读量854 收藏 19
点赞数 6
分类专栏： sentry 文章标签： hdfs sentry
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/appleYQL/article/details/144074436
版权

1、事情起因

集群是CDH6.2.0，权限使用sentry鉴权，一次hadoop修改配置重启后出现，无论是使用hive客户端还是直接加载文件进去都是提示文件权限问题，使用访问hiveserver2的服务是正常的(hiveserver2正常应该是鉴权是在sentry，鉴权完成后使用hive用户访问)，查看了sentry上面的赋权，权限是正常的，再查看hdfs文件系统上面的目录和文件，发现acl权限全部丢失。

2、异常原因及排查思路

查询hadoop namenode的日志，发现有个同步sentry权限到acl的异常，如下：

2024-11-21 12:31:58,976 ERROR org.apache.sentry.core.common.transport.RetryClientInvocationHandler: failed to execute getAllUpdatesFrom
java.lang.reflect.InvocationTargetException
        at sun.reflect.GeneratedMethodAccessor294.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.sentry.core.common.transport.RetryClientInvocationHandler.invokeImpl(RetryClientInvocationHandler.java:95)
        at org.apache.sentry.core.common.transport.SentryClientInvocationHandler.invoke(SentryClientInvocationHandler.java:41)
        at com.sun.proxy.$Proxy22.getAllUpdatesFrom(Unknown Source)
        at org.apache.sentry.hdfs.SentryUpdater.getUpdates(SentryUpdater.java:49)
        at org.apache.sentry.hdfs.SentryAuthorizationInfo.update(SentryAuthorizationInfo.java:125)
        at org.apache.sentry.hdfs.SentryAuthorizationInfo.run(SentryAuthorizationInfo.java:220)
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
        at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:308)
        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$301(ScheduledThreadPoolExecutor.java:180)
        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:294)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        at java.lang.Thread.run(Thread.java:748)
Caused by: org.apache.sentry.core.common.exception.SentryHdfsServiceException: Thrift Exception occurred !!
        at org.apache.sentry.hdfs.SentryHDFSServiceClientDefaultImpl.getAllUpdatesFrom(SentryHDFSServiceClientDefaultImpl.java:140)
        ... 16 more
Caused by: org.apache.thrift.transport.TTransportException: java.net.SocketTimeoutException: Read timed out
        at org.apache.thrift.transport.TIOStreamTransport.read(TIOStreamTransport.java:129)
        at org.apache.thrift.transport.TTransport.readAll(TTransport.java:86)
        at org.apache.thrift.transport.TSaslTransport.readLength(TSaslTransport.java:374)
        at org.apache.thrift.transport.TSaslTransport.readFrame(TSaslTransport.java:451)
        at org.apache.thrift.transport.TSaslTransport.read(TSaslTransport.java:433)
        at org.apache.thrift.transport.TSaslClientTransport.read(TSaslClientTransport.java:37)
        at org.apache.thrift.transport.TTransport.readAll(TTransport.java:86)
        at org.apache.thrift.protocol.TBinaryProtocol.readAll(TBinaryProtocol.java:429)
        at org.apache.thrift.protocol.TBinaryProtocol.readI32(TBinaryProtocol.java:318)
		at org.apache.thrift.protocol.TBinaryProtocol.readMessageBegin(TBinaryProtocol.java:219)
        at org.apache.thrift.protocol.TProtocolDecorator.readMessageBegin(TProtocolDecorator.java:135)
        at org.apache.thrift.TServiceClient.receiveBase(TServiceClient.java:77)
        at org.apache.sentry.hdfs.service.thrift.SentryHDFSService$Client.recv_get_authz_updates(SentryHDFSService.java:171)
        at org.apache.sentry.hdfs.service.thrift.SentryHDFSService$Client.get_authz_updates(SentryHDFSService.java:158)
        at org.apache.sentry.hdfs.SentryHDFSServiceClientDefaultImpl.getAllUpdatesFrom(SentryHDFSServiceClientDefaultImpl.java:107)
        ... 16 more
Caused by: java.net.SocketTimeoutException: Read timed out
        at java.net.SocketInputStream.socketRead0(Native Method)
        at java.net.SocketInputStream.socketRead(SocketInputStream.java:116)
        at java.net.SocketInputStream.read(SocketInputStream.java:171)
        at java.net.SocketInputStream.read(SocketInputStream.java:141)
        at java.io.BufferedInputStream.fill(BufferedInputStream.java:246)
        at java.io.BufferedInputStream.read1(BufferedInputStream.java:286)
        at java.io.BufferedInputStream.read(BufferedInputStream.java:345)
        at org.apache.thrift.transport.TIOStreamTransport.read(TIOStreamTransport.java:127)
        ... 30 more
2024-11-21 12:31:58,977 ERROR org.apache.sentry.core.common.transport.RetryClientInvocationHandler: Thrift call failed
org.apache.thrift.transport.TTransportException: org.apache.thrift.transport.TTransportException: java.net.SocketTimeoutException: Read timed out
        at org.apache.sentry.core.common.transport.RetryClientInvocationHandler.invokeImpl(RetryClientInvocationHandler.java:110)
        at org.apache.sentry.core.common.transport.SentryClientInvocationHandler.invoke(SentryClientInvocationHandler.java:41)
        at com.sun.proxy.$Proxy22.getAllUpdatesFrom(Unknown Source)
        at org.apache.sentry.hdfs.SentryUpdater.getUpdates(SentryUpdater.java:49)
        at org.apache.sentry.hdfs.SentryAuthorizationInfo.update(SentryAuthorizationInfo.java:125)
        at org.apache.sentry.hdfs.SentryAuthorizationInfo.run(SentryAuthorizationInfo.java:220)
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
        at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:308)
        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$301(ScheduledThreadPoolExecutor.java:180)
        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:294)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        at java.lang.Thread.run(Thread.java:748)
Caused by: org.apache.thrift.transport.TTransportException: java.net.SocketTimeoutException: Read timed out
        at org.apache.thrift.transport.TIOStreamTransport.read(TIOStreamTransport.java:129)
        at org.apache.thrift.transport.TTransport.readAll(TTransport.java:86)
        at org.apache.thrift.transport.TSaslTransport.readLength(TSaslTransport.java:374)
        at org.apache.thrift.transport.TSaslTransport.readFrame(TSaslTransport.java:451)
        at org.apache.thrift.transport.TSaslTransport.read(TSaslTransport.java:433)
        at org.apache.thrift.transport.TSaslClientTransport.read(TSaslClientTransport.java:37)
        at org.apache.thrift.transport.TTransport.readAll(TTransport.java:86)
        at org.apache.thrift.protocol.TBinaryProtocol.readAll(TBinaryProtocol.java:429)
        at org.apache.thrift.protocol.TBinaryProtocol.readI32(TBinaryProtocol.java:318)
        at org.apache.thrift.protocol.TBinaryProtocol.readMessageBegin(TBinaryProtocol.java:219)
        at org.apache.thrift.protocol.TProtocolDecorator.readMessageBegin(TProtocolDecorator.java:135)
		at org.apache.thrift.TServiceClient.receiveBase(TServiceClient.java:77)
        at org.apache.sentry.hdfs.service.thrift.SentryHDFSService$Client.recv_get_authz_updates(SentryHDFSService.java:171)
        at org.apache.sentry.hdfs.service.thrift.SentryHDFSService$Client.get_authz_updates(SentryHDFSService.java:158)
        at org.apache.sentry.hdfs.SentryHDFSServiceClientDefaultImpl.getAllUpdatesFrom(SentryHDFSServiceClientDefaultImpl.java:107)
        at sun.reflect.GeneratedMethodAccessor294.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.sentry.core.common.transport.RetryClientInvocationHandler.invokeImpl(RetryClientInvocationHandler.java:95)
        ... 12 more
Caused by: java.net.SocketTimeoutException: Read timed out
        at java.net.SocketInputStream.socketRead0(Native Method)
        at java.net.SocketInputStream.socketRead(SocketInputStream.java:116)
        at java.net.SocketInputStream.read(SocketInputStream.java:171)
        at java.net.SocketInputStream.read(SocketInputStream.java:141)
        at java.io.BufferedInputStream.fill(BufferedInputStream.java:246)
        at java.io.BufferedInputStream.read1(BufferedInputStream.java:286)
        at java.io.BufferedInputStream.read(BufferedInputStream.java:345)
        at org.apache.thrift.transport.TIOStreamTransport.read(TIOStreamTransport.java:127)
        ... 30 more

提示其实很明显，就是sentryHdfsPlugin同步sentry权限到hdfs超时，但是因为sentry这个项目现在已经不维护了，网上的资料也很少，导致应该修改哪些参数也不清楚，于是只能翻看源码的解决了。
首先是入口，我们可以随便找个hadoop集群，把sentry的勾去掉，可以看到修改的配置，如图：
在这里插入图片描述
找到这个类的start方法：

public void start() {
   
    if (started) {
   
      throw new IllegalStateException("Provider already started");
    }
    started = true;
    try {
   
      if (!conf.getBoolean(DFSConfigKeys.DFS_NAMENODE_ACLS_ENABLED_KEY,
              false)) {
   
        throw new RuntimeException("HDFS ACLs must be enabled");
      }
      Configuration conf = new Configuration(this.conf);
      conf.addResource(SentryAuthorizationConstants.CONFIG_FILE, true);
      user = conf.get(SentryAuthorizationConstants.HDFS_USER_KEY,
              SentryAuthorizationConstants.HDFS_USER_DEFAULT);
      group = conf.get(SentryAuthorizationConstants.HDFS_GROUP_KEY,
              SentryAuthorizationConstants.HDFS_GROUP_DEFAULT);
      permission = FsPermission.createImmutable(
              (short) conf.getLong(SentryAuthorizationConstants
                              .HDFS_PERMISSION_KEY,
                      SentryAuthorizationConstants.HDFS_PERMISSION_DEFAULT)
      );
      originalAuthzAsAcl = conf.getBoolean(
              SentryAuthorizationConstants.INCLUDE_HDFS_AUTHZ_AS_ACL_KEY,
              SentryAuthorizationConstants.INCLUDE_HDFS_AUTHZ_AS_ACL_DEFAULT);

      LOG.info("Starting");
      LOG.info("Config: hdfs-user[{}] hdfs-group[{}] hdfs-permission[{}] " +
              "include-hdfs-authz-as-acl[{}]", new Object[]
              {
   user, group, permission, originalAuthzAsAcl});

      if (authzInfo == null) {
   
        authzInfo = new SentryAuthorizationInfo(conf);
      }
      authzInfo.start
最低0.47元/天 解锁文章
hdfs sentry acl权限同步失效
wflh323的专栏
05-10 2807
集群开启hdfs sentry acl权限同步，一直很稳定的运行，某天突然出现hive权限问题，hive通过hs2 访问的不受影响，hive cli访问全部失败(不推荐使用hive cli 命令)，其它任务访问hive表路径失败，用hdfs getfacl命令查看，权限同步目录acl全部失效，集群基本无法访问，查看sentry，hive正常， 日志都没有异常信息，查看namenode日志出...
数据仓库搭建_hdfs,ACL权限认证（权限控制）
最新发布
Davila的博客
08-09 235
在没有开启之前，任何用户都可以随意的删除root用户下的文件，这就可能造成了严重的安全隐患。1、普通权限认证只能控制到当前用户，当前用户所属的组，其它用户，不能精确到每一个其它用户。1、分词规范，ODS,DWD,DWS,ADS,DIM，每个公司分层的方式是不一样的，库命名规范：每一个层对应hive中一个库，每一层对应hdfs中一个目录。表命名规范，每个定义都是由规则的，一般会使用库名作为前缀。# 将hdfstmp的目录权限给所有的用户。2、ACl可以做到每一个用户权限认证，将目录的权限给到层所属的用户。
hdfs中acl权限管理的简单实用
huan的学习记录
06-05 1185
在我们开发的过程中有这么一种场景，/projectA目录是用户创建的，他对这个目录有wrx权限，同时这个目录属于supergroup，在这个组中的用户也具有这个目录的wrx权限，对于其他人,不可访问这个目录。现在有这么一个特殊的用户root由上图可以，root用户想访问/projectA目录，在hdfs中可以通过acl来实现。
HDFS文件权限及ACL访问控制
大怀特的博客
10-15 3118
1、权限相关配置 2、hdfs acl权限实体类别 3、hdfs acl权限生效的算法规则 4、hdfs acl shell命令 5、hdfs acl FileSystem 相关API dfs文件权限及ACL访问控制 1、权限相关配置 (1)、hdfs-site.xml设置启动acl <property> <name>dfs.permissions.enabled</name> <value>true</v
HDFS ACL权限的存储与获取源码分析
sx157559322的博客
07-25 283
前言我们都知道HDFS 权限除了基础权限还有ACL权限,但是当我们获取Fsimage镜像文件时只能看到基础权限信息看不到ACL权限信息,那么ACL权限信息是如何获取与存储的呢？大概的总结是:为了节省内存,这里的ACL其实是以整型数组的形式存储在INode节点中的,而且还有单独的user、group的Map对象与之关联,只不过这里面涉及到了一些运算。因hadoop源码非常复杂,下面只解析ACL权...
Apache Sentry架构介绍
weixin_33709364的博客
04-08 1077
介绍 Apache Sentry是Cloudera公司发布的一个Hadoop开源组件，截止目前还是Apache的孵化项目，它提供了细粒度级、基于角色的授权以及多租户的管理模式。Sentry当前可以和Hive/Hcatalog、Apache Solr 和Cloudera Impala集成，未来会扩展到其他的Hadoop组件，例如HDFS和HBase。 特性...
加入sentry后普通用户访问hdfs文件权限问题
hcq_lxq的博客
12-11 1601
问题： 加入LDAP和sentry控制权限后，在每天服务器中添加了普通用户，例如hadoopuser，在hadoopuser下执行su - u hadooouser hdfs dfs -ls /user/hive/warehouse报错,报错信息如下。 ls: Permission denied: user=hadoopuser, access=READ_EXECUTE, inode="/user/hive/warehouse":hive:hive:drwxrwx--x 分析思路： ...
聊聊HDFS中的权限管理
hncscwc的博客
08-18 3369
HDFS是一个面向多用户的分布式文件系统。既然是多用户，那么不同用户存储的文件通常需要进行权限隔离，防止被其他用户修改或误删。本文就来聊聊HDFS中的权限管理。权限校验要启用权限校验，首先...
HDFS、HBase、Hue等权限操作
weixin_44154134的博客
05-28 1017
HDFS文件ACL授权 1.集群开启acl权限管控由参数dfs.namenode.acls.enabled控制 2.授权流程 ##切换为超级用户hdfs su hdfs ##授权之前，可查看库下有哪些用户已有权限，通过命令getfacl hadoop fs -getfacl $PATH ##如：hadoop fs -getfacl /user/hive/warehouse/dw_tmp.db ##acl授权，运行时间较长，可后台执行；执行完成后，通过上述getfacl命令进行验证 hadoop fs -se
【HDFS】转载：HDFS 特殊权限位
Mrerlou的博客
12-10 524
一、前言 之前对HDFS更或者说是对Linux中文件的权限没有进行一个完整的学习，只是知道有所有者、所属组和其它权限，具体到某个人的权限有读®、写(w)和可执行(x)。 二、HDFS基于Linux Posix model HDFS的权限虽然是基于Linux的POSIX model，但是HDFS中其实并没有真正的用户和组的概念，只是从主机上拿到用户的信息然后对其存储的文件权限进行检查。 HDFS中每个文件和目录都有一个owner和group，并对owner、owner同一个组的user和其它user的权限进
Hadoop 2.7.5命令 （1）
weixin_30635053的博客
03-20 227
概述： 文件系统（FS）shell包含各种类似shell的命令，可直接与Hadoop分布式文件系统（HDFS）以及Hadoop支持的其他文件系统（如Local FS，HFTP FS，S3 FS等）交互。FS外壳的调用方式如下： hadoop fs <args> 所有FS shell命令都将路径URI作为参数。URI格式是sche...
Hadoop_Hdfs ACL 权限控制详解
热门推荐
迎难而上
05-04 1万+
开启ACL权限控制 Hadoop HDFS 默认没有使用 ACL 权限控制机制。这里介绍下如何开启 hdfs 的权限控制机制。 第一次使用需要修改hdfs-site.xml 把以下配置加进hdfs-site.xml 中, 并重启NameNode. dfs.namenode.acls.enabled true        我们主要是通过  setfacl  getfacl  这两个指令
一篇文章搞懂HDFS管理权限
小米云技术
06-14 8226
小米的HDFS承载了公司内多个部门几十条业务线的几十PB数据，这些数据有些是安全级别非常高的用户隐私数据，也有被广泛被多个业务线使用的基础数据，不同的业务之间有着复杂的数据依赖。因此，如何管理好这些数据的授权，并尽可能自动化低成本的做好权限管理，是很重要的一部分工作。本文系统的描述了HDFS权限管理体系中与用户关联最紧密的授权相关内容，希望通过本文让大家对权限管理有一个清晰的了解。 HDFS的权...
EsgynDB 使用Sentry配置Hive访问权限失效
数据源的港湾
07-25 654
现象 在有Sentry对Hive做权限访问控制的情况下，发现使用trafodion用户（属于trafodion用户组）仍然有对所有Hive表的访问权限。 分析 首先使用以下两条命令查看trafodion用户以及trafodion用户组对表是否具有权限， java com.esgyn.security.util.UserPrivTest trafodion hive.hive.t1...
cdh 5.14.4 sentry 下 org.apache.hadoop.security.AccessControlException: Permission denied.
柔情岁月的博客
10-24 494
org.apache.hive.hcatalog.common.HCatException : 2006 : Error adding partition to metastore. Cause : org.apache.hadoop.security.AccessControlException: Permission denied. user=lixianwei6 is not the own...
hdfs 多租户_CDH多租户配置过程中遇到的问题
weixin_39891438的博客
12-19 1019
多租户是CDH里面非常重要的一部分，从一开始配置KDC到集成KDC，服务使用过程中都有可能会遇到各种各样的问题；下面我举例说下我当时遇过的问题，希望能帮助到大家服务启动错误KDC服务配置完成安装完成，CDH集成过程中也没问题，CDH启动过程完客户端执行kinit的时候也没有问题，但一旦用hadoop fs -/s hadoop命令就报以下错误SIMPLE authentication is not...
HDFS ACL权限设置
CREATE_17的博客
03-31 2443
HDFS版本：3.1.1 今天主要给大家说一下HDFS文件权限的问题。当一个普通用户去访问HDFS文件时，可能会报Permission denied的错误。那么你会怎么做呢？ 像修改linux文件似的，可能的做法有： 修改文件所有者 直接将文件赋予全部的权限，即rwx权限。 上面的做法虽然可以达到目的，但是相对来说对权限的把握不是很精准，不适用于生产环境。 本文主要讲解HDFS的ACL(A...
Apache sentry架构分析-(与hive、hdfs集成)
hongtaq156136的专栏
02-28 993
前言 Apache Sentry是Cloudera公司发布的一个Hadoop开源组件，它提供了细粒度级、基于角色的授权以及多租户的管理模式。类似的安全管理框架还有Hortonworks公司开源的Apache Ranger。 通过引进Sentry，Hadoop目前可在以下方面满足企业和政府用户的RBAC需求： 安全授权：Sentry可以控制数据访问，并对已通过验证的用户提供数据访问特权。 细...
Hadoop分布式文件系统（HDFS）权限指南
在分布式文件系统中，Hadoop Distributed File System（HDFS）提供了一套权限模型，该模型与POSIX权限模型有许多共同之处。此模型旨在确保数据的安全性和访问控制，允许系统管理员对用户和不同角色进行精细的权限...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值