windows远程调试hadoop权限问题

本文详细介绍了在Windows环境下开发时遇到的访问HDFS权限问题,并提供了两种解决方案:一种是过于粗暴地修改配置文件,另一种是通过创建超级用户组并加入Windows用户来实现安全访问。通过具体步骤演示了如何在Windows下的Eclipse中成功访问HDFS。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

为了开发方便想要直接在windows下开发,遇到了访问权限的问题。于是搜索了下解决方案,大约有两种

1 不检查用户权限 

修改conf/core-site.xml,不检查权限 将 dfs.permissions属性修改为false

这种办法过于粗暴,仅仅开发环境可以使用。说以需要采用别的方法。

2 修改用户权限

这种方法文雅了很多,而且更加安全。我们观察hadoop hdfs中的文件发现了这样的现象,所有的文件都是由一个叫做supergroup的用户组上传的,于是如果将windows的用户也放到这个组里面 或许就能够搞定了

具体过程如下

a)创建名为supergroup的用户组

sudo  groupadd  supergroup

b)将windows用户名加入supergroup中,因为我windows的用户名为Chang所以就就这么弄

sudo  useradd -g supergroup -N -r Chang 
 到此为止就搞定了,在windows下的eclipse中随意写个小程序跑跑,比如列出datanote名称。得到了下面的结果


说明已经能够正常访问hdfs了,方法奏效了!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值