python与Hadoop的交互

ILovePythonhao

于 2020-05-14 15:27:14 发布

阅读量465

点赞数

文章标签： hadoop python hdfs

本文链接：https://blog.csdn.net/ILovePythonhao/article/details/106120748

版权

本文介绍如何使用PyHDFS库进行Hadoop文件系统的基本操作，包括连接、上传、下载、创建目录和列出目录等。通过具体代码示例，读者可以快速掌握PyHDFS的使用方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import pyhdfs
fs = pyhdfs.HdfsClient(hosts='192.168.1.105,50070',user_name='hao')
fs.get_home_directory()#返回这个用户的根目录
fs.get_active_namenode()#返回可用的namenode节点
fs.mkdirs('/wenjian')		#新建文件
fs.copy_from_local('c.txt','/jiqunwenjian/',) #上传本地文件到HDFS集群
fs.copy_to_local('/jiqun/', 'hao.txt')# 从HDFS集群上copy 文件到本地
fs.listdir('/') #以列表形式['a.out', 'a.txt']，返回指定目录下的所有文件