
hdfs
但行益事莫问前程
大数据研发, 开发flink实时流
展开
-
hdfs NameNode和SecondaryNameNode工作机制、FsImage和Edits解析、集群安全模式
元数据需要存放在内存中进行随机访问,并处理客户请求。但为了防止断电,元数据丢失,因此产生(NameNode内存中元数据序列化后形成的文件)。 内存中的元数据更新,为保证和,引入(记录客户端更新元数据信息的每一步操作)文件进行,即当元数据有更新或者添加时,修改内存中的元数据并追加到Edits中。一旦NameNode节点故障,可以通过,合成元数据。 如果长时间追加Edits,文件数据过大,会造成效率降低且一旦断电元数据恢复耗时过长。因此,需要定期进行,引入一个新的节点SecondaryNamenod原创 2022-06-27 18:15:55 · 52868 阅读 · 0 评论 -
hdfs datanode启动失败 org.apache.hadoop.util.DiskChecker$DiskErrorException: Directory is not readable
问题:datanode启动失败,查看datanode日志原因:查看服务器文件系统和挂载发现挂载的磁盘不存在查看hdfs数据目录 hdfs-site.xml的配置数据目录和磁盘容错解决:因为没磁盘换,可或者原创 2022-06-24 14:51:20 · 73701 阅读 · 0 评论 -
hdfs java api操作hdfs 若文件不存在则创建,否则进行文件追加
hdfs原创 2022-06-23 20:53:04 · 53440 阅读 · 0 评论 -
hdfs fsck命令检查文件系统健康状态、处理missing blocks问题、hdfs fsck / -delete执行失败
hadoop集群由于磁盘损坏、节点挂机、机架掉电难免造成一些文件块损坏,通过命令,如,出现报错命令:参数含义:2. 使用 首先执行,发现执行失败,查看hdfs状态执行,再运行检查状态...原创 2022-06-23 18:29:38 · 54712 阅读 · 0 评论 -
hdfs 目录设置配额 、查询配额使用情况 、清除配额
hdfs可使用配额命令限制对应目录下文件目录数和目录可用空间大小 名称配额限制目录下(包含目录)文件和目录数量,超出限制则命令执行失败,报异常 空间配额限制目录下文件使用的字节数:2. 查询配额使用情况: 带头信息展示配额使用情况......原创 2022-06-22 14:46:45 · 74161 阅读 · 0 评论