
hdfs源码分析
文章平均质量分 90
以实战为线索,逐步深入各个细节
MyObject-C
从事于游戏、广告、推荐、金融交易相关后台开发
展开
-
hdfs写磁盘及jnode
namenode rpc server:mkdirs:细化logEditFSDirectory.getEditLog(),即FSEditLog-》logMkDir-》logEdit-》 满足可写入状态后,如果自动同步标识isAutoSyncScheduled为true,则阻塞; 自增txid,赋给线程本地变量,FSEditLogOp设置txid,EditLogOutputStream.wirite(op); JournalSetOutputStream.write-》获取journal的...原创 2021-06-17 10:41:46 · 180 阅读 · 0 评论 -
hdfs客户端及元数据
元数据:创建目录:先看FileSystem类,发现本地实现看LocalFileSystem,分布式实现看DistributedFileSystem,我们看分布式的; mkdirs-》mkdirs-》primitiveMkdir-》namenode.mkdirs,namenode是客户端代理,接下来看namenode rpc server;namenode rpc server:mkdirs:FSNamesystem.mkdirs...原创 2021-06-04 10:08:54 · 161 阅读 · 0 评论 -
hdfs架构与使用以及启动流程
hdfs架构:Haoop1存在的问题:name node 单点故障 name node内存受限如何解决单点故障: 自然而然会想到,再加一个name node节点,但是,他是有状态的,那么就需要数据同步,可以直接交互同步,但是为了解耦合,易扩展,我们引入QJM...原创 2021-05-25 09:40:11 · 134 阅读 · 0 评论