- 博客(6)
- 收藏
- 关注
RSS订阅原创 flume 日志采集系统
flume三个组件及其作用 1）Source:负责从源数据接收event，或者自己产生event，传递到下一层 2）Channle:管道，负责传递数据到sink，将数据缓存存在管道中，保证数据的传递速率恒定 3）Sink:负责将event传递到目的端，并且将event从channel中移除...
2021-07-19 20:16:21
200
1
原创 异常 Throwable
1.Error 错误，非程序可控制的内容，程序不可控、不可处理 2.Exception 异常，底层为if。如果出现…异常，执行…方法 ① checkedException 检查异常 javac过程中发生 IOException、SQLException、ClassNotFounfException ② RuntimeException 运行时异常 java过...
2021-07-16 20:10:07
101
原创 yarn 统一资源管理和调度平台
1. yarn有什么组件，各有什么作用？ resourceManager:资源管理器，负责给各个节点分配计算和存储资源以及响应各个节点的计算请求。 nodeManager:节点管理器，负责管理各个节点的container，以及开启map task和reduce task。2. yarn的配置文件以及配置内容 1) Mapred-site.xml mapreduce的计算框架 2) Y...
2021-07-15 19:37:02
325
1
原创 mapreduce 大数据离线数据处理框架
1. 执行流程 wordCount2. partitioner与combiner的区别partitioner是分组，将要清洗的数据按照key来对其进行分组，相同的key放在同一个输出文件中combiner是在进入reduce之前，先进行一次合并，提高计算效率3. mapreduce有分区流程 1) 创建项目 2) 导入jar包 3) 创包、创类 4) 书写代码 ① 创建Mapp...
2021-07-14 19:42:31
335
1
原创 break, continue和return
if判断范围，switch判断具体值。switch支持的类型：int,short,byte,char,String及其包装类，enum（枚举）枚举类，用于声明一组命名的常数，当一个变量有几种可能的取值时，可以将它定义为枚举类型。continue，跳过其以后得内容，只能用于循环break，可放在switch判断选择，也可放在循环中，包括foreachbreak和continum不能同时用，后面也不可以放其他内容。return可以放在任意位置，代表程序中当前代码块结束。递归结构，自己调用自己，会造
2021-07-13 21:21:25
440
原创 hdfs分布式文件系统
1. 系统架构2. hdfs中有几个组件，都有什么作用？ NameNode:存储文件的元数据，接收来自客户端的读写请求 Datanode:存储文件数据Seconderynamenode:第二名字节点，定期检查并且合并FSImage系统快照，editlog编辑日志3. hdfs默认存储3块，每块128M4. seconderynamenode和namenode之间的关系 1) seconderynam...
2021-07-12 22:38:53
173
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人