Lord_War-CSDN博客

转载 flume将数据发送到kafka、hdfs、hive、http、netcat等模式的使用总结

1、source为http模式，sink为logger模式，将数据在控制台打印出来。conf配置文件如下： //Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1//Describe/configure the source a1.sources.r1.type = ht...

2018-07-13 14:34:18 1076

转载数据结构与算法（java版）

转自：http://blog.csdn.net/column/details/datastructureinjava.html 目录（1）数据结构与算法概念解析（2）数据结构之数组（3）数据结构之栈（4）数据结构之队列（5）数据结构之链表（6）数据结构之二叉树（7）数据结构之霍夫曼树（8）数据结构之红黑树（一）——基础分析（9）数据结构之红黑树（二）——插入操作

2017-12-28 21:50:08 7895

转载 HBase性能优化方法总结

本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，这里涉及的不多。

2017-12-24 20:43:58 774

原创 HDFS之数据完整性校验

HDFS数据处理中我们都不希望数据在存储和处理数据时丢失或者损坏，那如何保证数据完整性呢？

2017-12-09 11:43:48 4239

原创 HDFS体系架构（最全）

HDFS 采用Master/Slave的架构来存储数据，这种架构主要由四个部分组成，分别为HDFS Client、NameNode、DataNode和Secondary NameNode。本文将一一介绍各个组成部分的定义、作用。

2017-12-06 09:25:57 18162 1

转载 Hadoop的三种作业调度原理汇总

Hadoop的三种作业调度方式总结

2017-12-03 23:22:40 629

转载 Hive 数据倾斜总结

Hive 数据倾斜总结

2017-12-03 23:04:13 361

转载 hadoop中使用MapReduce编程实例（转---超级实用）

hadoop中使用MapReduce编程实例

2017-12-03 00:18:15 1327

原创 Eclipse中编译FileUtil.java

问题：在windows的eclipse中运行hadoop1.x MapReduce程序会报错： Java.io.IOException: Failed to set permissions of path: \tmp\Hadoop-Administrator\mapred\staging\Administrator-519341271.staging to 0700

2017-12-02 22:36:22 792

原创 eclipse+hadoop环境搭建及注意事项

搭建eclipse+hadoop1.2.1开发环境以及注意事项

2017-11-30 23:51:58 3549

hadoop-core-1.2.1.jar

由于hadoop1.2.1+eclipse在Windows环境下运行存在的文件权限问题，所以原始的hadoop-core-1.2.1.jar不可用，需要修改fileutil.java文件，本jar为编译成功的，亲测可用。

2017-12-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人