hadoop系列
关注
分享
扫一扫
文章平均质量分 58
iteye_10680
这个作者很懒，什么都没留下…
展开
-
hbase性能测试对比分析
数据库读写性能分析 1、 单机类比集群测试 测试环境： 由3台服务器组成的hadoop集群组成分散式文件系统 由一台单独的机器单机类比Hbase集群 由一台机器单机测试Mysql 测试规模：50万条记录以上，单线程、多线程测试 测试结果： HBase Mysql 单线程 插入 100 条记录 155 ...原创 2013-09-30 13:10:05 · 1193 阅读 · 0 评论 -
hbase源码系列（一）Balancer 负载均衡
备注： 我一个哥们最近一直在看Hbase源码，前几天他针对Hbase写了源码分析体会，我本来也是要写的，但是看到他写的比较好，所以我决定引用他的4篇系列文章到我们博客中。 原文如下地址： http://www.cnblogs.com/cenyuhai/p/3650943.html 看源码很久了，终于开始动手写博客了，为什么是先写负载均衡呢，因为一个室友入...原创 2014-04-29 14:42:10 · 225 阅读 · 0 评论 -
本地调试Hbase源码详解
由于工作关系，近期需要对Hbase源码有一定了解，我想能够在本地调试hbase，于是乎下载源码开始干活，废话不多讲说干就干！ 一、准备工作 本地环境：Windows7，Cygwin和Maven3。 IDE：IntelliJ IDEA12.1.4 HBase版本：0.94.16 ...原创 2014-03-27 15:29:34 · 409 阅读 · 0 评论 -
Hadoop添加节点datanode
1.部署hadoop 和普通的datanode一样。安装jdk，ssh 2.修改host 和普通的datanode一样。添加namenode的ip 3.修改namenode的配置文件conf/slaves 添加新增节点的ip或host 4.在新节点的机器上，启动服务 [root@slave-004 hadoop]# ./bin/hadoop-daemon.sh star...原创 2014-03-26 16:18:47 · 162 阅读 · 0 评论 -
Hbase安装常见问题总结
最近这段时间因为工作需要安装了hadoop+hbase集群，在安装的过程中总结了以下一些常见的问题，供大家参考。 一、问题1 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed. 1. 删除/tmp下hadoop 有关系的东...原创 2014-03-21 13:21:38 · 808 阅读 · 0 评论 -
Hbase shell常用命令
HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下： 名称 命令表达式 创建表 create '表名称', '列名称1','列名称2','列名称N' 添加记录 put '表名称', '行名称', '列名称:', '值' 查看记录 get '表名称...原创 2014-03-17 11:21:23 · 96 阅读 · 0 评论 -
【转】Hbase性能优化四个要点
1 hbase.hregion.max.filesize应该设置多少合适 默认值：256M 说明：Maximum HStoreFile size. If any one of a column families' HStoreFiles has grown to exceed this value, the hosting HRegion is split in two. H...原创 2014-03-13 14:28:42 · 250 阅读 · 0 评论 -
hadoop1.2.1+hbase集群详解
最近我由于工作原因，我要搭建一套hadoop+hbase集群的测试环境。 目前有三台服务器，我计划就在这三台服务器中搭建一套环境，多余的话不说，大家往下看吧。 一、搭建前的准备工作 我有三台服务器，分别是192.168.1.97，192.168.1.98，192.168.1.99。 那我如何来命名呢，97对应的是master，98...原创 2014-03-10 18:54:18 · 118 阅读 · 0 评论 -
【转】FastDFS入门简介
1、背景 FastDFS是一款开源的、分布式文件系统（Distributed File System），由淘宝开发平台部资深架构师余庆开发。该开源项目的主页是 http://code.google.com/p/fastdfs 。可以通过fastdfs.sourceforge.net 下载。FastDFS论坛是 http://www.csource.org ，目前是指向 ChinaUnix 开...原创 2013-11-05 12:48:54 · 99 阅读 · 0 评论 -
FastDFS配置详解之Storage配置
1 基本配置 disabled #func：该配置文件是否生效 #valu： ## true：无效 ## false：生效 disabled=false group_name #func；本storage server所属组名 group_name=group1 bind_addr #func：绑定本storage server的IP bind_add...原创 2013-11-05 12:30:43 · 308 阅读 · 0 评论 -
FastDFS配置详解之Tracker配置
1 基本配置 disable #func：配置是否生效 #valu：true、false disable=false bind_addr #func：绑定IP #valu：IP地址 bind_addr=192.168.6.102 port #func：服务端口 #valu：端口整数值 port=22122 connect_timeout #func：连接超时...原创 2013-11-05 12:25:24 · 1001 阅读 · 0 评论 -
hadoop 命令手册
hadoop 命令手册 概述 所有的hadoop命令均由 bin/hadoop脚 本引发。不指定参数运行hadoop脚本会打印所有命令的描述。 用法：hadoop [--config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS] Hadoop有 一个选项解析框架用于解析一般的选项和运行类。 命令选 项 ...原创 2013-10-08 15:11:21 · 164 阅读 · 0 评论 -
Hadoop hdfs Shell命令 HDFS操作命令
调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个...原创 2013-10-08 12:45:54 · 157 阅读 · 0 评论 -
配置Hadoop集群：java.net.NoRouteToHostException: No route to host问题的解决
2012-07-04 18:43:31,479 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to /192.168.18.218:9000 failed on local exception: java.net.NoRouteToHostException: 没有到主机的路...原创 2013-10-01 23:56:40 · 951 阅读 · 0 评论 -
ZooKeeper编程向导——源自官方文档
ZooKeeper编程向导——源自官方文档 介绍（源自ZooKeeper官方文档）学习HBase过程中，发现它与ZooKeeper的关系比较密切，于是专门学习了一下ZooKeeper，下面是ZooKeeper官方文档的半翻译版（我（magic-sulin）并非一字一句的照抄，而是写入了自己的理解）。此文档是为了向那些希望使用ZooKeeper协调优势自己分布式应用的人提供编...原创 2013-01-15 10:53:39 · 97 阅读 · 0 评论