xiaolang85的专栏

HBase按照分布式方式部署后，在regionservers中配置了如下：10.1.30.11但在hbase shell命令下创建表报master 正在初始化异常，查看master下hbase-root-master-hostname.log日志中报如下异常：org.apache.hadoop.hbase.client.RetriesExhaustedException:

1. 前言phoenix有全局索引以及本地索引（可变与不可变等其它的且不谈），全局索引理解应该比较简单，如果让我自己去实现Hbase的索引应该想到的也是全局索引这种方式。本地索引适用于写比较频繁，储存空间受限的情况。Local indexing targets write heavy, space constrained use cases.phoenix-4.8.

（一）. 操作系统            1. 足够大的内存      2. 操作系统64位，jdk64位      3. 设置linux swap空间的swappiness=0             a1. 永久有效设置（需系统重启） sudovim /etc/sysctl.conf 在这个文档的最后加上这样一行:　　             v

本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，这里涉及的不多，这部分可以参考：淘宝Ken Wu同学的博客。[转发者注明： 关于使用多线程去读取hbase全表数据，推荐先将rowkey根据线程的个数划分为多段，然后将每段 start-key ~ end-key丢给线程去执行！]1. 表的设计1.1 Pre-C

首先续上篇测试：经过上一篇文章中对代码及参数的修改，Hbase的写入性能在不开Hlog的情况下从3~4万提高到了11万左右。本篇主要介绍参数调整的方法，在HDFS上加上压缩卡，最后能达到的写入性能为17W行每秒（全部测试都不开Hlog）。上篇测试内容：详情　http://blog.csdn.net/kalaamong/article/

接上文啊：测试机性能CPU16* Intel(R) Xeon(R) CPU           E5620  @ 2.40GHzMEMORY48GBDISK12*SATA 2TBNET 4*1Gb Ethernet测试数据:类型国内某视频网站近半年用户访问日志

首先描述一下现象最近对HDFS底层做了许多优化，包括硬件压缩卡，内存盘及SSD。在出测试报告时发现老问题，Hbase写入速度不稳定，这个大家都习以为常了吧，就是压测时，只要row size稍小一点，不管你怎么压，hbase的RegionServer总是不愠不火特淡定。有些人就怀疑是磁盘到瓶颈了？还有些人怀疑是不是GC拖累了？总之网上大部分测试都是黑盒测试嘛，大家也就乱猜

Hbase配置项粗解（1）重读Hbase文档，把所有的配置项整理一遍。hbase.tmp.dir：本地文件系统的临时目录，默认是Java.io.tmpdir/hbase−{user.name}；hbase.rootdir：hbase持久化的目录，被所有regionserver共享，默认${hbase.tmp.dir}/hbase，一般设置为hdfs://namenode.e

HBase性能调优 我们经常看到一些文章吹嘘某产品如何如何快，如何如何强，而自己测试时却不如描述的一些数据。其实原因可能在于你还不是真正理解其内部结构，对于其性能调优方法不够了解。本文转自TaoBao的Ken Wu同学的博客，是目前看到比较完整的HBase调优文章。 原文链接：HBase性能调优 因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到

Hbase为了防止小文件（被刷到磁盘的menstore）过多，以保证保证查询效率，hbase需要在必要的时候将这些小的store file合并成相对较大的store file，这个过程就称之为compaction。在hbase中，主要存在两种类型的compaction：minor  compaction和major compaction。          major compacti

前言这是《深入HBase架构解析（一）》的续，不多废话，继续。。。。HBase读的实现通过前文的描述，我们知道在HBase写时，相同Cell(RowKey/ColumnFamily/Column相同)并不保证在一起，甚至删除一个Cell也只是写入一个新的Cell，它含有Delete标记，而不一定将一个Cell真正删除了，因而这就引起了一个问题，如何实现读的问题？要解决这个问题，我们

前记公司内部使用的是MapR版本的Hadoop生态系统，因而从MapR的官网看到了这篇文文章：An In-Depth Look at the HBase Architecture，原本想翻译全文，然而如果翻译就需要各种咬文嚼字，太麻烦，因而本文大部分使用了自己的语言，并且加入了其他资源的参考理解以及本人自己读源码时对其的理解，属于半翻译、半原创吧。HBase架构组成HBase采

有时候hadoop或hbase集群运行时间久了后，某些节点就会失效，这个时候如果不想重启整个集群（这种情况在很多情况下已经不被允许），这个时候可以单独重启失效节点。HADOOP：hadoop中重启单节点的方法和增加新节点其实是一样的。1、我们先看下如何了解hadoop机器的情况，可以用命令：hadoop dfsadmin -report 查看集群容量情况，很多情况下失效节点也可

因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如有错误，欢迎指正。配置优化zookeeper.session.timeout默认值：3分钟（180000ms）说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServer

在配置好hbase分布式后，并且通过start-hbase.sh启动了master，zookeeper，regionserver后，通过master.host:60010 web界面查看时，在regionservers栏下没有任何regionserver信息；查看regionserver上的日志，看到以下异常:2012-09-25 18:25:11,902 WARN org.apache.ha

布隆过滤器［1］（Bloom Filter）是由布隆（Burton Howard Bloom）在1970年提出的。它实际上是由一个很长的二进制向量和一系列随机映射函数组成，布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率（假正例False positives，即Bloom Filter报告某一元素存在于某集合中，但是实际上