
hbase
hbase
小朋友,你是否有很多问号?
这个作者很懒,什么都没留下…
展开
-
Hbase 优化
1.查询优化 1.设置Scan缓存 设置查询缓存,定义一次交互从服务器端传输到客户端的行数,有效减少服务器端和客户端的交互 scanner.setCaching(1000) 2.在查询的时候显示指定列 在定义查询的时候,指定某列,或者几列,能有效的减少网络传输量,在一定程度上提升查询性能 scanner.addColumn(Bytes.toBytes(family),Bytes.toBytes(column)) 3.禁用块缓存 scan扫描全表的时候会使用块缓存,Mapreduce读取全表.原创 2021-01-04 10:41:51 · 209 阅读 · 0 评论 -
mapreduce操作hbase多个输入表
List scans = new ArrayList(); Scan scan1 = new Scan(); //这里可以定义其他的filter scan1.setStartRow(firstRow1); scan1.setStopRow(lastRow1); scan1.setAttribute(Scan.SCAN_ATTRIBUTES_TABLE_NAME, table1原创 2016-09-08 20:10:16 · 1047 阅读 · 0 评论 -
region的拆分策略
Region 概念 Region是表获取和分布的基本元素,由每个列族的一个Store组成。对象层级图如下: Table (HBase table) Region (Regions for the table) Store (Store per ColumnFamily for each Region for the table原创 2016-09-08 20:10:19 · 800 阅读 · 0 评论 -
Hbase的简单原理
1、整体来讲,HBase运行在hadoop之上,除了hbase部分数据存储在自己的内存中,其他的数据都存储在磁盘上(hdfs上); 2、从HBase自身的角度讲有四个重要的组件: ①.客户端client,通过客户端可以访问Hbase,进行数据读写 ②.zookeeper是一个非常核心的组件,存储了hbase一些重要的数据和信息。同时协调HBase中只存一个可用原创 2016-09-08 20:10:22 · 381 阅读 · 0 评论 -
Hbase基本概念
HBase简介 Hadoop Database是一个高可靠性、高性能、面向列、可伸缩实时读写的分布式数据库,主要用来存储非结构化和半结构化的松散数据(列存nosql数据库) root表:保存mete表的信息,一条数据对应一个meta分区(表名,meta表各分区的位置,meta表分区的范围) meta表:保存region的信息,一条数据对应一个region(表名,region的位置,reg原创 2016-09-08 20:10:24 · 638 阅读 · 0 评论 -
hbase bulkload 实例
本项目在windows环境下,访问远程linux实现 代码逻辑相对简单 就是一个wordcount所以没有写注释 package demo8_hbasebulkload; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.原创 2016-09-08 20:26:05 · 622 阅读 · 0 评论