
hbase
文章平均质量分 84
但行益事莫问前程
大数据研发, 开发flink实时流
展开
-
hbase 预分区、RowKey设计、内存优化、基础优化
每一个region维护着startRow与endRowKey,如果加入的数据符合某个region维护的rowKey范围,则该数据交给这个region维护。那么依照这个原则,将数据所要投放的分区提前大致的规划好,以提高HBase性能 预估未来半年或者一年数据,计算出分区数量(如100个); 确定分区键 …注:,和数据长短无关,如前缀的设置必须合理,否则数据写入一个Region 创建splits.txt文件执行:注:即使文件中的,依然会自行排序 一条数据的唯一标识就是row原创 2022-06-19 15:24:43 · 71908 阅读 · 0 评论 -
hbase DDL(创建删除命名空间、表) DML(增改 查 以及 删除 DeleteFamily DeleteColumn Delete) API
1.2 创建命名空间、创建表2.2 插入数据注:执行删除整个RowKey数据,所添加的标记,作用范围:当前列族小于等于标记时间戳的数据原创 2022-06-19 14:01:19 · 53622 阅读 · 1 评论 -
HBASE 数据模型、HBASE架构(基础架构、RegionServer 架构、写流程 、MemStore Flush 、读流程、Compaction、Split)
HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库 命名空间,类似于关系型数据库的database概念,每个命名空间下有多个表。HBase有两个自带的命名空间,分别是hbase和default,hbase中存放的是HBase内置的表,default表是用户默认使用的命名空间 命名空间的主要作用包括进行配额管理、安全管理(用户对命名空间和表的操作权限划分) 类似于关系型数据库的表概念。不同的是,HBase定义表时只需要声明列族即可,不需要声明具体的列。这意味着,往HBase写入数据原创 2022-06-18 21:34:41 · 52674 阅读 · 0 评论