张鑫的博客

协处理器在本项目中主要是用来，在向hbase中put一条数据时同时也要put一条call1和call2颠倒的数据注意：1、协处理器如果是配置到hbase-site.xml文件中，默认是对全部的表都进行处理2、如果不配置到xml文件，只指定某个表，那么就只对改表有效3、注意将consumer进行编译，打包，打包后上传到hbase的lib包下，记住记住，一定要分发这个jar包4、一...

本项目需求是：统计每天、每月以及每年的每个人的通话次数及时长 架构图：本项目是一个离线项目，流程是：一、生产数据是实际生产环境中的一些日志文件等，其中该日志文件需要进行数据清洗，然后获取有效字段，本电信项目需要的有效字段有：主叫手机号：call1 ，被叫手机号：call2，建立通话的时间：buildTime，通话时长：duration二、 使用Flume收集日志，然后传输到Ka...

先用kafka消费者API接受数据，然后在用hbase的api写入hbase，需要创建一个maven工程，一、创建工程如下：1、constant包：主要存放常用的常量比如：hbase的配置文件public static final Configuration hBaseConfiguration = HBaseConfiguration.create();2、utils...

一、分区键设计分区是解决数据倾斜的有效有段，分区比较简单, 关键在于需要分多少区，比如本项目分六个区形式为              00|00|         01|01|         02|02|          03|.........05|       为什么每个分区号要加竖线呢？因为，竖线的值比较大比下线等大，而rowkey分哪个区是需要按位比较的...

一、HbaseUtil在HbaseUtil中具体要做这些事，封装一下方法：创建命名空间，创建表，判断表是否存在，分区键生成，rowkey设计重点的是分区键的设计和rowkey的生成1、创建命名空间和判断表存不存在比较简单 public static void createNamespace(String ns) throws IOException { ...

当数据插入到hbase中，可以进行查询，查询方式可以分为两种，一个scan，一个startRow和stopRow，两种方式最好是使用startRow，因为，这种查询块，而本篇先讲述scan遍历方式，主要是是结合Filter过滤器一、先引入工具类HBaseFilterUtilHBaseFilterUtil是分装了各种过滤器，不过都是值过滤器，有大于小于的，有过滤器链的，也有包含and和or条...