在渊的杂物堆

原创 本博客目录

1. 智慧城市 1.1 大数据技术 1.1.1 GeoMesa GeoMesa——概述 GeoMesa-HBase操作篇——安装 GeoMesa-HBase操作篇——教学案例（初体验） GeoMesa-HBase操作篇——Java API基本操作 GeoMesa-HBase原理篇——最简demo GeoMesa-HBase原理篇——写入过程 GeoMesa-HBase原理篇——序...

原创 人物速写——20200413~20200419

原创 建筑速写——20200406~20200412

原创 建筑速写——20200330~20200405

原创 建筑速写——20200323~20200329

原创 GIS实践篇——改写Ecql

目录 1. Ecql概述 2. FilterFactory体系 3. 改写实践 1. Ecql概述 CQL（通用查询语言）是为OGC目录规范创建的纯文本语言。GeoServer已将其调整为易于使用的过滤机制。GeoServer实际上实现了一个名为ECQL（Extended CQL）的功能更强大的扩展，它允许表达OGC Filter1.1可以编码的所有过滤器。 而geotools对...

原创 Geomesa-SparkSQL源码篇——GeomesaSparkSQL类

1. Spark SQL的自定义外接数据源的方式 Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。而在真正开发过程当中，有时需要将自己定义的数据源来利用Spark sql进行上层接口的封装。针对这种情况，Spark Sql也有其扩展数据源的接口。 本节以https://www.cnblogs.com/Qu...

原创 Geomesa-HBase实践篇——单列变多列

1. 改造的背景 1.1 geomesa-hbase本身存在的问题 Geomesa在向Hbase写入数据时，是通过HTable和Put对象来实现的。在写入的时候，需要指定列族名、列名和Cell的value值，而这些指定的内容都需要经过序列化才能进入到Hbase当中。 在原生的GeoMesa当中，value值是将整个feature的所有信息都封装在一起，统一进行序列化的。虽然这样能够让存储的空...

原创 Geomesa-HBase索引篇——Z3索引

目录 1. 概述 2. 原理 2.1 概述 2.2 分片存储机制 2.3 Epoch Week机制 2.4 时空索引机制 2.5 Fid机制 2.6 多个数据的封装 3. 代码实现 3.1 获取分片 3.2 获取Epoch Week 3.3 获取时空索引 3.4 获取Fid 3.5 多个数据的封装 1. 概述 在大量的场景当中，我们不仅仅需要进行时间的查询、...

原创 建筑速写——《夏克梁钢笔建筑画新作集》临摹

原创 GeoMesa-HBase索引篇——理论准备

目录 1. 数据标准化方法 1.1 数据标准化的背景 1.2 Max-Min标准化/极差标准化 1.3 Z-score标准化/标准差标准化/零均值标准化 2. GeoHash算法 2.1 GeoHash概述 2.2 GeoHash实现流程 2.2.1 将经纬度转化为二进制编码 2.2.2 合并经纬度数据为一个数据（生成莫顿码） 2.2.3 按照base32编码集进行编码 ...

原创 GeoMesa-HBase索引篇——概述

目录 1. GeoMesa索引简介 2. 索引类型 3. 传统空间索引方式 4. GeoMesa时空索引机制原理 4.1 建立时空索引 4.2 Query Planning 5. HBase DataStore的rowKey设计 5.1 针对Point的时间+空间索引（Z3） 5.2 针对Point的空间索引（Z2） 5.3 针对复杂空间对象（如：LineString、P...

原创 GeoMesa-HBase原理篇——序列化机制

目录 1.概述 2 序列化流程 2.1 流程概述 2.2 基本流程 2.2.1 SimpleFeatureType的序列化 （1）序列化的引入阶段 （2）序列化参数的配置 （3）构造序列化器 （1）序列化版本号和FeatureId （2）序列化各个属性值 （3）序列化属性的偏移量 （4）序列化用户设置的参数 3. 序列化机制的配置方法 3.1 序列化器的配置方法...

原创 GeoMesa-HBase原理篇——写入过程

目录 1. 基本流程 2. 数据预处理 2.1 分析feature中的id 2.2 Feature格式的转换 2.3 确定分片 3. Z曲线处理 3.1 获取Z曲线的value值 3.2 将时间信息利用Binned机制进行转换 3.3 建立时空索引 4. 数据序列化 4.1 将数据封装成Long类型的数据 4.2 利用mutator将key数据进行封装 5. 写入H...

原创 GeoMesa-HBase原理篇——最简demo

为了更好地进行GeoMesa的测试，这里提供了一个最简化版本的Demo，同样，在之后章节里面可能会出现一些数据写入的例子，同样是以这个Demo为依据的。 在这个Demo当中，只生成了一行数据，其中包括taxiId（String）、时间数据（Date）、空间数据（Point）、description（String），简化的数据可以加快实验速度。SimpleFeatureType的名称为index-...

原创 GeoMesa-HBase操作篇——Java API基本操作

目录 1. 创建DataStore 1.1 创建Option 1.2 解析参数 1.3 获取DataStore参数 1.4 创建DataStore 2. 创建SimpleFeatureType 3. 创建schema 4. 读取数据 5. 写入数据查询数据 6. 查询数据 1. 创建DataStore 1.1 创建Option 由于之后的操作可能涉及到多个操作，因此...

原创 GeoMesa-HBase操作篇——教学案例（初体验）

目录 1. 下载和编译 2. 运行程序 3. 运行结果 3.1 输出结果 3.2 HBase中的表结构 1. 下载和编译 下载： git clone https://github.com/geomesa/geomesa-tutorials.git cd geomesa-tutorials 查看pom.xml文件，修改hadoop和hbase版本，要和你已安装的版...

原创 GeoMesa-HBase操作篇——安装

目录 1. 前期准备 2. 下载和解压 2.1 下载后直接解压 2.2 下载后源码编译 3. 修改配置信息 3.1 在/etc/profile文件中配置（主要是为了操作方便） 3.2 在GeoMesa本身的环境变量中设置 3.3 在外部环境中配置环境变量 4. 部署GeoMesa-HBase分布式运行jar 5. 注册协处理器 6. 设置命令行工具 7. 执行测试 ...

原创 GeoMesa——概述

GeoMesa是一个开源的进行时空数据处理的工具包，可以支持大数据场景下的地理信息分析和分布式计算。个人认为是一个比较有前景的开源框架，能够为物联网等场景提供强有力的技术支撑。 一方面，GeoMesa基于已有的GIS开源框架Geotools，可以进行一些地理学方面的空间数据的处理；另一方面，GeoMesa也能够支持比较成熟的大数据框架进行数据的处理、存储和计算。例如：HBase、Spark等。除...