知识的力量

Greenplum作为一款高性能、大规模并行处理（MPP）的数据库，VMware被博通收购之后，之前的Greenplum下载地址也发生了改变，为了方便大家使用，故整理了好了最新的安装包，本压缩包中包含greenplum-db-7.2.0-el9-x86_64和greenplum-db-7.1.0-el8-x86_64两个软件包，软件包中仅包含DB的软件，不涉及到其他的软件，本软件仅适合于个人测试使用，不可使用商业使用。博通下载地址请参考： https://knowledge.broadcom.com/external/article?articleNumber=371153

Greenplum 集群之间同步数据方法及性能.....................................................................................1 1 概述.................................................................................................................................................2 2 相同集群相同数据库不同 SCHEMA 之间同步数据....................................................................2 2.1 查看原始表的大小行数与结构......................................................................................... 2 2.2 同步语句..............................................................................................................................2 2.3 查看 cpu 与内存的使用情况..............................................................................................3 2.3.1 查看 Master CPU 与内存使用情况.........................................................................3 2.3.2 查看数据节点的 CPU 使用情况..............................................................................3 2.3.3 查看数据节点的内存与磁盘使用情况..................................................................6 2.4 查看耗时与表的大小..........................................................................................................7 3 相同集群不同数据库之间同步数据.............................................................................................8 3.1 使用 pg_dum 方式同步数据..............................................................................................8 3.1.1 查看原始表的信息...................................................................................................8 3.1.2 把数据下载到磁盘...................................................................................................9 3.1.2.1 下载数据语句............................................................................................... 9 3.1.2.2 查看 Master 节点详细信息.........................................................................9 3.1.3 把数据导入到数据库中........................................................................................ 10 3.1.3.1 导入数据库语句......................................................................................... 10 3.1.3.2 查看 Master 节点的详细信息...................................................................11 3.1.3.3 查看数据节点的详细信息.........................................................................11 3.1.4 验证数据的准确性................................................................................................ 13 3.1.5 pg_dump 同步数据总结........................................................................................13 3.2 使用 dblink 同步数据........................................................................................................13 3.2.1 dblink 同步相同集群不同数据库的数据.............................................................13 3.2.1.1 同步语句......................................................................................................13 3.2.1.2 查看 Master 节点的详细信息...................................................................15 3.2.1.3 查看数据节点的详细信息.........................................................................15 3.2.2 验证数据的准确性................................................................................................ 17 3.2.3 dblink 使用总结......................................................................................................17 3.3 使用 gptransfer 同步数据.................................................................................................17 3.3.1 gptransfer 介绍.......................................................................................................17 3.3.2 gptransfer 命令参数介绍.......................................................................................18 3.3.3 查看集群及硬件信息............................................................................................ 19 3.3.4 同集群之间同步数据............................................................................................ 19 3.3.4.1 查看表的详细信息..................................................................................... 19 3.3.4.2 进行表数据同步......................................................................................... 19 3.3.4.3 查看硬件详细信息..................................................................................... 21 3.3.4.4 查看数据的准确性..................................................................................... 23 3.3.4.5 使用 gptransfer 总结...................................................................................23 3.3.5 不同集群之间同步数据........................................................................................ 24

目录 目录.....................................................................................................................................................2 1 巡检说明.........................................................................................................................................6 2 查看集群硬件相关信息.................................................................................................................6 2.1 查看集群当前系统时间......................................................................................................6 2.2 查看操作系统版本..............................................................................................................7 2.3 查看内核版本......................................................................................................................7 2.4 查看内存的详细信息..........................................................................................................7 2.4.1 查看内存的使用情况................................................................................................7 2.4.2 查看实时的内存使用情况...................................................................................... 8 2.5 查看集群的 CPU 详细信息.................................................................................................8 2.5.1 查看集群中 CPU 的核数..........................................................................................8 2.5.2 实时查看 CPU 的使用情况......................................................................................9 2.6 查看集群的磁盘的详细信息........................................................................................... 10 2.6.1 查看集群磁盘使用空间......................................................................................... 10 2.6.2 动态查看磁盘的使用情况.................................................................................... 10 2.7 查看机器内核配置参数....................................................................................................10 2.8 查看系统打开文件的最大数........................................................................................... 11 2.9 查看磁盘的挂在情况........................................................................................................12 2.10 查看开机需要启动的项..................................................................................................12 2.11 查看系统系统资源限制..................................................................................................12 2.12 查看集群的网络的详细信息......................................................................................... 13 2.12.1 查看集群中网卡的大小...................................................................................... 13 2.12.2 动态查看网络的吞吐情况.................................................................................. 13 3 查看集群上运行的任务...............................................................................................................14 3.1 查看集群上运行的定时任务........................................................................................... 14 3.1.1 编写查看定时的脚本............................................................................................ 14 3.1.2 运行定时的脚本.....................................................................................................14 3.2 查看集群上运行 greenplum 的进程................................................................................15 4 查看集群的基本信息...................................................................................................................15 4.1 查看集群的版本信息........................................................................................................15 4.2 查看 segment 相关信息....................................................................................................15 4.2.1 查看当前 down 的 segment 节点.........................................................................15 4.2.2 查看当前处于 change tracking 的 segment 节点................................................ 16 4.2.3 查看当前处于 re-syncing 状态的 segment 节点................................................. 16 4.2.4 查看所有 segment 是否可达,确保 QD(query dispatching)正常......................... 16 4.3 查看 standby 与 master 的信息.......................................................................................16 4.3.1 查看 standby 的配置..............................................................................................16 4.3.2 查看 standby 的运行状态.....................................................................................17 4.3.3 查看 master 节点的是否正常...............................................................................17 4.3.4 检查 gp_persistent 表,确保主备 Segment 之间是否有数据不一致的问题......18 4.4 查看有问题的 segment primary/mirror 信息..................................................................18 4.5 显示 mirror 列表............................................................................................................... 19 4.6 显示所有配置参数............................................................................................................19 4.7 查看集群中数据库中的详细信息................................................................................... 19 4.7.1 查看每个数据库占用的大小................................................................................ 19 4.7.2 查看每个 schema 的占用大小..............................................................................20 4.7.3 查看 AO 表的相关信息..........................................................................................21 4.7.3.1 查看数据库中的 AO 表.............................................................................. 21 4.7.3.2 查看数据库中的 AO 表的数量..................................................................21 4.7.4 查看堆表的相关信息............................................................................................ 21 4.7.4.1 查看数据库中的堆表.................................................................................21 4.7.4.2 查看堆表的数量......................................................................................... 21 4.7.5 查看外部表相关信息............................................................................................ 22 4.7.5.1 查看外部表................................................................................................. 22 4.7.5.2 查看外部表的数量..................................................................................... 22 4.7.6 查看视图的相关信息............................................................................................ 22 4.7.6.1 查看制定 schema 下视图...........................................................................22 4.7.6.2 查看制定 schema 下视图的数量...............................................................22 4.7.7 查看表的相关信息................................................................................................ 22 4.7.7.1 查看每个表的大小信息.............................................................................22 4.8 查看索引的相关信息........................................................................................................23 4.8.1 查看索引大小超过表总大小 1/2 的系统表大小和索引大小.............................23 4.8.2 查看制定 schema 上表的索引..............................................................................24 4.8.3 索引活跃度监控.....................................................................................................24 4.8.3.1 IO 活跃度查看..............................................................................................24 4.8.3.2 访问活跃度................................................................................................. 24 4.8.4 查看 Master 与 Segment 上索引不一致的问题..................................................25 4.9 检查是否使用了 a-z 0-9 _ 以外的字母作为对象名...................................................... 25 4.9.1 查看数据库是否使用了命名规范........................................................................25 4.9.2 查看表的索引和视图的命名规范........................................................................25 4.9.3 查看数据库中的类型命名规范............................................................................26 4.9.4 查看数据库中的储存过程的命名规范................................................................26 4.9.5 查看数据库中的表,视图的的命名规范...............................................................26 4.10 查看集群是否处于 not balanced 状态..........................................................................27 4.10.1 查看当前的连接数............................................................................................... 27 4.10.2 查看密码有效期不足 30 天的用户....................................................................27 4.10.3 查看每个用户链接的个数.................................................................................. 28 4.10.4 查看数据库的连接数.......................................................................................... 28 4.11 查看 ctid 的值..................................................................................................................28 5 集群巡检过程详细信息...............................................................................................................29 5.1 检查大小超过 1GB 的表倾斜情况...................................................................................29 5.1.1 查看超过 1GB 倾斜率的表....................................................................................29 5.1.2 查看表在 segment 上占用大小及倾斜率............................................................30 5.1.3 查看表在 segment 上占用的行数及百分比........................................................30 5.1.4 解决表分布倾斜的情况........................................................................................ 31 5.1.4.1 分布键说明................................................................................................. 31 5.1.4.2 修改分布键................................................................................................. 31 5.1.4.3 对表进行重新创建..................................................................................... 31 5.2 检查膨胀率过高的表........................................................................................................32 5.2.1 查看 schema 下的 AO 表.......................................................................................32 5.2.2 查看表的膨胀率.....................................................................................................33 5.2.3 对表进行释放空间................................................................................................ 33 5.3 检查元数据不一致问题....................................................................................................33 5.3.1 问题描述.................................................................................................................33 5.3.2 集群检查.................................................................................................................34 5.3.3 问题处理.................................................................................................................34 5.4 查看服务器配置参数........................................................................................................34 5.4.1 服务器 OS 参数查看..............................................................................................34 5.5 查看集群参数详细信息....................................................................................................35 5.5.1 查看每个 segment 的内存配置参数....................................................................35 5.5.1.1 查看分配内存信息..................................................................................... 35 5.5.1.2 修改内存参数............................................................................................. 35 5.5.2 查看 shared_buffers(共享缓冲区)的内存............................................................ 36 5.5.2.1 查看系统配置的参数.................................................................................36 5.5.2.2 参数详解......................................................................................................36 5.5.2.3 修改参数......................................................................................................36 5.5.3 查看 max_connections(最大连接数).................................................................... 36 5.5.3.1 查看最大连接数参数.................................................................................36 5.5.3.2 参数详解......................................................................................................37 5.5.4 查看 block_size(磁盘块)的大小.........................................................................37 5.5.4.1 查看磁盘块的大小..................................................................................... 37 5.5.4.2 参数详解......................................................................................................37 5.5.5 查看 work_mem 的值............................................................................................37 5.5.5.1 查看集群中 work_mem 的配置大小.........................................................37 5.5.5.2 参数详解......................................................................................................38 5.5.5.3 修改参数......................................................................................................38 5.5.6 查看 statement_mem 的值................................................................................... 38 5.5.6.1 查看集群中 statement_mem 的值............................................................38 5.5.6.2 参数详解......................................................................................................38 5.5.6.3 修改参数......................................................................................................38 5.5.7 查看 gp_workfile_limit_files_per_query 的值......................................................39 5.5.7.1 查看此值的大小......................................................................................... 39 5.5.7.1 参数详解......................................................................................................39 5.5.8 查看 gp_resqueue_priority_cpucores_per_segment 的值...................................39 5.5.8.1 查看此值的大小......................................................................................... 39 5.5.8.2 参数详解......................................................................................................39 5.5.8.3 修改参数......................................................................................................40 5.6 备 Master 镜像情况........................................................................................................40 5.6.1 概述.........................................................................................................................40 5.6.2 查看备 master 的运行情况...................................................................................40 5.6.3 备 master 需要检测的项.......................................................................................40 5.7 segment 镜像情况.............................................................................................................41 5.7.1 查看集群中的镜像分布情况................................................................................ 41 5.8 资源队列情况....................................................................................................................41 5.8.1 用户与资源队列检查............................................................................................ 41 5.8.1.1 查看负载管理资源队列的状态和活动.....................................................41 5.8.1.2 查看当前用户使用的是什么队列.............................................................42 5.8.1.3 查看队列的活动负载状态.........................................................................43 5.8.1.4 查看负载管理特性的 Greenplum 数据库资源队列的信息.................... 44 5.8.1.5 查看队列资源的状态.................................................................................44 5.8.1.6 查看每个资源队列的配置情况.................................................................45 5.8.1.7 修改资源队列的语句.................................................................................46 5.9 Statistics 状态检查............................................................................................................ 46 5.9.1 查看所有的表.........................................................................................................46 5.9.2 查看指定 schema 下的表......................................................................................47 5.10 Skew 状态检查................................................................................................................ 47 5.11 Bloat 状态........................................................................................................................ 47 5.12 集群系统性能..................................................................................................................48 5.12.1 DB 性能查看..........................................................................................................48 5.12.2 SQL 锁检............................................................................................................... 48 5.12.3 集群硬件性能查看.............................................................................................. 49 5.13 查看集群系统元数据......................................................................................................50 5.14 查看集群中分布键倾斜率比较高的表.........................................................................50 5.15 使用 gpcheckcat 命令检测集群..................................................................................... 50 5.15.1 gpcheckcat 检测项说明....................................................................................... 50 5.15.2 检查 master,segment 的 catalog 一致性............................................................ 50 5.15.3 检查持久化表的 catalog 一致性。......................................................................51 5.15.4 检查 pg_class 与 pg_attribute 是否不一致........................................................51 5.16 表活跃度监控..................................................................................................................52 5.16.1 IO 活跃度的表.......................................................................................................52 5.16.2 表的访问活跃度.................................................................................................. 53

目录 目录.................................................................................................................................................- 2 - 1 Greenplum 整体架构信息..........................................................................................................- 9 - 1.1 架构图示..........................................................................................................................- 9 - 1.2 Master 主机与 Segment 主机任务............................................................................... - 10 - 1.3 数据库分布键分布数据策略.......................................................................................- 10 - 1.3.1 HASH 策略........................................................................................................... - 10 - 1.3.2 随机分布............................................................................................................ - 10 - 1.4 master 主节点获取 segment 节点上的数据顺序........................................................- 11 - 2 Greenplum 数据库常用知识....................................................................................................- 11 - 2.1 Greenplum 概念............................................................................................................- 11 - 2.2 OLTP 与 OLAP 的理解.....................................................................................................- 11 - 2.2.1 描述概念............................................................................................................ - 11 - 2.2.2 图示解释............................................................................................................ - 12 - 2.3 其他名词概念............................................................................................................... - 12 - 2.3.1 HTAP 概念............................................................................................................- 12 - 2.3.2 Append-only 的概念.......................................................................................... - 13 - 2.4 数据仓库设计规则....................................................................................................... - 13 - 2.4.1 数据仓库概念....................................................................................................- 13 - 2.4.2 数据仓库设计规则相关资料............................................................................- 13 - 2.4.3 数据仓库设计规范参考....................................................................................- 13 - 3 Greenplum 集群安装...............................................................................................................- 15 - 4 Greenplum 初级使用...............................................................................................................- 15 - 4.1 Greenplum 常用命令列表............................................................................................- 15 - 4.1.1 常用命令列表....................................................................................................- 15 - 4.2 PSQL 命令实例...............................................................................................................- 15 - 4.2.1 PSQL 客户端的安装............................................................................................- 15 - 4.2.1.1 在线安装客户端.....................................................................................- 15 - 4.2.1.2 导入密码.................................................................................................- 15 - 4.2.2 PSQL 命令的使用................................................................................................- 15 - 4.2.2.1 PSQL 登录到数据库.................................................................................- 15 - 4.2.2.2 COPY 命令参数说明............................................................................... - 17 - 4.2.2.3 使用 COPY 导出数据..............................................................................- 18 - 4.2.2.4 使用 COPY 导入数据..............................................................................- 20 - 4.2.3 常用加载数据方式............................................................................................- 21 - 4.2.3.1 加载 SQL 文件形式.................................................................................- 21 - 4.2.3.2 直接执行 SQL 实例.................................................................................- 21 - 4.3 数据库支持的数据类型...............................................................................................- 22 - 4.3.1 numeric 类型.......................................................................................................- 22 - 4.3.1.1 类型列表.................................................................................................- 22 - 4.3.1.2 类型示例.................................................................................................- 22 - 4.3.2 二进制类型........................................................................................................ - 23 - - 3 - 4.3.2.1 类型列表.................................................................................................- 23 - 4.3.2.2 类型示例.................................................................................................- 23 - 4.3.3 日期/时间类型...................................................................................................- 24 - 4.3.3.1 类型列表.................................................................................................- 24 - 4.3.3.2 类型示例.................................................................................................- 24 - 4.3.4 boolean 类型......................................................................................................- 25 - 4.3.4.1 类型列表.................................................................................................- 25 - 4.3.4.2 类型示例.................................................................................................- 25 - 4.3.5 几何类型............................................................................................................ - 26 - 4.3.5.1 数据列表.................................................................................................- 26 - 4.3.5.2 类型示例.................................................................................................- 26 - 4.3.6 网络类型............................................................................................................ - 27 - 4.3.6.1 数据列表.................................................................................................- 27 - 4.3.6.2 数据示例.................................................................................................- 27 - 4.3.7 常用数据类型....................................................................................................- 28 - 4.3.7.1 数据列表.................................................................................................- 28 - 4.3.7.2 数据示例.................................................................................................- 28 - 4.4 常用函数....................................................................................................................... - 29 - 4.4.1 字符串函数........................................................................................................ - 29 - 4.4.1.1 函数列表.................................................................................................- 29 - 4.4.1.2 函数示例.................................................................................................- 30 - 4.4.2 时间函数............................................................................................................ - 31 - 4.4.2.1 函数列表.................................................................................................- 31 - 4.4.2.2 函数示例.................................................................................................- 31 - 4.4.3 数值计算函数....................................................................................................- 32 - 4.4.3.1 函数列表.................................................................................................- 32 - 4.4.3.2 函数示例.................................................................................................- 33 - 4.4.4 其他常用函数....................................................................................................- 34 - 4.4.4.1 序列号生成函数.....................................................................................- 34 - 4.4.4.2 字符串列转行函数.................................................................................- 34 - 4.4.4.3 md5 函数.................................................................................................- 35 - 4.4.4.4 字符串行转列函数.................................................................................- 35 - 4.5 常见 DDL 语句...............................................................................................................- 36 - 4.5.1 更改表名............................................................................................................ - 36 - 4.5.2 修改表字段........................................................................................................ - 36 - 4.5.2.1 修改为 DATE 类型...................................................................................- 36 - 4.5.2.2 修改为字符串的长度.............................................................................- 36 - 4.5.2.3 增加与删除字段.....................................................................................- 36 - 4.5.2.4 修改为 TIMESTAMP 类型....................................................................... - 37 - 4.5.2.5 修改为 NUMERIC 类型...........................................................................- 37 - 4.5.2.6 更改表字段的约束.................................................................................- 37 - 4.5.2.7 字段重命名.............................................................................................- 37 - 4.5.2.8 字段默认值设置.....................................................................................- 38 - 4.5.3 创建与删除 DATABASE 语句.............................................................................. - 38 - - 4 - 4.5.4 创建与删除 SCHEMA 语句.................................................................................- 38 - 4.5.5 更改表的分布键................................................................................................- 38 - 4.6 gpload 命令使用............................................................................................................ - 39 - 5 常见创建 TABLE 方式...............................................................................................................- 39 - 5.1 创建 Heap 表.................................................................................................................- 39 - 5.2 创建 AO 表.....................................................................................................................- 39 - 5.2.1 AO 表不压缩....................................................................................................... - 39 - 5.2.2 AO 表压缩............................................................................................................- 40 - 5.2.3 AO 表列存压缩................................................................................................... - 40 - 5.2.3.1 对 orientation 参数进行测试.................................................................- 40 - 5.2.3.2 统计压缩的大小.....................................................................................- 42 - 5.2.3.3 压缩类型比较.........................................................................................- 43 - 5.3 创建 HDFS 外表实例.....................................................................................................- 44 - 5.3.1 创建外部表实例................................................................................................- 44 - 5.3.2 查看错误数据的实例........................................................................................- 45 - 5.3.3 创建可写外部表实例........................................................................................- 46 - 5.3.3.1 创建可写外部表实例.............................................................................- 46 - 5.3.3.2 创建可写外部表.....................................................................................- 46 - 5.3.3.3 查看 HDFS 上的数据.............................................................................. - 47 - 5.4 创建分区表................................................................................................................... - 47 - 5.4.1 分区表概念........................................................................................................ - 47 - 5.4.2 创建分区表........................................................................................................ - 47 - 5.4.3 查看创建的分区表............................................................................................- 48 - 5.4.3.1 查看创建表的名称.................................................................................- 48 - 5.4.3.2 查看表的结构.........................................................................................- 48 - 5.4.4 插入分区表数据................................................................................................- 49 - 5.4.4.1 生成数据脚本.........................................................................................- 49 - 5.4.4.2 插入数据.................................................................................................- 49 - 5.4.5 查看数据及数据分布情况................................................................................- 50 - 5.4.5.1 查看主表的数据.....................................................................................- 50 - 5.4.5.2 查看分布表的数据.................................................................................- 50 - 5.4.5.3 查看数据分布情况.................................................................................- 50 - 5.4.6 对分区表常用操作............................................................................................- 51 - 5.4.6.1 增加分区.................................................................................................- 51 - 5.4.6.2 删掉分区.................................................................................................- 51 - 5.4.6.3 清空分区.................................................................................................- 52 - 5.4.6.4 修改分区.................................................................................................- 52 - 5.4.6.5 修改 default 分区....................................................................................- 52 - 5.4.7 创建数字范围的分区表....................................................................................- 52 - 5.4.8 创建字母范围的分区表....................................................................................- 52 - 5.5 快速复制表........................................................................................................... - 53 - 6 Greenplum 对 JSON 的支持.....................................................................................................- 53 - 6.1 JSON 概述.......................................................................................................................- 53 - 6.2 JSON 常用运算符与函数...............................................................................................- 54 - - 5 - 6.2.1 JSON 常用运算符................................................................................................- 54 - 6.2.2 JSON 常用的创建函数........................................................................................- 55 - 6.2.3 JSON 处理函数....................................................................................................- 56 - 6.3 JSON 运算符常用实例..................................................................................................- 57 - 6.3.1 单组 JSON 解析..................................................................................................- 57 - 6.3.2 多组 JSON 解析..................................................................................................- 57 - 6.3.3 复杂的 JSON 解析..............................................................................................- 58 - 6.3.3.1 多个 JSON 子集的解析...........................................................................- 58 - 6.3.3.2 获取 JSON 子集的数据...........................................................................- 58 - 6.3.3.3 获取一个 JSON 集合的子元素...............................................................- 58 - 6.4 JSON 创建函数的使用..................................................................................................- 59 - 6.4.1 创建 int 类型的 JSON 格式数据....................................................................... - 59 - 6.4.2 把行的数据转化为 JSON 类型的数据..............................................................- 59 - 6.5 JSON 处理函数的使用...................................................................................................- 60 - 6.5.1 获取 JSON 中的数据..........................................................................................- 60 - 6.5.2 获取 JSON 中的数据(去除双引号)...................................................................- 60 - 6.5.3 获取 JSON 数据中的 KEY 的值..........................................................................- 61 - 6.6 JSON 查询数据的方式...................................................................................................- 61 - 6.6.1 创建支持 JSON 数据的表..................................................................................- 61 - 6.6.1.1 创建表的 SQL..........................................................................................- 61 - 6.6.1.2 插入数据 SQL..........................................................................................- 61 - 6.6.1.3 获取 JSON 数据的 KEY 值.......................................................................- 62 - 6.6.2 获取 JSON 结构中的数据..................................................................................- 63 - 6.6.3 按照条件查询数据............................................................................................- 63 - 6.6.4 集合函数查询 JSON 数据..................................................................................- 65 - 6.6.5 使用默认的函数查找数据................................................................................- 65 - 6.6.5.1 JSON_EACH 函数的使用.........................................................................- 65 - 6.6.5.2 JSON_OBJECT_KEYS 函数的使用............................................................- 66 - 6.6.6 把查询数据转化为 JSON...................................................................................- 67 - 6.6.6.1 查看原始数据.........................................................................................- 67 - 6.6.6.2 把查询的数据转化为 JSON....................................................................- 68 - 7 Greenplum PGBENCH 命令详解............................................................................................... - 70 - 7.1 PGBENCH 概念详解........................................................................................................- 70 - 7.2 PGBENCH 参数详解.......................................................................................................- 70 - 7.2.1 查看参数详细信息............................................................................................- 70 - 7.3 PGBENCH 测试案例.......................................................................................................- 71 - 7.3.1 创建表信息........................................................................................................ - 71 - 7.3.2 修改以下参数....................................................................................................- 71 - 7.3.2.1 修改配置文件..........................................................................................- 71 - 7.3.2.2 重启服务..................................................................................................- 72 - 7.3.3 创建 SQL 测试文件.............................................................................................- 72 - 7.3.4 查看测试效果.....................................................................................................- 72 - 8 Greenplum 常用函数...............................................................................................................- 74 - 8.1 字符串函数................................................................................................................... - 74 - - 6 - 8.1.1 常见字符串函数................................................................................................- 74 - 8.1.2 函数常见示例....................................................................................................- 74 - 8.1.2.1 字符串拼接.............................................................................................- 74 - 8.1.2.2 查看字符串的长度.................................................................................- 75 - 8.1.2.3 查看字符在字符串的位置.....................................................................- 75 - 8.1.2.4 在制定的位置截取字符串.....................................................................- 75 - 8.1.2.5 删除字符串的制定字符.........................................................................- 76 - 8.1.2.6 字符串转大小写.....................................................................................- 76 - 8.1.2.7 替换制定的字符串.................................................................................- 76 - 8.1.2.8 按照分隔符分割字符串.........................................................................- 77 - 8.2 日期及时间函数........................................................................................................... - 77 - 8.2.1 常见日期及时间函数........................................................................................- 77 - 8.2.2 函数常见使用....................................................................................................- 78 - 8.2.2.1 查看两个日期的.....................................................................................- 78 - 8.2.2.2 查看当前的日期.....................................................................................- 78 - 8.2.2.3 获取当前的时间.....................................................................................- 79 - 8.2.2.4 获取精确的时间戳.................................................................................- 79 - 8.2.2.5 获取时间戳的制定参数.........................................................................- 79 - 8.2.2.6 获取当前的时间戳.................................................................................- 81 - 8.2.2.7 获取当前的时间.....................................................................................- 81 - 8.2.2.8 获取当前的时间戳.................................................................................- 81 - 9 Greenplum 高级使用................................................................................................................- 81 - 9.1 常用查询语句............................................................................................................... - 81 - 9.1.1 查看表的数据分布情况....................................................................................- 81 - 9.1.2 查看默认的错误数据........................................................................................- 82 - 9.1.3 查看表的大小....................................................................................................- 82 - 9.1.4 查看数据库的占用大小....................................................................................- 83 - 9.1.5 获取一个表的 schema 的信息..........................................................................- 83 - 9.1.5.1 通过 SQL 方式获取.................................................................................- 83 - 9.1.5.2 通过终端方式获取.................................................................................- 84 - 9.1.5.3 查看 schema 下的所有的表.................................................................. - 84 - 9.1.5.4 查询 schema 下的外部表的列表.......................................................... - 85 - 9.1.5.5 查询 schema 下的普通表的列表.......................................................... - 85 - 9.1.5.6 获取参数说明.........................................................................................- 85 - 9.1.6 查看每个 schema 的占用大小..........................................................................- 85 - 9.1.7 查看当前正在执行的语句................................................................................- 86 - 9.1.8 释放表的膨胀空间............................................................................................- 86 - 9.2 常见创建表语句........................................................................................................... - 87 - 9.2.1 快速复制一张表................................................................................................- 87 - 9.2.2 重新设计一张表................................................................................................- 87 - 9.3 分析执行计划............................................................................................................... - 87 - 9.3.1 查看执行计划....................................................................................................- 87 - 9.3.2 名词解释............................................................................................................ - 88 - 9.4 函数使用....................................................................................................................... - 88 - - 7 - 9.4.1 创建函数............................................................................................................ - 88 - 9.4.1.1 创建函数方式一.....................................................................................- 88 - 9.4.1.2 创建函数方式二.....................................................................................- 90 - 9.4.2 使用函数............................................................................................................ - 91 - 9.4.3 删除函数............................................................................................................ - 91 - 9.5 视图使用....................................................................................................................... - 91 - 9.5.1 视图命名规范....................................................................................................- 91 - 9.5.2 视图的定义........................................................................................................ - 91 - 9.5.3 创建及查询视图语句........................................................................................- 92 - 9.5.4 创建视图............................................................................................................ - 92 - 9.5.5 查看视图结构....................................................................................................- 92 - 9.6 索引使用....................................................................................................................... - 93 - 9.6.1 支持的索引类型................................................................................................- 93 - 9.6.2 获取索引的列表................................................................................................- 93 - 9.6.3 bitmap 索引的使用.............................................................................................- 93 - 9.6.3.1 获取测试表的信息.................................................................................- 93 - 9.6.3.2 查看不使用索引耗时.............................................................................- 94 - 9.6.3.3 创建索引.................................................................................................- 94 - 9.6.3.4 查看使用索引耗时.................................................................................- 94 - 9.6.3.5 删除索引.................................................................................................- 95 - 9.6.3.6 查看执行计划.........................................................................................- 95 - 9.6.4 b-tree 索引的使用..............................................................................................- 96 - 9.6.4.1 b-tree 索引的特点...................................................................................- 96 - 9.6.4.2 获取测试表的信息.................................................................................- 96 - 9.6.4.3 查看不使用索引时的耗时.....................................................................- 97 - 9.6.4.4 创建索引.................................................................................................- 97 - 9.6.4.5 查看使用索引的耗时.............................................................................- 97 - 9.6.4.6 查看执行计划信息.................................................................................- 97 - 9.7 引用第三方库............................................................................................................... - 98 - 9.8 常用设置....................................................................................................................... - 98 - 9.8.1 终端设置字符编码............................................................................................- 98 - 9.8.2 设置终端执行时长............................................................................................- 98 - 10 工作中常见知识汇总............................................................................................................ - 99 - 10.1 在使用外表时注意的问题..........................................................................................- 99 - 10.1.1 注意\线的转义问题.........................................................................................- 99 - 10.1.1.1 问题示例...............................................................................................- 99 - 10.1.1.2 解答方法...............................................................................................- 99 - 10.1.2 \1 转特殊字符的问题.....................................................................................- 100 - 10.1.2.1 问题示例.............................................................................................- 100 - 10.1.2.2 解答方法.............................................................................................- 100 - 10.2 COPY 命令常见错误汇总...........................................................................................- 101 - 10.2.1 数据中有双引字符.........................................................................................- 101 - 10.2.1.1 问题示例.............................................................................................- 101 - 10.2.1.2 解答方法.............................................................................................- 101 - - 8 - 10.3 查看字段中有特殊字符 SQL....................................................................................- 102 - 10.3.1 先把表字段获取出来....................................................................................- 102 - 10.3.2 查询表中的错误数据....................................................................................- 102 - 11 Greenplum 权限管理............................................................................................................- 102 - 11.1 关于 greenplum 权限说明.........................................................................................- 102 - 11.1.1 概述................................................................................................................ - 102 - 11.1.2 赋予权限的步骤总结....................................................................................- 102 - 11.1.3 管理赋予在用户特殊属性上的权限............................................................- 103 - 11.2 权限操作实例........................................................................................................... - 103 - 11.2.1 在用户(USER)特殊属性上的权限.................................................................- 103 - 11.2.1.1 权限说明.............................................................................................- 103 - 11.2.1.2 权限创建实例.....................................................................................- 103 - 11.2.1.3 撤销用户的权限.................................................................................- 104 - 11.2.2 在 DATABASE(数据库)上的权限....................................................................- 105 - 11.2.2.1 权限说明.............................................................................................- 105 - 11.2.2.2 权限创建实例.....................................................................................- 105 - 11.2.2.3 权限撤销实例.....................................................................................- 106 - 11.2.2.4 总结数据库上权限.............................................................................- 107 - 11.2.3 在 SCHEMA(模式)上的权限.......................................................................... - 107 - 11.2.3.1 验证权限说明.....................................................................................- 107 - 11.2.3.2 创建 USER2..........................................................................................- 107 - 11.2.3.3 把 USAGE(使用权限)赋予用户..........................................................- 107 - 11.2.3.4 查看权限的效果.................................................................................- 108 - 11.2.3.5 把 CREATE(创建权限)赋予用户.........................................................- 108 - 11.2.3.6 在用户下查询数据.............................................................................- 108 - 11.2.3.7 总结 SCHEMA(模式)上的权限汇总...................................................- 108 - 11.2.3.8 权限撤销实例.....................................................................................- 108 - 11.2.3.9 验证撤销的权限.................................................................................- 109 - 11.2.4 在 TABLE(表)上的权限...................................................................................- 109 - 11.2.4.1 权限验证说明.....................................................................................- 109 - 11.2.4.2 把 SELECT(查询)权限赋予用户..........................................................- 109 - 11.2.4.3 查看权限效果.....................................................................................- 109 - 11.2.4.4 赋予用户更多的权限.........................................................................- 110 - 11.2.4.5 撤销用户的权限.................................................................................- 110 - 11.2.4.6 查看撤销后的效果.............................................................................- 110 - 11.3 权限参数详解........................................................................................................... - 111 -

Greenplum支持行储存(HEAP储存)与列(append-only)储存,对于AO存储，虽然是appendonly，但实际上GP是支持DELETE和UPDATE的，被删除或更新的行，通过BITMAP来标记删除与修改。AO存储是块级组织，当一个块内的数据大部分都被删除或更新掉时，扫描它浪费的成本实际上是很高的。而PostgreSQL是通过HOT技术以及autovacuum来避免或减少垃圾的。但是Greenplum没有自动回收的worker进程，所以需要人为的触发。接下来就分析AO表与HEAP表的问题以及如何解答，执行空间的释放有3中方法分别是: 1、执行VACUUM。（当膨胀率大于gp_appendonly_compaction_threshold参数时），为共享锁。 2、执行VACUUM FULL。（不管gp_appendonly_compaction_threshold参数的设置，都会回收垃圾空间。），为DDL锁，需要慎用这个命令，会把CPU与IO沾满。 3、执行重分布。（不管gp_appendonly_compaction_threshold参数，都会回收垃圾空间。），为DDL锁

ORACLE向外导数据工具，需要放在ORACLE服务器机器上运行，效率特别高，谁用谁知道。

小徐历经呕血总结的《Git总结》，简单实用，免费下载，文章中都是作者亲自实践的，使学习简单快乐，好玩

小徐历经呕血总结的《BigData总结》知识，简单实用，免费下载，文章中都是作者亲自实践的，使学习简单快乐，好玩 知识，简单实用，免费下载，文章中都是作者亲自实践的，使学习简单快乐，好玩 目 录 - 3 - 学习态度 - 45 - 永远记住 - 45 - 杂谈 - 46 - 1-1）、大数据研发型人才 - 46 - 1-2）、大数据架构行人才 - 46 - 1-3）、大数据科学家 - 46 - 1-4）、计算分析应用 - 46 - 1-5）、几大编程语言的对比 - 46 - 1-6）、hadoop 与Spark 的区别 - 46 - Maven总结 - 47 - 概述 - 47 - 软件下载及配置 - 47 - 软件下载 - 47 - 配置mvn - 48 - mvn 常用地址 - 48 - mvn 常用命令 - 48 - 查看mvn的帮助 - 48 - 编译项目常用命令 - 50 - 生成项目结构 - 50 - 编译项目常用命令 - 51 - 项目测试常用命令 - 51 - 项目打包命令 - 51 - Jar安装常用命令 - 51 - 清除项目常用的命令 - 52 - 查看错误的详细信息 - 52 - Git 总结 - 52 - 描述 - 53 - Git 使用工具 - 54 - Git 管理项目模型 - 54 - Git常用操作 - 55 - 下载Git - 55 - 新建代码库 - 55 - 配置信息 - 55 - 显示当前git的配置 - 55 - 增加与删除文件到本地仓库 - 56 - 添加制定后缀的文件到本地仓库 - 56 - 删除本地仓库的本地文件 - 57 - 提交本地的代码到远程仓库 - 57 - 分支管理 - 58 - 分支查看 - 58 - 创建分支 - 58 - 合并分支 - 59 - 删除分支 - 59 - 标签管理 - 59 - 查看标签 - 59 - 新建标签 - 59 - 删除标签 - 59 - 查看信息命令 - 60 - 远程仓库同步 - 61 - 撤销命令 - 61 - 生成可以发布的版本 - 62 - Linux总结 - 63 - 概述 - 64 - Linux 目录结构说明 - 64 - 1-1）、目录树 - 64 - 1-2）、目录树介绍 - 64 - Linux 在虚拟机中安装以及环境的配置 - 65 - 1-1）、安装虚拟机 - 65 - 1-2）、在虚拟机中安装Centos - 66 - A）、安装向导 - 66 - B）、选择硬件兼容模式 - 67 - C）、选择系统所在路径 - 68 - D）、输入用户名与密码 - 69 - E）、设置虚拟机的名字 - 70 - F）、设置虚拟机的核数 - 71 - G）、设置虚拟机的内存 - 72 - H）、设置虚拟机的网络类型 - 73 - I）、选择磁盘的类型 - 75 - J）、选择磁盘 - 76 - K）、指定磁盘的大小 - 77 - L）、指定磁盘文件 - 78 - M）、准备创建好磁盘 - 79 - N）、创建好虚拟机并启动 - 80 - 1-3）、修改主机名字 - 80 - 1-4）、Linux 网络配置 - 81 - 1-5）、给超级管理员设置密码 - 84 - 1-6）、生成秘钥 - 85 - 1-7）、传送秘钥 - 85 - 1-8）、修改时间与日期 - 85 - A）、如果当前为中国标准时间执行一下操作 - 85 - B）、设置中国区域的时区 - 85 - D）、查看当前的月份 - 87 - E）、使用ntpdate同步时间 - 87 - 1-9）、添加其他的机器的地址 - 87 - Linux 克隆机器 - 88 - 1-1）、选择机器进行克隆 - 88 - 1-2）、进行克隆 - 88 - 1-3）、查看克隆完毕 - 89 - 1-4）、修改名字 - 90 - 1-5）、修改网卡 - 90 - 1-6）、删除eth0网卡的UUID - 90 - 1-7）、重启机器即可 - 90 - Linux 文件权限问题 - 90 - Linux 常用命令 - 91 - 1-1）、查找最近一天新增的文件 - 92 - 1-2）、ls 使用 - 92 - 1-3）、查看文件夹下的文件的总大小 - 92 - 1-4）、查看文件夹下的每个问价的每个的大小 - 92 - 1-5）、立刻关机 - 93 - 1-6）、十分钟之后关机 - 93 - 1-7）、等于立马关机 - 93 - 1-8）、重启命令 - 93 - 1-9）、Xshell清屏命令 - 93 - 1-10）、Vi 常用命令 - 93 - A）、命令模式常用命令 - 94 - B）、插入模式常用命令 - 94 - C）、末行模式 - 94 - D）、移动光标的操作 - 95 - 1-11）、Sed命令的使用，s表示字符串，g表示每一行 - 95 - 1-12）、Awk 处理文本 - 95 - 1-13）、Shell 清除屏幕快捷键 - 96 - 1-14）、Netstart 命令过滤查找命令 - 96 - 1-15）、Crontab 的使用 - 96 - 1-16）、软连接命令 - 97 - 1-17）、查看Linux 的版本 - 97 - 1-18）、查看CPU的信息 - 97 - 1-19）、查看本地的磁盘的情况 - 98 - 1-20）、查看文件夹下的每个文件的大小 - 98 - 1-21）、查找某个文件下的文件的大小 - 98 - 1-22）、yum 常用命令 - 99 - A）、安装命令 - 99 - B）、更新和升级 - 99 - C）、查找和显示 - 99 - D）、删除程序 - 99 - E）、清除缓存 - 99 - F）、重新生成缓存 - 100 - 1-23）、快速杀掉所有的JAVA进程 - 100 - 1-24）、查看磁盘的IO的性能 - 100 - 1-25）、查看当前正在占用的端口的程序 - 100 - 1-26）、创建软连接 - 101 - 1-27）、10进制转换为16禁止 - 101 - 1-28）、查看网卡是千M还是万M网卡 - 101 - 1-29）、传送文件命令 - 102 - A） 、scp 命令是用 - 102 - B）、rcp命令使用 - 102 - 1-30）、lsblk命令的使用 - 102 - Linux 常用解压软件命令 - 102 - Linux 常用的压缩软件命令 - 103 - Linux 编程 - 103 - 1-1）、基本语法 - 103 - 1-2）、常用语法 - 103 - A）、If语法 - 103 - B）、While语法 - 105 - C）、Case语法 - 105 - D）、For语法 - 106 - 1-3）、函数 - 107 - A）、函数定义 - 107 - B）、函数参数 - 107 - C）、函数返回值 - 108 - D）、跨脚本调用 - 108 - Linux LS命令详解 - 109 - 1-1）、列出文件或者目录 - 109 - 1-2）、长清单模式 - 109 - 1-3）、显示文件大小 - 109 - 1-4）、排序文件大小 - 109 - 1-5）、以M为单位显示文件的大小 - 110 - 1-6）、查看隐藏文件 - 110 - 1-7）、只差看当前目录下的文件夹 - 110 - 1-8）、不打印所有者信息 - 110 - 1-9）、不打印组信息 - 110 - 1-10）、打印UID和GID - 110 - 1-11）、不带颜色打印 - 111 - 1-12）、打印每个文件的索引号 - 111 - 1-13）、增加 / (斜线) 标记目录 - 111 - 1-14）、排序时反转顺序 - 111 - 1-15）、递归列出子目录 - 111 - 1-16）、扩展名排序 - 112 - 1-17）、通过修改时间列出 - 112 - 1-18）、列出你的主目录 - 112 - 1-19）、查看LS的版本 - 112 - Linux awk命令详解 - 112 - 1-1）、基本语法 - 112 - A）、书写格式 - 113 - B）、变量 - 113 - C）、操作符 - 113 - D）、 print与printf的区别 - 114 - 1-2）、awk 流程控制 - 114 - A）、条件 - 114 - B）、while语句 - 114 - C）、数组 - 114 - 1-3）、函数 - 115 - A）、算数函数 - 115 - B）、算数函数 - 115 - C）、自定义函数 - 115 - 1-4）、awk 实战 - 115 - A） 、获取IP地址 - 115 - B）、查找制定字段的运行时间 - 115 - C）、对每一个分隔符添加相对应的字符 - 116 - Linux sort 命令详解 - 116 - 1-1）、准备数据 - 116 - 1-2）、对数据进行排序 - 117 - A）、对数据进行正序排序 - 117 - B）、对数据进行倒叙排序 - 117 - C）、对数据去重 - 117 - D）、把排序完的数据进行重新保存 - 118 - E）、按照第一个字段排序 - 118 - F）、按照多个字段排序 - 118 - G）、第三个字段按照降序排序 - 118 - H）、按照第一个单词第二个字母排序 - 119 - Linux sed 详解 - 119 - 1-1）、参数详解 - 119 - 1-2）、实例详解 - 120 - A）、复制数据的前一行 - 120 - B）、删除制定的行 - 120 - C）、显示第一行到第二行 - 120 - D）、在第二行后面添加一行信息 - 120 - E）、删除地2行到第五行，病替换成相对应的字符 - 121 - F）、搜索信息做操作 - 121 - G）、获取本地的IP - 121 - H）、把文件转换为unix编码 - 121 - Linux grep 命令详解 - 121 - 1-1）、使用帮助 - 121 - 1-2）、使用实例 - 123 - A）、查找含有root关键字的信息 - 123 - B）、过滤二进制 - 123 - C）、按照多个条件查找 - 123 - D）、显示匹配的行数 - 124 - E）、显示匹配的行数 - 124 - F）、递归查询文件夹下的所有的文件的匹配信息 - 124 - G）、显示匹配当前行数的前几行或后几行 - 124 - 1-3）、查找家目录下的jpg文件 - 125 - 1-4）、按照首字母大写来查找文件 - 125 - 1-5）、查找后缀是jpeg或jpg的文件 - 125 - 1-6）、查找后缀是jpeg或jpg的目录 - 125 - 1-7）、查找一周之前的文件 - 125 - 1-8）、在/var/log下查找大于1G的文件 - 125 - Linux netstart命令详解 - 126 - 1-1）、参数详解 - 126 - 1-2）、查看所有的打开的端口 - 126 - 1-3）、列出所有tcp端口 - 127 - 1-4）、列出所有udp的端口 - 127 - 1-5）、列出所有的监听端口 - 127 - 1-6）、常用带参数命令 - 127 - 1-7）、按照端口查找程序相关的信息 - 128 - Linux 配置yum源 - 128 - Linux 常用设置 - 128 - 1-1）、设置系统开启级别 - 128 - Linux常用软件安装 - 129 - 1-1）、JDK安装 - 129 - 1-2）、安装tomcat - 129 - 1-3）、安装nginx - 129 - 1-4）、安装MySQL - 130 - 1-1）、在线安装MySql - 130 - 1-2）、离线安装MySql - 130 - 1-3）、MySql常用操作 - 132 - 1-4）、关于mysql的查询缓存 - 135 - 1-5）、mysql服务常用操作 - 137 - 1-5）、流量查看软件 - 137 - A）、安装 - 137 - B）、查看详细参数 - 137 - C）、测试 - 137 - 1-6）、lrzsz 软件的安装 - 138 - A） 、安装 - 138 - B）、测试 - 139 - 1-7）、Python 安装 - 139 - 1-8）、安装PHP - 140 - 1-9）、Screen 软件的安装 - 140 - A）、安装screen - 140 - B）、设置终端编码 - 140 - C）、screen常用命令 - 140 - D）、screen快捷键 - 141 - 1-10）、nmon使用 - 141 - A）、下载nmon软件 - 141 - B）、安装nmon - 141 - C）、配置环境变量 - 141 - D）、使用说明 - 142 - E）、参数说明 - 142 - Ｆ）、使用案例 - 143 - 1-11）、nload 软件的使用 - 143 - A）、查看当前yum中的软件 - 143 - B）、安装ncurses - 143 - C）、安装c++ - 143 - D）、下载nload - 143 - E）、解压nload - 143 - F）、编译nload - 144 - G）、查看帮助 - 144 - H）、参数详解 - 144 - 1-12）、iftop软件的使用 - 144 - A）、环境需要的软件 - 144 - B）、iftop下载 - 144 - C）、安装并编译 - 144 - D）、查看帮助iftop - 145 - E）、参数详解 - 145 - 1-13）、htop 命令使用 - 145 - 1-14）、iotop 命令使用 - 146 - 1-15）、dstat 命令使用 - 147 - 1-16）、ag 命令使用 - 148 - A）、ubuntu系统安装 - 148 - B）、简单使用 - 148 - C）、制定过滤后缀的查找 - 149 - 1-17）、mycli 命令使用 - 149 - 1-18）、axel 命令使用 - 149 - 1-19）、bwm-ng 命令使用 - 150 - A）、bwm-ng安装 - 150 - B）、执行bwm-ng - 150 - 1-20）、网络分析抓包工具wireshark-qt - 150 - A)、安装wireshark-qt - 150 - B）、使用wireshark - 150 - 1-21）、文件比较工具 - 151 - A） 、meld软件安装 - 151 - B）、meld软件查看效果 - 152 - C）、diffuse软件安装 - 152 - D）、diffuse软件查看效果 - 152 - 1-22）、ubuntu截图软件deepin-scrot - 152 - A）、安装 - 153 - B） 、使用 - 153 - Linux常用软件卸载 - 153 - 1-1）、MySql卸载 - 153 - Liunx上的服务操作 - 154 - 1-1）、关闭防火墙 - 154 - 1-2）、关闭MySql服务 - 154 - 1-3）、重启网络服务 - 154 - 1-4）、开启httpd服务 - 154 - 1-5）、关闭Transparent Huge Pages(THP) - 154 - Linux 检测磁盘的性能 - 155 - Linux 性能优化 - 155 - 1-1）、关闭不必要的服务 - 155 - 1-2）、关闭IP6 - 155 - 1-3）、调整文件的最大的打开数 - 156 - 1-4）、修改 linux 内核参数 - 156 - 1-5）、关闭 noatime - 156 - 1-6）、调节网络传送的数据包MTU - 156 - 1-7）、在系统方面调节最大连接数(somaxconn) - 156 - 1-8）、加快TCP链接的回收（Recycle） - 157 - 1-9）、空的tcp是否允许回收利用（Reuse） - 157 - Linux 常见问题排查 - 157 - 1-1）、Kernel panic - not syncing: Attempted to kill init - 157 - Linux 系统出现问题排查思路 - 158 - 1-1）、查看用户信息 - 158 - A）、查看当前的用户 - 158 - B）、查看最近登录的用户 - 159 - 1-2）、查看直线执行的命令 - 159 - 1-3）、查看现在运行的进程 - 159 - 1-4）、查看网络服务的进程 - 160 - A）、查看正在运行的端口 - 160 - B）、正在活跃的端口 - 160 - C）、查看UNIX活跃的端口 - 160 - 1-5）、查看CPU与内存 - 161 - A）、查看空闲的内存以及内存与硬盘之间的SWAP - 161 - B）、查看运行的详细信息 - 161 - C）、动态查看运行的内存，CPU等信息 - 161 - 1-6）、硬件信息 - 162 - 1-1）、系统中所有PCI总线设备或连接到该总线上的所有设备 - 162 - 1-2）、查看硬件方面的信息 - 162 - 1-7）、IO的性能 - 163 - A）、查看磁盘的使用情况 - 163 - B）、动态的查看服务器的状态值 - 163 - C）、实时的对系统的监控 - 163 - D）、动态显示当前的操作IO的进程 - 164 - 1-8）、文件系统以及外接磁盘的信息 - 164 - A）、查看当前的挂在的设备 - 164 - B）、查看是否有专用的文件系统 - 164 - C）、查看文件系统的挂在的选项 - 165 - D）、查看物理卷的信息 - 165 - E）、查看磁盘的剩余情况 - 165 - F）、列出当前系统打开文件的工具 - 165 - 1-9）、内核与网络 - 166 - A）、显示在/proc/sys目录中的内核参数 - 166 - B）、irq的序号， 在各自cpu上发生中断的次数，可编程中断控制器，设备名称（request_irq的dev_name字段） - 166 - C）、查看链接数据库的信息 - 166 - D）、查看网络套接字连接情况 - 167 - E）、获取socket统计信息 - 167 - 1-10）、日志消息与内核信息的查看 - 167 - A） 、显示linux内核的环形缓冲区信息 - 167 - B）、查看系统报错日志 - 168 - C）、安全信息和系统登录与网络连接的信息 - 168 - 1-11）、查看定时的任务 - 168 - A） 、查看定时任务的运行频率 - 168 - B）、查看用户是否执行了隐藏的命令 - 169 - Ubuntu 使用自带工具制作启动盘 - 169 - 1-1）、查找软件 - 169 - 1-2）、制作启动盘 - 170 - Tomcat 总结 - 170 - 概述 - 170 - 1-1）、Tomcatxi线程池的使用 - 171 - server.xml优化 - 171 - 启动内存优化 - 172 - 1-2）、启动方式 - 172 - JVM 总结 - 172 - 概述 - 172 - 环境准备 - 173 - 工具： - 173 - 1- 1 )、Jconsole - 173 - 1-2 ) 、jvisualvm - 175 - 1-3）、命令行查看线程的运行情况 - 176 - A）、Jstack查看堆栈的运行情况 - 176 - B）、Jstat 的使用 - 177 - C）、Jmap 查看java程序的内存分配的详细情况 - 178 - 内存模型图解 - 179 - 1-1）、内存的模拟图 - 180 - 1-2）、堆(Heep) - 181 - 1-3）、栈（Stack） - 182 - GC算法 - 183 - 1-1）、标记清除算法（Mark-Sweep） - 183 - 1-2）、复制算法（Copying） - 184 - 1-3）、标记-整理算法（Mark-Compact） - 185 - 垃圾回收器 - 185 - 1-1）、分代收集方法论 - 185 - 1-2）、分代收集详述 - 186 - 1-3）、垃圾收集器概览 - 187 - 1-4）、Serial收集器 - 187 - 1-5）、ParNew收集器 - 188 - 1-6）、Parallel Scavenge收集器 - 188 - 1-7）、Serial Old收集器 - 188 - 1-8）、Parallel Old收集器 - 189 - 1-9）、CMS(并发GC)收集器 - 189 - 1-10）、GF(Garbage-First)收集器 - 190 - 垃圾收集器参数总结 - 191 - JVM参数列表 - 193 - 查找占用比较耗时的进程 - 194 - 1-1）、先用top命令查找出最耗时的JAVA进程号 - 194 - Zookeeper 总结 - 195 - 概述 - 196 - 角色 - 196 - 特性 - 196 - 选举机制 - 196 - Zookeeper 节点的类型 - 197 - Zookeeper 权限详解 - 198 - Zookeeper 的部署 - 198 - 1 -1 ) 、安装 - 198 - 1-2 ) 、修改配置文件 - 199 - A）、修改zoo.cfg文件 - 199 - B）、传送文件 - 200 - C）、创建myid的目录 - 200 - D）、在每个机器上配置myid - 200 - E）、在每台机器上添加快捷方式 - 200 - F）、修改节点的储存大小 - 200 - 1-3 ) 、启动 - 201 - 1-4）、一键启动&关闭脚本 - 201 - 1-5 ) 、查看进程状态 - 202 - 1-6） 、节点类型 - 202 - A）、znode 的特征 - 202 - B）、CreateMode的类型 - 203 - C）、znode的版本号 - 204 - 1-7 ) 、zookerper 的客户端连接 - 204 - A） 、Linux 端链接 - 204 - B）、Windows端链接 - 210 - 1-8）、查看zookeeper版本的控制 - 211 - Zookeeper 内存数据库 - 212 - 1-1）、ZKDatabase 内存数据库的实质载体 - 212 - 1-2）、详解DataTree - 212 - 1-3）、DataNode 类的属性 - 213 - Zookeeper 的客户端的API的使用 - 214 - 1 -1 ) 、基本方法 - 214 - 1-2 )、 增删改查znode数据 - 214 - 1-3）、zookeeper服务器上下线动态感知 - 216 - A）、概述 - 216 - B）、设计思路 - 216 - C）、代码实现 - 217 - D）、Alibaba实现动态感知的代码实现 - 220 - 1-4） 、分布式共享锁 - 220 - A）、概述 - 220 - B）、设计思路 - 220 - C）、代码实现 - 220 - Node-zk-browser 安装 - 223 - A）、准备环境，nodes需要gcc环境 - 223 - B）、安装 nodes - 223 - C）、解压文件 - 223 - D）、编辑文件 - 223 - E）、查看node版本 - 223 - F）、下载node-zk-browser - 224 - G）、安装node-zk-browser - 224 - H）、安装zk的版本 - 224 - I）、修改配置文件 - 224 - J）、启动服务 - 224 - L）、界面展示 - 224 - Redis 总结 - 225 - 概述 - 226 - Redis的特点 - 226 - Redis储存类型 - 227 - 1-1）、String - 227 - A）、常用命令 - 227 - B）、实例 - 228 - C）、使用场景 - 228 - D）、实现方式 - 229 - 1-2）、Hash - 229 - A）、常用命令 - 229 - B）、实例 - 229 - C）、使用场景 - 230 - D）、实现方式 - 231 - 1-3）、List - 231 - A）、常用命令 - 231 - B）、实例 - 232 - C）、使用场景 - 232 - D）、实现方式 - 233 - 1-4）、Set - 233 - A）、常用命令 - 233 - B）、实例 - 233 - C）、使用场景 - 234 - D）、实现方式 - 234 - 1-5）、Sorted Set - 234 - A）、常用命令 - 234 - B）、实例 - 235 - C）、使用场景 - 235 - D）、使用场景 - 236 - Redis 的安装 - 236 - 1-1）、安装 - 236 - 1-2）、查看配置文件 - 237 - 1-3）、启动 - 252 - 1-4）、启动方式 - 253 - A）、前台启动 - 253 - B）、后台启动 - 254 - 1-5）、客户端链接 - 254 - A） 、Linux链接 - 254 - B）、JAVA代码链接 - 255 - 1-6）、Redis 3.2.2集群搭建 - 255 - A）、环境准备 - 255 - B）、安装redis 3.2.2.tar.gz - 255 - C）、设置集群的环境 - 256 - D）、修改redis的配置文件 - 256 - E）、开启每一台机器上的redis的服务 - 257 - F）、查看端口信息 - 257 - G）、创建集群 - 257 - H）、测试集群 - 258 - Redis 常用命令 - 259 - Redis 内部工具 - 260 - 代码示例 - 261 - 1-1）、链接工具 - 261 - 1-2）、Redis API使用 - 262 - RedisStudio客户端连接工具 - 271 - Redis 持久化储存机制 - 272 - 1-1）、定时快照方式（RDB） - 272 - 1-2）、基于语句追加文件的方式（AOF） - 273 - 1-3）、虚拟内存（vm） - 273 - 1-4）、Diskstore 方式 - 273 - Redis 事物的处理 - 273 - 1-1）、MULTI事务的使用 - 273 - 1-2）、WATCH 事务的使用 - 274 - Redis 发布订阅 - 275 - 1-1）、订阅窗口 - 275 - 1-2）、发布窗口 - 275 - 1-3）、查看订阅窗口 - 275 - Redis 的性能测试 - 276 - 1-1）、查看帮助信息 - 276 - 1-2）、实例 - 277 - A）、测试并发 - 277 - B）、测试数据包的问题 - 277 - C）、测试set,lpush的性能 - 278 - D）、只测试某些数值存取的性能 - 278 - Redis-trib.rb详解 - 278 - Codis 集群安装 - 280 - 概述 - 280 - 结构如下 - 280 - 集群安装 - 281 - 1-1）、环境准备 - 281 - A）、go 语言安装 - 281 - B）、git语言安装 - 281 - 1-2）、安装Codis集群 - 282 - A）、创建下载codis的源码目录 - 282 - B）、进入的codis目录进行编译 - 282 - 1-3）、安装Zookeeper - 283 - 1-4）、配置Codis的环境 - 283 - A）、创建codis的配置文件 - 283 - B）、启动bashboard - 286 - C）、启动codis-proxy - 287 - D）、通过 codis-fe 添加：通过 Add Proxy 按钮 - 289 - E）、配置启动Cdis FE 集群管理界面 - 289 - 1-5）、一键启动Codis脚本 - 290 - 1-6）、查看运行的进程 - 290 - 1-7）、图形界面创建组和solt节点 - 291 - A） 、创建组 - 291 - B）、添加实例 - 292 - C）、对slots进行分组 - 292 - 1-8）、添加管理proxy - 293 - A）、创建组 - 293 - B）、组添加服务器 - 293 - C）、把从库跟主库同步 - 293 - D）、若从库需要提升为master - 294 - E）、初始化 slots,并设置 server group 服务的slot范围 - 294 - 客户端连接Codis - 294 - 1-1）、命令行连接 - 294 - 1-2）、API连接 - 295 - Hadoop总结 - 297 - 概述 - 298 - CDH - 298 - 安装Hadoop2.6.4 非Zookeeper集群版 - 298 - 1-1）、安装 - 299 - 1-2）、修改配置文件 - 299 - A）、修改core-site.xml - 299 - B）、修改hadoop-env.sh - 299 - C）、修改hdfs-site.xml - 299 - D）、修改slaves - 300 - E）、修改mapred-env.sh - 300 - F）、修改yarn-site.xml - 301 - G）、修改yarn-env.sh - 301 - H）、创建文件夹 - 301 - 1-3）、传送到其他的机器上 - 301 - 1-4）、Hadoop启动命令 - 301 - 1-5）、集群启动 - 302 - 1-6）、查看进程 - 302 - 1-7）、启动脚本 - 303 - 安装Hadoop2.6.4 Zookeeper集群版 - 303 - 1-1）、安装 - 303 - 1-2）、修改配置文件 - 303 - A）、修改core-site.xml - 303 - B）、修改hadoop-env.sh - 304 - C）、修改hdfs-site.xml - 304 - D）、修改slaves - 306 - E）、修改mapred-env.sh - 306 - F）、修改yarn-site.xml - 306 - G）、修改yarn-env.sh - 307 - H）、创建文件夹 - 307 - 1-3）、传送到其他的机器上 - 307 - 1-4）、Hadoop启动命令 - 308 - 1-5）、集群启动 - 309 - 1-6）、查看进程 - 310 - 1-7）、启动脚本 - 310 - MapReduce整体的流程详解 - 312 - Hadoop HDFS 系统详解 - 313 - 概述 - 313 - 用户上传文件思路 - 313 - 图例 - 314 - 用户读取数据的流程 - 315 - 图例 - 315 - 元数据的Checkpoint 过程 - 316 - 1-1）、概念 - 316 - 1-2）、查看元数据的信息 - 316 - 1-3）、图例 - 318 - 1-4）、checkPoint的附带作用 - 318 - DataNode 工作机制 - 319 - 1-1）、dataNode 工作机制 - 319 - 1-2）、namenode 故障判断 - 319 - Hadoop & hadoop fs 常用命令 - 319 - 1-1）、hadoop 常用参数列表 - 319 - 1-2）、 Hadoop fs 的参数列表 - 320 - 1-3）、创建文件夹 - 321 - 1-4）、上传文件 - 321 - 1-5）、查看文件 - 322 - 1-6）、下载HDFS上的文件 - 322 - 1-7）、重命名文件 - 322 - 1-8）、删除HDFS上指定的文件 - 322 - 1-9）、删除指定的文件夹 - 323 - 1-10）、命令详细 - 323 - 1-11）、查看文件的前N行 - 328 - 1-12）、查看HDFS上文件的总大小 - 328 - 1-13）、查看HDFS文件上的前几行的数据 - 328 - 1-14）、两个集群之间复制数据 - 328 - 1-15）、查找日志 - 328 - 1-16）、杀掉进程 - 328 - 1-17）、hdfs dfsadmin 常用命令 - 329 - 1-18）、查看blocks的信息 - 330 - 1-19）、显示文件的尾部 - 331 - 1-20）、显示文件系统，文件系统大小，已用空间，可用空间和已使用百分比 - 331 - 1-21）、archive压缩文件 - 332 - 1-22）、数据平衡 - 332 - 1-23）、查看Hadoop的版本 - 333 - 图实例 - 333 - 1-1）、Datanode信息 - 333 - 1-2）、Nodes信息 - 333 - 1-3）、SecondaryNameNode 信息 - 334 - HDFS误删除恢复方法 - 334 - 1-1） 、通过垃圾箱恢复 - 335 - A） 、准备数据 - 335 - B）、对文件进行删除 - 335 - C）、恢复删除的数据 - 335 - D）、查看配置 - 336 - 1-2）、通过快照恢复 - 336 - A）、创建目录和文件 - 336 - B）、创建快照 - 336 - C）、删除文件 - 336 - D）、恢复文件 - 337 - JAVA操作HDFS - 337 - 1-1） 、环境的准备 - 337 - 1-2） 、代码实现 - 337 - A）、文件的增删改查 - 337 - B）、通过流的方式访问Hdfs - 341 - Hadoop MapReduce 实例 - 343 - 1-1）、Linux 实例 - 343 - A）、Map端代码 - 344 - B）、Reduce 端代码 - 345 - C）、Client 端代码 - 346 - D）、上传到Linux - 347 - E）、运行wordcount - 347 - F）、查看信息 - 348 - 1-2）、windows 上开发(是单机版程序) - 348 - A）、Map端代码 - 349 - B）、Reduce 端代码 - 350 - C）、Client 端代码 - 351 - D）、查看运行过程 - 352 - 1-3）、windows下向Linux集群提交代码 - 352 - 1-1）、客户端修改为 - 352 - 1-2）、在加上root的权限 - 354 - 1-3）、查看运行过程 - 354 - Hadoop 其他总结 - 355 - 1-1）、Shuffer 概念 - 355 - 1-2）、文件的切片 - 355 - Hadoop 优化总结 - 355 - 1-1）、hadoop 优化思路 - 355 - A）、硬件方面 - 355 - B）、Linux 方面优化 - 356 - 1-2）、集群典型的节点分配 - 356 - Hadopo 集群测试工具 - 357 - 1-1）、软件下载 - 357 - 1-2）、使用方法 - 357 - A）、进入到PageRank的目录 - 357 - B）、执行脚本 - 357 - C）、查看生成的数据 - 358 - 基于HDP2.6.0.3-8的Hadoop TestDFSIO、mrbench和nnbench是三个广泛被使用的测试 - 359 - 1-1）、Hadoop Test 的测试 - 359 - A）、进入的目录 - 359 - B）、查看参数 - 359 - 1-2）、TestDFSIO write的性能测试 - 359 - A）、查看参数 - 360 - B）、运行实例 - 360 - C）、查看数据 - 360 - D）、查看执行的结果 - 360 - 1-3）、TestDFSIO Read的性能测试 - 360 - A）、运行命令 - 361 - B）、查看运行的情况 - 361 - 1-4）、清空测试数据 - 361 - 1-5）、查看hadoop文件系统 - 362 - 1-6）、nnbench 测试 [NameNode benchmark (nnbench)] - 362 - A）、查看nnbench选项 - 362 - B）、运行命令 - 362 - C）、查看结果 - 362 - 1-7）、mrbench测试[MapReduce benchmark (mrbench)] - 363 - A）、查看帮助 - 363 - B）、下面的例子会运行一个小作业2次 - 363 - Hive 总结 - 364 - 概述 - 365 - 外部表与内部表的区别 - 365 - 特性 - 365 - 1-1）、 可扩展 - 365 - 1-2）、延展性 - 365 - 1-3）、容错 - 366 - 安装Hive - 366 - 1-1）、安装 - 366 - 1-2）、修改快捷方式 - 366 - 1-3）、解决JAR冲突的问题 - 366 - 1-4）、本地储存元数据 - 366 - A） 、复制配置文件 - 366 - B）、运行Hive - 366 - C）、查看默认的保存路径 - 368 - 1-5）、MySql储存元数据 - 369 - A）、前提是需要安装Hadoop集群与Mysql - 369 - B）、在/etc/profile中配置路径 - 369 - C）、修改配置文件 - 369 - D）、运行Hive - 370 - E）、在MySql 上查看元数据的信息 - 372 - F）、导入mysql包 - 373 - Hive的初级应用 - 373 - 1-1）、插入普通的数据 - 373 - 1-2）、 SQL执行方式 - 374 - A）、查看帮助 - 374 - B）、hive -e 命令的使用 - 374 - C）、静音模式 - 375 - D）、附加文件的形式 - 375 - E）、env命名空间可作为向Hive传递变量的一个可选的方式 - 375 - 1-3）、外部表数据（使用hdfs上传数据） - 376 - A）、查看表的字段信息 - 376 - B）、查看执行结果 - 376 - 1-4）、内部表数据(使用hive 的命令导入与导出数据) - 377 - A）、查看表的结构 - 377 - B）、准备数据 - 377 - C）、本地和HDFS把数据导入到Hive中 - 377 - D）、把数据导出的本地 - 378 - E）、把数据导出到HDFS - 379 - F）、导出到另外一张表中 - 380 - 1-5）、HIVE 加载SQL文件的形式执行脚本 - 380 - A） 、写配置文件 - 380 - B）、写SQL文件 - 380 - C）、测试结果 - 381 - 1-6）、查看创建表的属性信息 - 382 - 1-7）、Hive 命令外部传参 - 383 - A）、传一个参数实例 - 383 - B）、带多个参数的实例 - 383 - 1-8）、Insert into 与Insert overwrite的区别 - 384 - A）、查看元数据 - 384 - B）、overwrite 插入数据 - 384 - C）、into 插入数据 - 385 - D）、两者的区别 - 386 - 1-9）、在当前Hive模式下查看HDFS中文件的信息 - 386 - Hive 高级应用 - 386 - 1-1）、表分区 - 386 - A）、准备数据 - 386 - B）、创建表分区 - 386 - C）、上传数据 - 387 - D）、查看数据 - 388 - E）、查看HDFS结果 - 389 - F）、查看分区 - 390 - 1-2）、创建外部表 - 390 - 1-3）、数据的压缩 - 391 - 1-4）、复制表 - 391 - 1-5）、创建分桶表 - 392 - A）、创建分桶表 - 392 - B）、插入数据 - 393 - C）、查看数据 - 393 - 1-6）、创建表常用命令 - 394 - A）、CREATE TABLE - 394 - B）、EXTERNAL - 394 - C）、STORED - 395 - D）、CLUSTERED BY - 395 - 1-7）、DDL 其他操作 - 395 - A）、增加/删除分区 - 395 - B）、重新命名 - 396 - C）、增加/更新列 - 396 - 1-8）、DML 其他操作 - 396 - A）、Load 的使用 - 396 - B）、INSERT 的使用 - 397 - C）、SELECT 的使用 - 397 - 1-9）、查看函数命令 - 398 - 保存select查询结果的几种方式 - 405 - 1-1）、将查询结果保存到一张新的hive表中 - 405 - 1-2）、将查询结果保存到一张已经存在的hive表中 - 406 - 1-3）、将查询结果保存到指定的文件目录（可以是本地，也可以是hdfs） - 406 - JOIN的使用 - 407 - 1-1）、数据的准备 - 407 - 1-2）、数据的查询 - 407 - Hive 常用函数的使用 - 409 - 1-1）、Split 的使用 - 409 - 1-2）、Get_json_object的使用 - 410 - 1-3）、更多函数的使用 - 410 - Hive 查找需要的配置信息 - 410 - A）、查找带有关键字warehouse的属性信息 - 410 - B）、查找带有关键字thread的属性信息 - 411 - Hive 参数优化说明 - 411 - Hive 性能优化 - 412 - 1-1）、有小表链接大表时 - 412 - 1-2） 、对分桶的表 - 413 - Hive Shell 参数的使用 - 413 - 1-1）、Hive 的参数 - 413 - 1-2）、添加以下的参数 - 413 - Hive列存储简介 - 414 - 创建表 - 414 - 1-1）、orc详解 - 414 - A）、创建表并插入数据 - 414 - B)、查看数据 - 414 - C)、查看hadoop上的数据 - 414 - 1-2）、parquet详解 - 415 - A）、创建表并插入数据 - 415 - B）、创建parquet格式的数据表 - 415 - C）、查看hadoop上的数据 - 416 - Hive行转列 - 416 - 1-1） 、需求 - 416 - 1-2） 、实现思路 - 416 - A）、创建表 - 416 - B）、加载数据 - 417 - C）、explode 实现行转列 - 417 - Hive Web图形界面安装 - 417 - 1-1）、下载hive的源码 - 417 - 1-2）、修改配置文件 - 417 - 1-3）、添加JAR - 418 - 1-4）、启动命令 - 418 - 1-5）、查看web界面 - 418 - Hive与Tez结合 - 418 - 1-1）、安装编译Tez需要的软件 - 418 - A）、安装protobuf xz - 419 - B）、安装Tez - 419 - C）、安装mvn - 419 - 1-2）、对Tez进行打包 - 419 - 1-3）、把JAR包上传到HDFS中 - 420 - 1-4）、修改Hive下的hive-site.xml - 420 - 1-5）、解压出编译后的文件 - 420 - 1-6）、在hive-env.sh中添加如下配置 - 420 - 1-7）、配置相关的JAR - 421 - 1-8）、tez-0.5.4的bin/hive-config.sh中加入lzo - 421 - 1-9）、在tez-0.5.4的bin/hive-config.sh中加入以下配置 - 421 - 1-10）、查看效果 - 421 - Beeline 链接Hive - 422 - 1-1）、修改hive-site.xml - 422 - 1-2）、启动hiveserver2 - 423 - 1-3）、查看运行的端口 - 423 - 1-4）、使用beeline嵌入链接客户端 - 423 - 1-5）、使用beeline远程链接客户端 - 424 - DBeaver 4.0 链接Hive 工具 - 424 - 1-1）、软件下载 - 424 - 1-2）、链接Hive - 424 - 1-3）、查看Hive信息 - 427 - Hive 常见错误 - 427 - 1-1）、字符问题 - 427 - 1-2）、找不到spark的JAR错误 - 428 - 1-3）、查看表结构时出现中文乱码 - 428 - Hive数据导出与导入方案 - 428 - 1-1）、Hive 导入到Hbase - 428 - 1-2）、Hive 导入到Mysql - 429 - A）、使用sqoop导数据 - 429 - 1-3）、Hive 导入到Redis - 429 - A） 、编写Hive读取数据语句 - 429 - B）、查看导出HDFS中的结果 - 430 - C）、查看redis结果 - 430 - D）、查看输出的Log日志 - 430 - 1-4）、Hive导入到ES - 431 - A）、下载相对应的JAR - 431 - B）、创建hive-es外部表 - 431 - C）、插入数据 - 431 - Flume 总结 - 432 - 概述 - 433 - 运行机制 - 433 - 架构设计要点 - 435 - Flume安装 - 435 - 1-1）、安装 - 436 - 1-2）、修改配置文件 - 436 - 1-3）、添加快捷方式 - 436 - 1-4）、常见的命令 - 436 - 1-5）、启动程序 - 437 - A）、前段启动 - 437 - B）、后端启动 - 437 - Flume 运行实例 - 438 - 1-1）、本地控制台案例 - 438 - A）、配置 - 438 - B）、启动flume-ng - 438 - C）、使用telnet 测试 - 440 - 1-2）、本地单机HDFS测试案例 - 441 - A）、配置 - 441 - B）、测试 - 442 - 1-3）、采集文件目录 - 443 - A）、配置 - 443 - B）、启动 - 444 - C）、查看效果 - 445 - 1-4）、两个机器连接 - 446 - A）、hadoop1配置 - 446 - B）、hadoop2配置 - 447 - C）、测试 - 447 - 1-5）、多机测试实例（高可用配置） - 448 - A）、配置 - 449 - B）、启动 - 452 - C）、测试 - 454 - 1-6）、配置详解 - 456 - A）、Exec方式保存到Kafka - 456 - B）、Netcat 模式 - 456 - Azkaban 总结 - 457 - 概述 - 458 - 其他调度器对比 - 459 - 为什么需要工作流调度系统 - 459 - 实现的方式 - 459 - Azkaban安装 - 459 - 1-1）、安装 - 460 - 1-2）、创建数据库 - 460 - 1-3）、创建SSL配置 - 461 - 1-4）、配置时区 - 462 - 1-5）、修改文件 - 464 - A）、修改azkaban-web-2.5.0文件 - 464 - B）、azkaban-web-2.5.0 文件 - 465 - C）、azkaban-executor-2.5.0文件 - 465 - 1-6）启动 - 466 - A）、启动executor服务器 - 466 - B）、启动Web服务器 - 466 - C）、后端启动 - 467 - D）、错误处理 - 467 - E）、访问 - 467 - Azkaban 实例 - 468 - 1-1）、创建job描述文件 - 468 - 1-2）、Command类型多job工作流flow - 472 - A）、创建文件夹 - 472 - B）、在win上写脚本 - 472 - C）、打成一个压缩包 - 473 - D)、查看执行结果 - 473 - 1-3）、HDFS操作任务 - 473 - A）、配置文件 fs.job - 473 - B）、打包成zip文件 - 473 - C）、查看结果 - 473 - 1-4）、MapReduce任务 - 474 - A）、上传文件 - 474 - B）、写配置文件mapReduce.job - 474 - C）、打包成zip文件 - 474 - D）、查看结果 - 474 - 1-5）、Azkaban与Hive - 475 - A）、执行显示数据库 - 475 - B）、复杂的hive操作 - 476 - Sqoop总结 - 480 - 概述 - 481 - 工作机制 - 481 - sqoop安装 - 482 - 1-1）、下载并解压 - 482 - 1-2）、修改配置文件 - 482 - 1-3）、加入mysql的jdbc驱动包 - 482 - 1-4 ) 、启动 - 482 - Sqoop的数据导入 - 483 - 表数据 - 483 - 导入到HDFS默认目录 - 483 - 1-1 )、 导入数据 - 483 - 1-2）、查看数据 - 484 - 导入到HDFS指定目录 - 485 - 1-1）、导入数据 - 485 - 1-2）、查看数据 - 485 - 导入关系表到HIVE - 486 - 1-1）、导入数据 - 487 - 1-2）、查看数据 - 488 - 按照条件导入数据 - 488 - 1-1）、Where 条件查询 - 488 - 1-1）、Select 查询 - 489 - 增量导入 - 491 - 1-1）、导入数据 - 491 - 1-2）、查看数据 - 491 - 1-3）、按照时间增将导入数据 - 492 - Sqoop的数据导出 - 492 - 1-1）、导出数据 - 493 - 1-2）、查看数据 - 493 - Sqoop 常用Mysql操作语句 - 495 - 1-1）、查看mysql有多少个数据库 - 495 - 1-2）、查看某一个数据库下的表 - 495 - 1-3）、将mysql表中的表结构复制到Hive表中 - 495 - 1-4）、将mysql中的数据导入到hive中 - 495 - 1-5）、将hive中的表数据导入到mysql中 - 495 - Sqoop作业 - 496 - 1-1）、创建作业 - 496 - 1-2）、验证作业 - 496 - A）、 job --list 验证 - 496 - B）、show jobName 验证 - 496 - 1-3）、执行作业 - 498 - 1-4）、查看数据 - 498 - Hbase总结 - 499 - 概述 - 500 - Hbase特点 - 501 - 行的特点 - 501 - 表结构逻辑图 - 501 - Row Key 的设计 - 502 - hbase的预分区设计以及热点问题 - 503 - 列族 - 504 - 时间戳 - 504 - Hbase集群搭建 - 505 - 1-1）、环境搭建 - 505 - A）、准备zookeeper环境 - 505 - B）、安装Hbase - 505 - C）、修改配置文件 - 506 - 1-2）、拷贝hbase到其他节点 - 507 - 1-3）、同步时间 - 507 - 1-4）、启动所有的Hbase进程 - 507 - 1-5）、查看进程 - 508 - 1-6）、查看信息 - 508 - 1-7）、其他启动HMaster的方式 - 513 - 基本的SHELL命令（ruby语言） - 513 - 查看帮助信息 - 513 - A）、简单语句操作 - 516 - 1-1）、创建表 - 516 - 1-2）、添加数据 - 517 - 1-3）、查看表中的数据 - 517 - 1-4）、获取列族中的数据 - 517 - 1-5）、关闭表 - 518 - 1-7）、删除表 - 518 - 1-8）、查看表的前五个ROWKEY的数据 - 518 - 1-9）、按照个数查询数据的总个数(现在是按照1000000统计一次) - 518 - 1-10）、清空一个表 - 519 - 1-11）、按照过滤条件查找数据 - 519 - B）、复杂语句操作 - 520 - 1-1）、创建表 - 520 - 1-2）、插入数据 - 520 - 1-3）、获取指定行为row1的数据 - 520 - 1-4）、查看整个表的数据 - 521 - 1-5）、删除某一个列族中的某一个条件的数据 - 522 - 1-6）、精确删除某一列族中的某一个数据 - 523 - 1-7）、清空表中的数据 - 523 - 1-8）、暂停时用某个表 - 523 - 1-9）、为某一个表增加列族 - 524 - 1-10）、启动某个表 - 524 - 1-11）、删除表 - 524 - C）、查看zookeeper保存的表的信息 - 524 - D）、查看HDFS上的Hbase保存的数据 - 525 - E）、把Hbase的信息导出到HDFS中 - 526 - F）、查看集群的状态 - 526 - G）、查看当前Hbase的版本 - 526 - H）、查看当前登录的用户信息 - 526 - I）、disable相匹配的表 - 526 - J）、删除所有的表 - 526 - K）、开启所有的表 - 527 - L）、常用Hbase命令总结 - 527 - M）、修改表的名字 - 527 - Hbase 插入大量数据脚本 - 527 - 1-1）、手动创建Hbase表 - 527 - 1-2）、编写Hbase的put数据的脚本 - 527 - 1-3）、编写hbase的scan脚本 - 528 - HBase集群数据迁移方案 - 528 - 1-1）、静态迁移方案 - 528 - A） 、在hbase停止的状态下进行数据的迁移。 - 528 - B）、采用Hadoop distcp方式，将以上目录的内容，迁移到另一个集群。 - 528 - C）、在新集群中执行修复数据 - 528 - 1-2）、动态迁移方案 - 529 - A）、Replication备份方案 - 529 - B）、CopyTable方案 - 529 - C）、Export and Import方案 - 529 - 1-3）、手动方式 - 530 - A） 、从源HBase集群中复制出HBase数据表表到本地目录 - 530 - B）、scp到新的集群中 - 530 - C）、目标HBase导入 - 530 - D）、修复.META.表 - 530 - E）、重新分配数据到各RegionServer - 530 - F）、优缺点 - 530 - HBase Snapshot进行快照备份 - 531 - 1-1）、修改配置 - 531 - 1-2）、好看数据 - 531 - 1-3）、snapshot 操作 - 531 - 1-4）、列出当前所有得快照 - 531 - 1-5）、基于快照，clone一个新表 - 532 - 1-6）、删除快照信息 - 532 - 1-7）、基于快照恢复表 - 532 - 1-8）、快照复制到其他的集群中 - 532 - Hbase代码开发 - 532 - 1-1）、基本增删改查java实现 - 532 - 1-2）、过滤器查询 - 543 - 1-3）Hbase的过滤器分类 - 544 - A）、比较过滤器 - 544 - B）、专用过滤器 - 544 - hbase内部原理 - 549 - 1-1）、系统架构 - 549 - A）、Client - 549 - B）、Zookeeper - 549 - C）、Master职责 - 549 - D）、Region Server职责 - 550 - 1-2）、物理存储 - 550 - A）、整体结构 - 550 - B）、Srore File & HFile结构 - 551 - C）、Memstore与Storefile - 552 - D）、HLog(WAL log) - 552 - 寻址机制 - 553 - 1-1）、寻址示意图 - 553 - 1-2）、-ROOT-和.META.表结构 - 553 - 1-3）、寻址流程 - 554 - 1-4）、读写过程 - 555 - A）、读请求过程： - 555 - B）、写请求过程： - 555 - Region管理 - 556 - 1-1）、Region分配 - 556 - 1-2）、Region server上线 - 556 - 1-3）、Region server下线 - 556 - 1-4）、Master工作机制 - 556 - A）、master上线 - 556 - B）、master下线 - 557 - Hbase高级应用 - 557 - 1-1）、建表高级属性 - 557 - A）、BloomFilter默认是NONE 是否使用布隆过虑及使用何种方式 - 557 - B）、Version 的版本 - 558 - C）、Compression 命令 - 558 - D）、Alter 命令 - 558 - E）、TTL 命令 - 559 - F）、Describe 命令 - 559 - G）、Disable_all 命令 - 559 - H）、Drop_all 命令 - 559 - F）、Hbase 表分区 - 560 - 1-2）、hbase应用案例看行键设计 - 562 - A）、列族数量的设定 - 562 - B）、行键的设计 - 562 - 1-3）、Hbase和Mapreduce结合 - 562 - 1-4）、从Hbase中读取数据、分析，写入Hdfs - 563 - 1-5）、从Hdfs中读取数据写入Hbase - 565 - 1-6）、Coprocessor -- 协处理器 - 567 - A）、Observer协处理器 - 567 - 1-4）、Observer应用场景示例 - 568 - 1-7、二级索引 - 569 - A）、row key 索引 - 569 - B）、 按索引查询种类建立组合索引 - 569 - C）、利用Observer自动维护索引表示例 - 570 - 1-8）、编写自定义RegionServer - 571 - A）、编写代码 - 571 - B）、上传HDFS - 572 - C）、修改注册器 - 572 - D）、检查是否注册成功 - 573 - YCSB 测试HBase的性能 - 573 - 1-1）、软件下载 - 573 - 1-2）、使用请查看 - 573 - 1-3）、测试步骤 - 574 - A）、清除前查看内存 - 574 - B）、执行清除 - 574 - C）、清除后查看 - 574 - D）、创建hbase表 - 574 - E）、编写脚本 - 574 - F）、查看结果 - 574 - Hbase 常见错误问题 - 575 - 1-1）、Hbase日志频繁flush - 575 - A）、查看日志 - 575 - B）、调整如下参数 - 576 - C）、调参说明 - 576 - Phoenix映射Hbase数据表 - 576 - 1-1）、创建内部表 - 576 - A）、创建Hbase表 - 577 - B）、Hbase表插入数据 - 577 - C）、查看数据 - 577 - D）、创建Phoenix表 - 577 - E）、查看phoenix数据 - 577 - F）、获取更多帮助 - 578 - 1-2）、创建视图 - 578 - A）、创建Hbase表 - 578 - B）、插入数据 - 578 - C）、phoenix映射Hbase中的表 - 578 - D）、查询phoenix中的数据 - 578 - Hbase数据质量检查 - 579 - 1-1）、检查HBase集群是否损坏 - 579 - 1-2）、使用Hbase的-details选项将报告更多细节 - 579 - 1-3）、检测某个表的健康情况 - 580 - Hbase导数据的几种方式 - 580 - 1-1）、hive-hbase-handler导数据 - 581 - A）、反编译JAR包 - 581 - B）、修改配置文件 - 581 - C）、创建Hive的表结构 - 581 - D）、插入数据 - 581 - E）、查看Hive中的数据 - 581 - F）、映射Hbase的表 - 582 - A）、常见内表 - 582 - B）、创建外表 - 582 - G）、查看HBase中表结构 - 582 - H）、插入到映射Hbase表中的数据 - 582 - I）、查看映射表的数据 - 583 - J）、查看Hbase表中的数据 - 583 - K）、映射Hbase已经存在的表 - 583 - L）、查看Hive表中的结构 - 584 - M）、查看数据 - 584 - N）、总结 - 584 - O）、官网说明 - 584 - P）、增量更新与增量更新的说明 - 584 - Q）、Hive 读取Hbase数据的说明 - 584 - 1-2）、Bulkload方式导数据 - 585 - A）、按照需要的数据的字段把数据导出到HDFS中 - 585 - B）、利用importtsv命令生成Hfile文件 - 586 - C）、查看Hbase中的表 - 586 - D）、把Hfile文件导入到Hbase中 - 586 - E）、总结 - 586 - 1-3）、Phoneix导入Hbase数据 - 587 - A）、安装Phoneix - 587 - B）、启动Phoneix - 587 - C）、修改超时时间 - 588 - D）、Phoneix常用命令 - 589 - 1-1）、查看全部的表的信息 - 589 - 1-2）、查看一个表的结构 - 589 - 1-3）、删除表 - 589 - 1-4）、查询语句 - 590 - 1-5）、Phoenix支持的类型 - 590 - 1-6）、常用的函数 - 590 - E）、往Hbase中导入数据 - 592 - 1-1）、数据从hive中导出成phoenix支持的csv格式 - 592 - 1-2）、查看HDFS上的信息 - 592 - 1-3）、在phoenix中创建表 - 592 - 1-4）、使用phoenix将数据导入hbase - 592 - 1-4）、Hbase导出数据 - 592 - A） 、导成制定格式的文件 - 592 - B）、Import/Export导出到序列化的文件 - 593 - 1-1）、构造数据 - 593 - 1-2）、导出数据 - 594 - 1-3）、查看HDFS上的数据 - 594 - 1-4）、清空表中的数据 - 594 - 1-5）、导入数据 - 594 - 1-6）、查看Hbase导入后的数据 - 595 - C）、利用pig从HBase中导出csv格式文件 - 595 - 1-1）、安装pig - 595 - 1-2）、修改配置文件 - 595 - 1-3）、查看Pig是否能使用 - 595 - 1-4）、使用pig导出csv文件 - 596 - 1-5）、运行脚本 - 596 - D）、使用Phoenix 导出csv文件 - 596 - 1-1）、准备脚本 - 596 - Storm 总结 - 597 - 概括 - 598 - Storm是什么 - 599 - 实时计算与离线计算的区别 - 599 - Storm 的使用场景 - 599 - Storm 组件之间的角色详解 - 599 - Storm 的分组 - 600 - KafkaSpout 负载均衡的概念 - 601 - 实时平台架构介绍 - 601 - 流式计算整体结构 - 602 - Storm通信机制 Disruptor - 603 - ACK 的总结 - 603 - 1-1)、ACK 是什么？ - 603 - 安装Storm - 604 - 1-1 ) 、安装 - 604 - 1-2）、修改配置文件 - 604 - A）、修改storm.yaml - 604 - B）、传送安装包 - 605 - C）、是配置生效 - 605 - D）、查看storm版本 - 605 - E）、查看storm支持的命令 - 605 - 1-3）、启动集群 - 606 - A）、前端启动 - 606 - B）、后端启动 - 607 - 1-4）、查看信息 - 607 - A） 、进程信息 - 607 - B）、UI 界面查看 - 608 - C）、Zookeeper界面 - 609 - D）、日志目录 - 609 - 1-5）、Strom一键启动脚本 - 610 - Storm常用操作命令 - 611 - 1-1）、Storm 自带的JAR实例 - 611 - A）、查看运行的实例 - 611 - B）、查看详细的信息 - 611 - C）、查看Zookeeper的包存的信息 - 613 - 1-2）、杀死任务命令格式 - 613 - 1-3）、停用任务命令格式 - 613 - 1-4）、启用任务命令格式 - 614 - 1-5）、重新部署任务命令格式 - 614 - 1-6）、Spout与 Bolt 的生命周期 - 614 - 1-7）、StreamGrouping源码解析 - 614 - Storm 组件本地目录树 - 617 - Strom Zookeeper目录树 - 618 - Wordcounter单词计数器的设计思路 - 618 - Strom 整体结构图示图总结 - 625 - Supervisor启动worker,worker启动task的exector - 627 - 1-1）、查找supervisor 类 - 627 - 1-2）、类中的方法 - 628 - 1-3）、main 方法如下所示 - 629 - 1-4）、查看supercisor方法的run方法 - 630 - 1-5）、查看初始化Supervisor找到mkSupervisor方法，查看启动的顺序 - 631 - 1-6）、查看SyneSupervisorEvent 方法，可以看出做了大量的初始化的工作 - 631 - 1-7）、查看SyneSupervisorEvent 中的run方法 - 632 - 1-8）、查看worker中运行的方法 - 632 - 1-9）、查看main方法中的信息 - 633 - 1-10）、SyncProcessEvent 的run方法代表了watch被触发，开始分配任务 - 634 - 1-11）、启动的 startNewWorkers 的信息 - 635 - 1-12）、接下来就是拼接命令的程序，方法launchWorker - 635 - 1-13）、通过process启动java -server - 636 - 1-14）、在Worke中创建Task的过程 - 636 - 1-15）、进入Task类查看run方法 - 637 - 1-16）、Task 创建Exector 的过程 - 638 - Spout 和Bolt Executor 执行器的过程 - 639 - 1-1）、BoltExecutors 的创建 - 639 - 1-2）、查看BoltExecutors类 - 639 - 1-3）、查看SingleThreadSpoutExecutor类的run方法 - 640 - Storm 优化方向 - 641 - Storm 常见问题总结 - 642 - 1-1）、为什么有Storm - 642 - 1-2）、Storm有什么特点 - 642 - 1-3）、离线计算与实时计算的区别 - 642 - 1-4）、Storm架构中的核心组件 - 642 - 1-5）、Storm编程模型是什么 - 642 - 1-6）、为什么有StreamGrouping,常用分组策略 - 642 - 1-7）、Wordcount中都用到什么技术点 - 642 - 1-8）、Tuple是什么 - 643 - 1-9）、Storm的并行度是什么 - 643 - 1-10）、梳理实时业务指标项目 - 643 - 1-11）、redis数据结构的运用： - 643 - 1-12）、Redis的Key如何设计？ - 643 - 1-13）、参照文档搭建storm集群 - 643 - Kafka总结 - 644 - 概述 - 645 - JMS 的概念 - 645 - JMS消息传输模型 - 645 - JMS核心组件 - 645 - 常见的类JMS消息服务器 - 646 - 为什么需要消息队列（重要） - 646 - Kafka名词解释和工作方式 - 646 - Kafka 的核心组件 - 647 - Kafka 丢数据的原因以及解决方法 - 647 - Kafka数据重复消费，该如何去重 - 648 - Kafka Consumer的负载均衡 - 648 - kafka文件存储机制 - 649 - Kafka集群部署 - 650 - 1-1）、安装软件 - 651 - 1-2）、修改配置文件 - 651 - A）、配置 server.properties - 651 - B）、配置 consumer.properties - 654 - C）、配置 producer.properties - 656 - 1-3）、配置路径 - 659 - 1-4）、启动 Kafka - 659 - A）、前台启动 - 660 - B）、后台启动 - 660 - C）、查看进程 - 660 - D）、在Zookeeper上查看 - 661 - E）、启动脚本 - 662 - Kafka常用操作命令 - 663 - 1-1）、查看topic - 663 - 1-2）、创建topic - 663 - A）、参数说明 - 663 - B）、查看创建的数据 - 663 - C）、查看数据 - 664 - 1-3）、删除topic - 664 - 1-4）、通过shell命令发送消息 - 664 - 1-5）、通过shell消费消息 - 664 - 1-6）、查看消费信息 - 665 - A）、查看消费信息 - 665 - B）、web界面查看 - 665 - 1-7）、查看某个Topic的详情 - 667 - 1-8）、对分区数进行修改 - 667 - 1-9）、查看Topic消费的情况 - 667 - 1-10）、kafka平衡leader - 667 - Kafka流程详解 - 668 - KafkaOffsetMonitor监听工具 - 669 - A）、下载软件 - 669 - B）、修改文件信息 - 669 - C）、查看界面 - 670 - D）、查看KafkaOffsetMonitor保存到数据信息 - 671 - 问题总结 - 672 - 1-1）、kafka是什么? - 672 - 1-2）、为什么需要消息队列? - 672 - 1-3）、Kafka 生产的数据消费不了怎么办？ - 672 - 1-4）、kafka怎样保证不重复消费？ - 672 - 1-5）、Kafka数据丢失怎么办？ - 672 - A） 、丢失的原因 - 672 - B）、解决 - 672 - 1-6）、Kafka为什么高吐量 - 673 - Scala总结 - 674 - 概述 - 675 - 文件类型 - 675 - 环境安装 - 675 - 1-1）、安装JDK - 675 - 1-2）、安装scala - 675 - 1-3）、运行 - 675 - scala 基础 - 676 - 1-1）、声明变量 - 676 - 1-2）、表达式 - 677 - A） 、IF表达式 - 677 - B）、块表达式 - 678 - C）、For循环 - 678 - 1-3）、Scala运算符 - 679 - A）、实例一 - 679 - B）、实例二 - 679 - 1-4）、方法和函数 - 680 - A）、定义方法 - 680 - B）、定义函数 - 681 - C）、方法和函数的区别 - 682 - D）、将方法转换成函数（神奇的下划线）： - 683 - E）、函数与方法相互转换 - 683 - 1-5）、集合--映射 - 684 - A）、Array无泛型使用 - 684 - B）、Array 泛型使用 - 685 - C）、Array 操作 - 685 - D）、List 操作 - 686 - E）、Set 操作 - 687 - F）、HashMap 操作 - 688 - G）、集合小结 - 688 - H）、简单的单词统计 - 689 - 1-6）、元组 - 689 - A）、元组实例一 - 689 - B）、元组实例二 - 690 - C）、元组操作 - 690 - 1-7）、 类、对象、继承、超类 - 690 - A）、 类 - 690 - B）、 伴生类 - 691 - C）、 构造器 - 692 - D）、 对象 - 693 - E）、 apply方法 - 695 - F）、 继承 - 696 - G）、scala超类的实现 - 696 - 1-8）、 模式匹配 - 697 - A）、匹配字符串以及元组以及偏函数 - 697 - B）、类型匹配 - 698 - C）、集合匹配 - 699 - D）、option 匹配 - 700 - E）、偏函数 - 701 - Scala 在win下编译scala文件 - 701 - 1-1）、准备数据 - 701 - 1-2）、进行编译并查看结果 - 701 - IDEA开发Scala程序 - 702 - 1-1）、准备IDEA并安装scala插件 - 702 - 1-2）、创建scala项目 - 702 - 1-3）、把项目导出来运行 - 704 - 1-4）、运行查看效果 - 705 - Scala 的Actor 编程(也就是Akka的编程) - 705 - 实例一： - 706 - 实例二： - 707 - 实例三： - 708 - Scala 高级特性 - 709 - 1-1 )、函数的总结 - 709 - 1-2）、隐式转换 - 710 - A）、查看系统隐式的方法 - 710 - B）、查看scala.Predef下的隐式的方法 - 713 - C）、查看LowPriorityImplicits类下的隐式方法 - 713 - D）、代码实现 - 714 - 1-3）、柯里化 - 715 - 1-4）、泛型 - 716 - A） 、上界实例 - 717 - B）、视图界定实例 - 718 - C）、上下文界定 - 719 - Spark-shell 执行Helloword - 721 - 1-1）、查看启动过程日志信息 - 721 - 1-2）、查看成成的文件信息： - 721 - 1-3）、计算wordCount - 722 - 1-4）、查看spark默认的指定的分区数 - 722 - A）、指定分区数 - 722 - B）、没有指定分区数 - 722 - Wordcount 实例 - 723 - Scala 简单RPC实现 - 724 - 1-1）、图解 - 724 - 1-2）、初步实现 - 725 - A）、服务器端 - 725 - B）、客户端 - 726 - 1 - 3）、深入探究 - 728 - A）、服务器端 - 728 - B）、客户端 - 730 - C）、接口端 - 732 - D）、构造器端 - 732 - PageRank 算法计算权重 - 733 - Scala 面试题 - 734 - 1-1）、接口&类&APP;方法 - 734 - A）、接口 - 734 - B）、类 - 734 - C）、APP实现方法 - 734 - D）、结果 - 735 - E）、原因 - 735 - Spark总结 - 736 - Spark 集中运行的模式 - 737 - 概述 - 737 - 集群环境搭建 - 737 - 单机版配置spark集群 - 737 - 1-1）、安装spark - 737 - 1-2）、配置快捷方式 - 738 - 1-3）、修改配置文件 - 738 - 1-4）、传送到其他的机器上 - 738 - 1-5）、启动spark - 738 - 1-6）、查看spark信息 - 739 - 1-7) 、查看单机版图形界面 - 739 - 集群版搭建 - 740 - 1-1）、停止以上运行的spark - 740 - 1-2）、修改配置文件 - 740 - 1-3）、传送文件 - 740 - 1-4）、启动程序 - 741 - 1-5）、查看进程 - 741 - 1-6）、查看spark界面 - 741 - 1-7）、查看zookeeper信息 - 744 - 1-8）、启动脚本 - 744 - 运行实例 - 744 - 1-1）、启动程序 - 744 - 1-2）、执行wc程序 - 745 - 1-3）、查看HDFS信息 - 747 - 1-4）、spark-submit提交JAR运行在集群中实例 - 748 - Spark - submit 参数详解 - 748 - 1-1） 、运行实例 - 750 - Spark RDD实例详解 - 751 - 1-1）、读取文件详解 - 751 - WordCount 实例 - 751 - 1-1）、Win版Wordcount - 751 - 1-2）、集群版的Wordcount - 751 - A）、wordcount代码 - 751 - B）、执行程序 - 752 - C）、查看结果 - 752 - 1-3）、Java版WordCount - 753 - A）、代码实现 - 753 - B）、查看执行过程 - 755 - C）、查看执行后的结果 - 755 - Spark执行过程 - 756 - Spark计算模型 - 756 - 1-1）、RDD 总结 - 756 - RDD的属性 - 757 - 1-1）、一组分片 - 757 - 1-2）、一个计算每个分区的函数。 - 757 - 1-3）、RDD之间的依赖关系。 - 757 - 1-4）、一个Partitioner，即RDD的分片函数。 - 757 - 1-5）、储存位置 - 757 - 算子 - 758 - 1-1）、常用的常用的Transformation - 758 - A）、Transformation 实例 - 759 - 1-2） 、常用的Action - 761 - A）、Action实例 - 762 - 1-3）、RDD 的特点 - 762 - A）、练习RDD - 763 - B）、RDD 特点说明实例 - 767 - C）、RDD 分区问题 - 772 - RDD的依赖关系 - 774 - 1-1) 、窄依赖--没有进行Shuffer - 774 - 1-2）、宽依赖--进行Shuffer - 775 - 1-3）、Lineage - 776 - 1-4）、RDD的缓存 - 776 - 1-5）、RDD缓存方式 - 776 - DAG的生成 <-- 调用RDD的算子生成了RDD的数组 - 777 - WorkCount 图解 - 778 - 1-1 ) 、官方图解 - 778 - 1-2）、个人图解 - 779 - JAVA调用Scala实例 - 779 - Spark集群PageRank测试工具 - 781 - 1-1）、软件下载 - 781 - 1-2）、执行PageRank算法 - 781 - 1-3）、查看结果 - 782 - Spark-bench性能测试 - 783 - 准备环境 - 783 - 1-1）、清空缓存 - 783 - 1-2）、执行清除 - 783 - 1-3）、清除后查看 - 783 - 1-1）、下载 - 783 - 1-2）、测试MapReduce和HDFS的运行性能 - 784 - A）、修改KMeans配置 - 784 - B）、生成数据 - 784 - C）、运行run.sh - 784 - D）、查看输出数据 - 784 - 1-3）、测试Spark的运行性能 - 785 - A）、修改SVM配置 - 785 - B）、生成数据 - 785 - C）、数据检查 - 785 - D）、执行run.sh - 785 - Spark SQL 总结 - 786 - 概述 - 787 - 特点 - 787 - DataFrames - 787 - 概述 - 787 - 查询实例 - 787 - 1-1）、准备数据 - 787 - 1-2）、上传到HDFS上 - 788 - 1-3）、启动Spark - 788 - 1-4）、SQL常用RDD操作实例 - 788 - A）、常用函数操作 - 788 - B）、DSL风格语法 - 809 - C）、SQL风格语法 - 812 - 1-5）、多表联合查询实例 - 813 - A）、准备数据 - 813 - B）、Scala 代码 - 814 - C）、设置Log级别 - 815 - D）、运行结果（SQL结果） - 816 - 以编程方式执行Spark SQL查询 - 816 - 编写Spark SQL查询程序 - 816 - 1-1）、spark SQL执行实例 - 816 - 1-2 )、自定义表的字段信息 - 821 - 加载数据源的方式读取数据 - 822 - 1-1）、JDBC 加载数据 - 822 - 1-2）、从mysql中读取数据 - 822 - 1-3）、把数据保存到Mysql中 - 823 - Spark SQL 结合HIVE - 825 - 1-1）、创建数据 - 825 - 1-2）、复制配置文件 - 825 - 1-3）、启动spark - 825 - 1-4）、查看数据 - 826 - 1-5）、Scala 代码对Hive操作 - 827 - Spark -SQL 脚本执行SQL - 828 - 1-1）、启动命令 - 828 - 1-2）、查看MYSQL保存数据信息 - 829 - Spark-SQL 直接运行脚本 - 830 - 1-1）、准备变量数据 - 830 - 1-2）、查看还行过程 - 830 - Spark-Streaming 总结 - 833 - 官方文档 - 833 - 概述 - 834 - Spark Strraming 示意图展示 - 834 - 什么是DStream - 835 - 1-1） 、DStream相关操作 - 835 - 1-2）、Transformations on DStreams - 835 - 1-3） 、特殊的Transformations - 836 - Output Operations on DStreams - 837 - Spark Streaming实现实时WordCount - 838 - 1-1）、图解 - 838 - 1-2）、安装nc - 838 - 1-3）、常用的命令 - 839 - 1-4）、启动nc - 840 - 1-5）、代码实现 - 840 - 1-6）、查看结果 - 841 - 从TCP端口中读取数据，并对数据进行累加 - 842 - 准备JAR - 842 - 图解 - 842 - UpdateStateByKey 实现方式 - 843 - 1-1）、代码实现 - 843 - 1-2）、写入数据 - 844 - 1-3）、查看结果 - 844 - 1-4）、设置Log级别 - 845 - ReduceByKeyAndWindow 实现方式 - 845 - 1-1）、代码实现 - 845 - 1-2）、查看结果 - 846 - Spark 结合Flume - 847 - 1-1）、上传JAR包到FLume的lib下 - 847 - 1-2）、修改Flume配置文件 - 847 - 1-3）、启动Flume - 847 - 1-4）、准备Flume JAR - 848 - 1-5）、代码实现 - 848 - 1-6）、测试数据 - 849 - 1-7）、查看结果 - 849 - Spark 结合Kafka - 849 - 1-1）、启动Kafka - 849 - 1-2）、创建topic - 850 - 1-3）、查看所有的topic - 850 - 1-4）、查看topic的详情 - 850 - 1-5）、启动一个生产者发送消息 - 850 - 1-6）、启动一个消费者消费数据 - 850 - 1-7）、代码 - 851 - 1-8）、配置参数 - 852 - 1-9）、测试数据 - 852 - 1-10）、查看结果 - 852 - 1-11）、提交集群运行查看结果 - 853 - A）、运行程序 - 853 - Spark 结合Redis - 853 - 1-1）、创建Kafka 中的数据 - 853 - 1-2）、链接Redis - 855 - 1-3）、Redis 连接池 - 856 - Spark-Streaming 几种获取数据源的方式 - 856 - 1-1）、通过直连的方式查询数据 - 856 - 1-2）、通过端口的形式处理数据 - 856 - Spark 大数据处理技术总结 - 857 - 概述 - 857 - 第一章 - 857 - 1-1）、RDD的表达能力 - 857 - A） 、迭代运算 - 858 - B）、关系型查询 - 858 - C）、MapReduce批处理 - 858 - D）、流式计算 - 859 - 1-2）、Spark 子系统 - 859 - 1-3）、Spark 生态圈 - 859 - A）、Spark Core - 860 - B）、 Spark SQL - 860 - C）、 Spark Streaming - 860 - D）、GraphX - 861 - E）、MLib - 861 - 1-4）、Spark 生态系统特征 - 861 - 第二章 - 862 - 1-1）、Spark RDD及编程接口 - 862 - A） 、Spark 编程中的概念 - 862 - B）、上下文的初始化 - 863 - C）、Spark RDD - 863 - D）、创建操作 - 866 - 第三章 - 874 - 1-1）、Spark 运算模式及原理 - 874 - A）、Standalone模式 - 874 - B）、Yarn模式 - 875 - 详细如下 - 875 - 第四章 - 876 - 1-1）、Spark 调度管理原理 - 876 - A）、Spark调度的概念 - 876 - B）、作业调度模块逻辑概念 - 877 - 详细如下 - 878 - 第五章 - 878 - 1-1）、Spark 的储存管理 - 879 - A） 、储存管理的架构 - 879 - B）、Spark支持的持久化的选项 - 881 - 详细如下 - 883 - 第六章 - 884 - 1-1）、Stage界面 - 884 - A） 、正在运行的Stage(Action Stage) - 884 - B）、Stage 调度模式分为两种 - 885 - 1-2）、Storage界面 - 885 - 详细如下 - 886 - 第七章 - 886 - 1-1）、Spark架构与安装部署 - 886 - A）、OutOfMemory异常的处理方法 - 887 - B）、数据处理吞吐量低 - 887 - C）、Shark比Hive慢的查找原因 - 887 - 详细如下 - 888 - 第八章 - 888 - 1-1）、用户自定义函数 - 889 - 1-2）、CLI中的用户自定义函数扩展相关的命令 - 889 - 1-3）、UDF关键点说明 - 889 - 详细如下 - 889 - 第九章 - 890 - 1-1）、Spark SQL - 890 - A） 、SQL引擎的四个步骤 - 891 - B）、初始化 - 891 - C）、类型的转换 - 892 - D）、常用的方法 - 893 - 详细如下 - 894 - 第十章 - 895 - 1-1）、Spark Streaming - 896 - A）、输入源 - 896 - B）、actorStream - 896 - C）、转换操作 - 897 - D）、基于窗口的转换 - 897 - E）、 输出操作 - 898 - 1-2）、性能优化 - 898 - A）、运行时间优化 - 899 - B）、内存使用优化 - 899 - 详细如下 - 900 - Elasticsearch 总结 - 902 - 概述 - 903 - 特点 - 903 - Elasticsearch 安装 - 903 - 1-1）、安装 - 903 - 1-2）、创建用户与组 - 903 - 1-3）、切换用户 - 904 - 1-4）、查看进程 - 904 - 1-5）、安装Elasticsearch的插件 - 904 - A）、Elasticsearch-head安装 - 904 - B）、license 安装 - 905 - 1-6）、配置集群 - 905 - 1-7）、传送到其他的机器上 - 906 - 1-8）、修改配置文件 - 906 - 1-9）、运行Elasticsearch - 908 - A）、前台运行 - 908 - B）、后端运行 - 909 - C）、查看进程 - 909 - D）、查看界面 - 909 - 1-10）、停止ES - 910 - 1-11）、查看Zookeeper保存的信息 - 911 - 1-12）、一键启动脚本 - 911 - Curl 常用操作 - 912 - 1-1）、检测集群是否健康 - 912 - 1-2）、查看集群列表 - 912 - 1-3）、查看所有的索引 - 912 - 1-4）、创建索引 - 912 - 1-5）、插入数据 - 913 - 1-6）、获取数据 - 914 - 1-7）、删除索引 - 914 - 1-8）、修改数据 - 914 - 1-9）、更新数据 - 915 - 1-10）、删除数据 - 916 - 1-11）、批处理数据 - 916 - 1-12）、常见错误处理 - 917 - 代码实例 - 917 - 1-1）、实体类 - 917 - 1-2）、工具类 - 919 - 1-3）、工厂类 - 919 - 1-4）、主类 - 920 - 查看效果 - 924 - 查看保存的数据结构 - 926 - 查询语句 - 927 - 1-1）、精确查找 - 927 - 1-2）、模糊查找 - 927 - 1-3）、查找多个字段的数据 - 928 - 1-4）、我们希望完全匹配的文档占的评分比较高，则需要使用best_fields - 928 - 1-5）、多字段匹配 - 929 - 1-6）、我们会希望这个词条的分词词汇是分配到不同字段中的，那么就使用cross_fields - 929 - 1-7）、高亮设置 - 929 - 1-8）、URL 查询 - 930 - Elasticsearch 数据映射给Hive - 930 - 1-1）、下载相对应的JAR - 930 - 1-2）、加载JAR包 - 930 - 1-3)、映射数据 - 930 - 1-4）、查看数据 - 930 - elasticsearch-sql使用 - 931 - 1-1）、软件安装 - 931 - 1-2）、软件使用 - 931 - 1-3）、API 调用elasticsearch-sql - 931 - Logstash 总结 - 932 - 概述 - 933 - 特点 - 933 - 执行流程 - 934 - 安装Logstash - 934 - 1-1）、安装Logstash - 934 - 1-2）、Logstash查看帮助 - 934 - Kafka 实例 - 936 - 配置文件实例 - 937 - 1-1）、输入实例 - 937 - 1-2）、收集数据到Elasticsearch - 937 - 1-3）、收集数据到Kafka - 938 - 1-4）、Kafka收集数据到Elasticsearch - 939 - 1-5）、其他的配置 - 940 - A）、KafkaToES - 940 - B）、参数说明 - 941 - C）、配置实例 - 944 - 前台启动 - 944 - 后台启动 - 944 - 查看ES保存的数据 - 945 - Kibana 总结 - 946 - 概述 - 947 - 安装Kibana - 947 - 1-1）、安装Kibana - 947 - 1-2）、配置Kibana - 947 - 1-3）、设置快捷方式 - 947 - 启动 - 947 - 1-1）、前台启动 - 947 - 1-2）、后台启动 - 948 - 查看界面 - 948 - 1-1）、kibana 的界面 - 948 - 1-2）、Elasticsearch 的数据库的信息 - 949 - 1-3）、数据查看 - 950 - 查询数据 - 951 - 1-1）、查看数据 - 951 - 1-2）、增加索引 - 952 - 1-3）、出现了如图所示 - 953 - 1-4）、查看字段的属性信息 - 953 - 1-5）、查看字段的属性信息 - 954 - 1-6）、选择图标进行展示 - 955 - 1-7）、选择字段进行展示 - 956 - 1-8）、选择不同的图标进行展示 - 956 -

小徐历经呕血总结的Linux知识，简单实用，免费下载，文章中都是作者亲自实践的，使学习简单快乐，好玩

cronhub调度器需要的数据库，在此数据库中主要有daemon，task，task_record_done，task_record_undo表

nmon-analyser.zip

省市县SQL

CDH (Cloudera's Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。

OCR需要的包

memcache需要的JAR