- 博客(20)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 HBase读写流程
一、读流程1）Client先访问zookeeper，从meta表读取region的位置，然后读取meta表中的数据。meta中又存储了用户表的region信息；2）根据namespace、表名和rowkey在meta表中找到对应的region信息；3）找到这个region对应的regionserver；4）查找对应的region；5）先从MemStore找数据，如果没有，再到Block...
2018-11-24 23:34:47
257
1
原创 HBase简介
一、什么是HBaseHBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储。官方网站：http://hbase.apache.org– 2006年Google发表BigTable白皮书– 2006年开始开发HBase– 2008年北京成功开奥运会，程序员默默地将HBase弄成了Hadoop的子项目–...
2018-11-24 14:17:46
234
原创 Kafka概述
一、什么是Kafka在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。2）Kafka最初是由LinkedIn公司开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、...
2018-11-20 22:01:28
184
原创 Hadoop（MapReduce）
一、MapReduce定义MapReduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。二、MapReduce优缺点2.1 优点MapReduce 易于编程它简单的实现一些接口，就可以完成一个分布式程序，这个分...
2018-11-10 15:27:55
206
原创 MapReduce数据清洗
一、 简单解析版1.需求去除日志中字段长度小于等于11的日志。2.输入数据3.实现代码（1）编写LogMapperpackage com.bigdata.mapreduce.weblog;import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.N...
2018-11-08 23:28:06
3020
原创 HDFS概述
一、HDFS产生背景随着数据量越来越大，在一个操作系统管辖的范围内存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。二、HDFS概念HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，...
2018-11-05 20:42:06
333
原创 Linux 软件包管理
一 、 RPM（一）、RPM概述RPM（RedHat Package Manager），RedHat软件包管理工具，类似windows里面的setup.exe是Linux这系列操作系统里面的打包安装工具，它虽然是RedHat的标志，但理念是通用的。RPM包的名称格式Apache-1.3.23-11.i386.rpm-“apache” 软件名称-“1.3.23-11”软件的版本号，主...
2018-10-31 23:24:45
141
原创 Linux常用基本命令-文件权限类
一、文件属性Linux系统是一种典型的多用户系统，不同的用户处于不同的地位，拥有不同的权限。为了保护系统的安全性，Linux系统对不同的用户访问同一文件（包括目录文件）的权限做了不同的规定。在Linux中我们可以使用ll或者ls -l命令来显示一个文件的属性以及文件所属的用户和组。1．从左到右的10个字符表示，如下图所示：如果没有权限，就会出现减号[ - ]而已。从左至右用0-9这些数字来...
2018-10-30 23:22:38
283
原创 Linux常用基本命令-用户组管理命令
用户组管理命令每个用户都有一个用户组，系统可以对一个用户组中的所有用户进行集中管理。不同Linux 系统对用户组的规定有所不同，如Linux下的用户属于与它同名的用户组，这个用户组在创建用户时同时创建。用户组的管理涉及用户组的添加、删除和修改。组的增加、删除和修改实际上就是对/etc/group文件的更新。一、groupadd 新增组1．基本语法groupadd 组名2．案例实操（...
2018-10-30 22:50:02
232
原创 Linux常用基本命令-用户管理命令
一、 useradd 添加新用户1．基本语法useradd 用户名 （功能描述：添加新用户）useradd -g 组名 用户名 （功能描述：添加新用户到某个组）2．案例实操添加一个用户[root@hadoop101 ~]# useradd tangseng[root@hadoop101 ~]#ll /home/二、 passwd 设置用户密码1．基本语法passwd 用户...
2018-10-30 22:38:13
261
原创 Linux常用基本命令-时间日期类
时间日期类1．基本语法date [OPTION]… [+FORMAT]2．选项说明选项功能-d<时间字符串>显示指定的“时间字符串”表示的时间，而非当前时间-s<日期时间>设置系统日期时间3．参数说明参数功能<+日期时间格式>指定显示时使用的日期时间格式一、 date 显示当前时间1．基...
2018-10-30 22:26:11
232
原创 Linux常用基本命令-文件目录类
一、pwd 显示当前工作目录的绝对路径pwd:print working directory 打印工作目录1．基本语法pwd （功能描述：显示当前工作目录的绝对路径）2．案例实操显示当前工作目录的绝对路径[root@hadoop101 ~]# pwd/root二、 ls 列出目录的内容ls:list 列出目录内容1．基本语法ls [选项] [目录或是文件]2．选项说明...
2018-10-30 22:15:40
757
原创 Linux常用基本命令-帮助命令
一、man获得帮助信息1.基本语法man [命令或配置文件] （功能描述：获得帮助信息）2．显示说明信息功能NAME命令的名称和单行描述SYNOPSIS怎样使用命令DESCRIPTION命令功能的深入讨论EXAMPLES怎样使用命令的例子SEE ALSO相关主题（通常是手册页）3．案例实操（1）查看ls命令的帮助信息[roo...
2018-10-30 21:14:19
174
原创 VI/VIM编辑器
一、VI/VIM是什么VI是Unix操作系统和类Unix操作系统中最通用的文本编辑器。VIM编辑器是从VI发展出来的一个性能更强大的文本编辑器。可以主动的以字体颜色辨别语法的正确性，方便程序设计。VIM与VI编辑器完全兼容。二、测试数据准备拷贝/etc/smartd.conf数据到/root目录下[root@hadoop100 桌面]# cp /etc/smartd.conf /root...
2018-10-29 23:03:14
201
1
原创 IntelliJ IDEA 常见设置
（一）全局默认设置或者（二）普通设置说明（三）显示工具栏图标（四）查看项目配置或者（五）更改字体大小通过ctrl+鼠标滚轮（六）代码提示不区分大小写（七）修改主题修改主题主题下载：http://www.riaway.com/导入主题：file –&amp;amp;amp;gt; import setttings –&amp;amp;amp;gt; 选中下
2018-10-28 22:23:15
1937
1
原创 C语言入门day01
前言：刚接触一门语言的时候，可能觉得语法诡异没法理解，不过不要紧，学语言最忌讳纠结于语法，先记下来，码就完了！一、软件安装编译器个人比较喜欢用C-Free5，界面简洁，对于初学者友好。软件：http://www.programarts.com/cfree_ch/download.htm安装教程：https://blog.csdn.net/a1585570507/article/de...
2018-10-26 22:22:02
250
原创 SpringBoot制定自己的标识
原始标识 . ____ _ __ _ _ /\\ / ___'_ __ _ _(_)_ __ __ _ \ \ \ \( ( )\___ | '_ | '_| | '_ \/ _` | \ \ \ \ \\/ ___)| |_)| | | | | || (_| | ) ) ) ) ' |____| .__|_| |_|_| |_\_...
2018-10-24 19:22:55
541
2
原创 Spring Security
案例：1）创建工程SpringSecurityDemopom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sche...
2018-10-23 22:36:11
147
2
原创 AngularJS四大特征
1．MVC模式Angular遵循软件工程的 MVC模式,并鼓励展现，数据，和逻辑组件之间的松耦合.通过依赖注入（dependency injection），Angular为客户端的 Web应用带来了传统服务端的服务，例如独立于视图的控制。因此，后端减少了许多负担，产生了更轻的 Web应用。Model:数据,其实就是 angular变量($scope.XX);View:数据的呈现,Ht...
2018-10-22 16:36:17
220
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人