
hadoop集群测试环境搭建
当下人生
越努力越幸运,知天命道自然
展开
-
centos7下调试集群三台机器实现免密登陆--hadoop安装系列之一
一、实验目标安装三台centos7虚拟机,组建hadoop实验集群,centos是从centos7官网下载的最新版本,默认系统安装,创建hadoop用户组,新建用户hadoop并加入hadoop组。二、实验环境介绍三台机器的网络主机配置如下:192.168.10.166 master192.168.10.167 slave01192.168.10.168 slave02原创 2017-04-02 19:22:09 · 3012 阅读 · 0 评论 -
centos7全分布模式安装hadoop--hadoop安装系列之二
一、实验目标 1、学会全分布集群模式安装hadoop软件 2、学会安装hadoop软件过程中的各种跳坑姿势二、实验环境 三台机器的网络主机配置如下:192.168.10.166 master192.168.10.167 slave01192.168.10.168 slave02再次梳理一下安装前置条件: 1、安装三台centos7的服原创 2017-04-03 19:31:19 · 1499 阅读 · 0 评论 -
sqoop 知识及安装配置说明--hadoop安装系列之四
Sqoop是一种用于在Hadoop和关系数据库或数据仓库之间传输数据的工具。 您可以使用Sqoop将数据从关系数据库管理系统(RDBMS)(如MySQL或Oracle)或主机导入Hadoop分布式文件系统(HDFS),将数据转换为Hadoop MapReduce,然后将数据导出到RDBMS 。 Apache Sqoop是一种用于有效传输结构化,半结构化和非结构化数据源之间数据的工原创 2017-04-15 09:11:09 · 896 阅读 · 0 评论 -
hadoop的dw-hive安装配置---hadoop安装系列之三
一、hive相关知识复习复习一下hadoop的数据仓库hive,它的元数据存储在第三方数据库中,实际数据存储在hadoop的hdfs上,所以hive不能脱离hadoop与第三方数据库单独存在,我们前面已经安装好了hadoop2.7.3版本,只要安装一个第三方数据库即可满足hive安装的依赖环境,这里我选择安装的是mysql5.5.46,hive选择安装的是1.2.1版本。hive将结构化的原创 2017-04-04 16:19:33 · 951 阅读 · 0 评论