
大数据
kobe_back
这个作者很懒,什么都没留下…
展开
-
【大数据基础知识】Hive内置函数----数学函数(一)
Hive内置了很多函数,方便实现对数据的操作。这次我们来看下其中的数学函数。函数的具体使用,如下所示。1、round(double a)hive (default)> select round(2.3);OK_c02.0Time taken: 0.081 seconds, Fetched: 1 row(s)说明:对2.3进行四舍五入,结果为2.0hive (default)> select round(2.6);OK_c03.0Time t原创 2020-07-16 13:32:23 · 581 阅读 · 0 评论 -
【大数据基础知识】Scala基础——开发环境安装
各位小伙伴对Java都应该很熟悉了,那么什么是Scala呢?Scala是一种强大的、高质量的编程语言,可以说提到大数据就不得不认识Scala了。Scala的最大特点是面向函数编程,非常简洁,所以也深受攻城狮的喜爱哦!这次,我们先来看看如何安装Scala的开发环境。1.1. 安装JDKScala是运行在JVM平台上的,所以安装Scala之前首先要安装JDK。1.2. 安装Scala1.2.1. Windows安装Scala编译器安装方式一:下载scala-2.11.8.msi后双击打开原创 2020-07-16 13:30:46 · 193 阅读 · 0 评论 -
【大数据基础知识】什么是Zookeeper,如何安装
1. 什么是Zookeeper大数据集群包括多种类型的服务节点,如何协调各节点之间的服务,需要一种强有力的工具来完成。如果我们把大数据集群中的每个服务节点当做一种动物,那么ZooKeeper便是这里的动物管理员了。借助百度百科的定义,ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务。Zookeeper提供的服务功能有:1) 数据注册功能;2) 数据查询功能;3) 数据监听功能;Zookeeper能用来做什么:a) 分布式系统中主从协调b) 分布式系统中配原创 2020-07-16 10:42:53 · 196 阅读 · 0 评论 -
【大数据基础知识】Redis常用字符串命令汇总(一)
字符串是Redis中最常见的数据结构,它既可以存储普通意义的字符串,也可以存储整数、浮点数,还可以存储二进制类型的数据。这次,我们一块来看下Redis中常用的字符串命令吧。1) SET命令语法:SET key value参数说明:key value为必选项,分别为指定的键和值,键和值之间要有空格返回值:如果执行成功,则返回OK。SET命令使用示例2) GET命令语法:GET key参数说明:key为指定的键返回值:返回指定键的值;若键不存在,返回nil。GET原创 2020-07-13 10:42:07 · 226 阅读 · 0 评论 -
Kafka集群安装与和测试如何操作
一、 安装JDK &配置JAVA_HOMEJDK安装和JAVA_HOME配置,大家都应该很熟悉了,我们在此不再赘述。二、 安装Zookeeper参照Zookeeper官网搭建一个ZK集群, 并启动ZK集群。三、 解压Kafka安装包1. 修改配置文件config/server.propertiesvi server.propertiesbroker.id=0 //集群中唯一id,依次增长:0、1、2、3、4log.dirs=/root/kafkaData/ // 设置原创 2020-06-08 13:40:37 · 251 阅读 · 0 评论 -
HDFS的常用命令有哪些
HDFS(Hadoop Distributed File System),Hadoop分布式文件系统。首先,HDFS是一个文件系统,用来存储文件,其次,它是分布式的。也就是由很多机器构成的集群共同完成其功能。任何系统,我们都有对应的命令来操作哦,HDFS也不例外。下面,我们就来看下HDFS的shell客户端操作。基本语法:bin/hadoop fs 具体命令常用命令:1) 启动Hadoop集群[root@node1 hadoop-2.7.2]$ sbin/start-dfs.sh原创 2020-06-08 13:36:57 · 909 阅读 · 0 评论