- 博客(6)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 hive 设置队列
hive 设置队列需要根据所使用的引擎进行对应的设置才会有效果，否则无效设置引擎set hive.execution.engine=mr; set hive.execution.engine=spark; set hive.execution.engine=tez; 如果使用的是mr(原生mapreduce)SET mapreduce.job.queuename=etl;如果使用的引擎是t...
2018-07-04 11:01:02
13552
1
原创 hive自定义函数UDF
当hive自带函数很难满足或者无法满足hql时，可以自定义函数（UDF） 1、先写java类，继承UDF，并重载evaluate方法 package com.timo.bigdata.udf import org.apache.hadoop.hive.ql.exec.UDF; import org.apache.hadoop.io.Text; public final class Lower
2017-10-26 22:47:20
214
原创 日志采集
关于日志采集 业界比较经典的用法： 线上数据→flume→kafka→hdfs→mapreduce离线计算 或者 线上数据→flume→kafka→storm （实时） 其中后者可以应用于实时监控的短信邮件告警等。 storm也可用spark steaming（准实时，吞吐量比 storm 大） 组件 flume：日志采集系统 kafka：消息中间件 关于storm与
2017-10-26 17:58:10
373
转载 （转）Spark Streaming与Storm的对比分析
本文转自：http://blog.csdn.net/kwu_ganymede/article/details/50296831 原作者kwu_ganymede Spark Streaming与Storm的对比分析 一、Spark Streaming与Storm的对比 二、Spark Streaming与Storm的优劣分析 事实上，S
2017-10-26 17:43:42
294
原创 hbase常用命令
hbase常用命令 创建表: create '表名', '列族名1','列族名2','列族名N' 查看所有表: list 描述表: describe ‘表名’ 判断表存在: exists '表名' 判断是否禁用启用表: is_enabled '表名' ; is_disabled ‘表名’ 添加记录 : put ‘表名’, ‘rowKey’,
2017-10-19 22:11:55
346
原创 初认hadoop
什么是hadoop？ hadoop = teh hadoop projects hadoop体系架构生态圈主要包含common，avro，mapreduce，hdfs,pig,hive(数据仓库),hbase，zookeeper,oozie（任务调度），sqoop（数据转移hive ↔ mysql）等组件 hadoop核心： hdfs（分布式文件系统）+ mapreduce （计
2017-10-19 22:08:57
202
ubuntu linux 自带的protobuf怎么卸载或者升级版本啊
2017-09-22
TA创建的收藏夹 TA关注的收藏夹
TA关注的人