hive
关注
分享
扫一扫
手把手教你学AI
sss
展开
-
yarn-session.sh 错误解决
$FLINK_HOME/bin/yarn-session.sh -n 3 -s 2 -jm 2048 -tm 1024执行这个命令 报错缺少jar报flink1.2.1缺一个，flinK.1.2.5缺两个flink-shaded-hadoop-2-uber-2.7.2-10.0.jar下载如果不能用 自己编译代码。确实有点麻烦第一个错误 缺少命令【问题与解决】Flink启动时报错：NoSuchMethodError: org.apache.commons.cli.Op..原创 2021-11-19 13:01:46 · 1919 阅读 · 0 评论 -
Flink1.10实战：自定义聚合函数AggregateFunction
Flink 的AggregateFunction是一个基于中间计算结果状态进行增量计算的函数。由于是迭代计算方式，所以，在窗口处理过程中，不用缓存整个窗口的数据，所以效率执行比较高。@PublicEvolvingpublic interface AggregateFunction<IN, ACC, OUT> extends Function, Serializable {...............................}自定义聚合函数需要实现Agg...原创 2021-11-10 22:39:54 · 1897 阅读 · 0 评论 -
jinfo使用
jinfo 顾名思义 就是java进程信息 参数查看和修改jinfo 进程号如项目很多信息，Java代码可以通过System.getProperties()获取。C:\Users\Administrator>jinfo 10448Attaching to process ID 10448, please wait...Debugger attached successfully.Server compiler detected.JVM version is 25.29...原创 2021-11-05 17:38:27 · 543 阅读 · 0 评论 -
64位Windows下安装Redis教程
转载于：http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/104.html?1455868495Redis对于Linux是官方支持的,安装和使用没有什么好说的,普通使用按照官方指导，5分钟以内就能搞定。详情请参考: http://redis.io/download 但有时候又想在windows下折腾下Redis,可以从re...原创 2016-03-10 14:06:28 · 122 阅读 · 0 评论 -
redis启动流程介绍
转载于：http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/114.html?14558605621. 准备运行环境* 设置oom handler，zmalloc分配内存失败时调用* 初始化随机种子，用于生成随机数* 将server参数初始化为默认值 * 创建命令与处理函数的映射表2. 解析命令行参数、lo...原创 2016-03-10 14:07:28 · 131 阅读 · 0 评论 -
Redis数据库的使用场景介绍（避免误用Redis）
转载于：http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/122.html?1455854235Redis 是目前 NoSQL 领域的当红炸子鸡，它象一把瑞士军刀，小巧、锋利、实用，特别适合解决一些使用传统关系数据库难以解决的问题。但是 Redis 不是银弹，有很多适合它解决的问题，但是也有很多并不适合它解决的问题。另外，Red...原创 2016-03-11 12:12:00 · 195 阅读 · 0 评论 -
Redis教程(一)：Redis简介
转载于：http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/130.html?1455808419一、简介：在过去的几年中，NoSQL数据库一度成为高并发、海量数据存储解决方案的代名词，与之相应的产品也呈现出雨后春笋般的生机。然而在众多产品中能够脱颖而出的却屈指可数，如Redis、MongoDB、BerkeleyDB和...原创 2016-03-11 12:12:08 · 130 阅读 · 0 评论 -
黑马程序员_java08_多线程
转载于：http://www.itxuexiwang.com/plus/view.php?aid=148线程是程序中可以并行执行的任务。 java运行系统总是选当前优先级最高的处于就绪状态的线程来执行。如果几个就绪线程有相同的优先级，将会用时间片方法轮流分配处理机。 进程与线程的区别 进程属于一个独立的运行程序，线程是程序里面的一个分支。许多个线程组成一个程序的运行。 创建线程的两种方式 (1...原创 2016-03-13 13:01:57 · 159 阅读 · 0 评论 -
redis中使用java脚本实现分布式锁
转载于：http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/115.html?1455860390edis被大量用在分布式的环境中，自然而然分布式环境下的锁如何解决，立马成为一个问题。例如我们当前的手游项目，服务器端是按业务模块划分服务器的，有应用服，战斗服等，但是这两个vm都有可能同时改变玩家的属性，这如果在同一个vm下面，就很...原创 2016-03-13 13:03:00 · 116 阅读 · 0 评论 -
在Mac OS上安装Vagrant和Docker的教程
转载于：http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/128.html?1455808640当听到很多人在说Docker是多么多么的棒，很多新潮的孩子都在使用它时，我决定在我的开发环境上也来尝试下。在下面的这篇文章中，我将讲解在Mac OS X怎样建立Postgres，Elasticsearch和Redis。什么...原创 2016-03-14 16:03:18 · 159 阅读 · 0 评论 -
Redis教程(八)：事务详解
转载于：http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/135.html?1455806987一、概述： 和众多其它数据库一样，Redis作为NoSQL数据库也同样提供了事务机制。在Redis中，MULTI/EXEC/DISCARD/WATCH这四个命令是我们实现事务的基石。相信对有关系型数据库开发经验的...原创 2016-03-14 16:03:53 · 120 阅读 · 0 评论 -
Redis教程(十三)：管线详解
转载于:http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/141.html一、请求应答协议和RTT： Redis是一种典型的基于C/S模型的TCP服务器。在客户端与服务器的通讯过程中，通常都是客户端率先发起请求，服务器在接收到请求后执行相应的任务，最后再将获取的数据或处理结果以应答的方式发送给客户端。在此过程中...原创 2016-03-15 15:43:50 · 140 阅读 · 0 评论 -
Redis教程(七)：Key操作命令详解
转载于：http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/134.html?1455807040一、概述： 在该系列的前几篇博客中，主要讲述的是与Redis数据类型相关的命令，如String、List、Set、Hashes和Sorted-Set。这些命令都具有一个共同点，即所有的操作都是针对与Key关联的V...原创 2016-03-15 15:44:25 · 154 阅读 · 0 评论 -
Speculative Execution in Hadoop
所谓的推测执行，就是当所有task都开始运行之后，Job Tracker会统计所有任务的平均进度，如果某个task所在的task node机器配置比较低或者CPU load很高（原因很多），导致任务执行比总体任务的平均执行要慢，此时Job Tracker会启动一个新的任务（duplicate task），原有任务和新任务(一个task会有多个attempt同时执行)哪个先执行完就把另外一个kill...原创 2016-03-15 15:44:46 · 151 阅读 · 0 评论 -
Redis教程(十)：持久化详解
转载于：http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/137.html一、Redis提供了哪些持久化机制： 1). RDB持久化： 该机制是指在指定的时间间隔内将内存中的数据集快照写入磁盘。 2). AOF持久化: 该机制将以日志的形式记录服务器所处理的每一个写操作，在...原创 2016-03-15 15:44:55 · 140 阅读 · 0 评论 -
Redis批量删除KEY的方法
Redis 中有删除单个 Key 的指令 DEL，但好像没有批量删除 Key 的指令，不过我们可以借助 Linux 的 xargs 指令来完成这个动作。代码如下:redis-cli keys “*” | xargs redis-cli del//如果redis-cli没有设置成系统变量，需要指定redis-cli的完整路径//如：/opt/redis/redis-cli k...原创 2016-02-26 17:24:35 · 182 阅读 · 0 评论 -
Redis总结笔记（二）：C#连接Redis简单例子
转载于：http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/113.html?1455860686注：C#在调用Redis是不要使用ServiceStack.Redis驱动的4.0版本，因为这个版本已经商业化了，会出现每小时6000条数据的限制1、引用驱动代码如下: using ServiceStack.R...原创 2016-02-26 17:24:07 · 231 阅读 · 0 评论 -
mapred.child.java.opts
mapred.child.java.opts这个参数是配置每个map或reduce使用的内存数量。默认的是200M。对于这个参数，我个人认为，如果内存是8G，CPU有8个核，那么就设置成1G就可以了。实际上，在map和reduce的过程中对内存的消耗并不大，但是如果配置的太小，则有可能出现”无可分配内存”的错误。所以，对于这个配置我总结了一个简单的公式：map/reduce的并发数量(总和不大...原创 2014-05-08 19:13:35 · 3381 阅读 · 0 评论 -
scala 之Option
很多返回类型是Option有主要两个 def isEmpty: Boolean def get: A先调用 isEmpty 如果 是否为ture.如果为false 在读取值。在scala对变量 和对象区别不明显。www.mamayuerwang.comwww.itxuexiwang.com...原创 2014-06-29 20:28:55 · 155 阅读 · 0 评论 -
UDF 底层实现
用户自定义函数继承UDF，重写evaluate方法即可 以 length 为例例子如下import org.apache.hadoop.hive.ql.exec.UDF;public class MD5Hash extends UDF {public String evaluate(String in) {// 请在此实现}}hive 怎么调用呢h...原创 2017-01-04 00:03:20 · 384 阅读 · 0 评论 -
JVM 并发性: Java 和 Scala 并发性基础(1)
转载于：转载于：[url]http://www.itxuexiwang.com/a/javajishu/jvm_jdk_yuanmafenxi/2016/0129/50.html?1454076380[/url]处理器速度数十年来一直持续快速发展，并在世纪交替之际走到了终点。从那时起，处理器制造商更多地是通过增加核心来提高芯片性能，而不再通过增加时钟速率来提高芯片性能。多核系统现在成为了从...原创 2016-01-29 22:07:34 · 235 阅读 · 0 评论 -
深入理解JVM之内存区域与内存溢出
转载于：http://www.itxuexiwang.com/a/liunxjishu/2016/0205/75.html文章目录1. Java内存区域与内存溢出异常1.1. 运行时数据区域1.1.1. 程序计数器1.1.2. java虚拟机栈1.1.3. 本地方法栈1.1.4. Java堆(Java Heap)1.1.5. 方法区...原创 2016-02-05 21:52:33 · 133 阅读 · 0 评论 -
java框架篇---spring aop两种配置方式(1)
转载于：http://www.itxuexiwang.com/a/shujukujishu/2016/0206/81.html第一种：注解配置AOP注解配置AOP（使用 AspectJ 类库实现的），大致分为三步： 1. 使用注解@Aspect来定义一个切面，在切面中定义切入点(@Pointcut),通知类型(@Before, @AfterReturning,@After,@After...原创 2016-02-06 23:02:37 · 139 阅读 · 0 评论 -
黑马程序员_java08_多线程
转载于：http://www.itxuexiwang.com/plus/view.php?aid=148线程是程序中可以并行执行的任务。 java运行系统总是选当前优先级最高的处于就绪状态的线程来执行。如果几个就绪线程有相同的优先级，将会用时间片方法轮流分配处理机。进程与线程的区别进程属于一个独立的运行程序，线程是程序里面的一个分支。许多个线程组成一个程序的运行。...2016-02-18 16:59:35 · 272 阅读 · 0 评论 -
Infinispan 8 中新的 Redis 缓存存储实现
转载于：http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/147.htmlnfinispan 8 包含了一个新的在 Redis k/v 服务器中存储缓存数据的 cache store。这个 cache store 可以把缓存数据存储在一个集中的 Redis 中，所有的 Infinispan 客户端都可以访问。Cache st...原创 2016-02-18 17:39:48 · 199 阅读 · 0 评论 -
Redis教程(六)：Sorted-Sets数据类型
转载于：http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/133.html一、概述： Sorted-Sets和Sets类型极为相似，它们都是字符串的集合，都不允许重复的成员出现在一个Set中。它们之间的主要差别是Sorted-Sets中的每一个成员都会有一个分数(score)与之关联，Redis正是通过分数来为...原创 2016-02-19 11:35:22 · 146 阅读 · 0 评论 -
aRedis教程(十五)：C语言连接操作代码实例
转载于:http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/143.html在之前的博客中已经非常详细的介绍了Redis的各种操作命令、运行机制和服务器初始化参数配置。本篇博客是该系列博客中的最后一篇，在这里将给出基于Redis客户端组件访问并操作Redis服务器的代码示例。然而需要说明的是，由于Redis官方并未提供基于C接口...原创 2016-02-19 11:35:59 · 165 阅读 · 0 评论 -
NoSQL和Redis简介及Redis在Windows下的安装和使用教程
转载于：http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/103.html?1455869099NoSQL简介介绍redis前，我想还是先认识下NoSQL,即not only sql, 是一种非关系型的数据存储，key/value键值对存储。现有Nosql DB 产品： Redis/MongoDB/Memcached/Hb...原创 2016-02-23 11:28:42 · 251 阅读 · 0 评论 -
redis中使用redis-dump导出、导入、还原数据实例
转载于：http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/109.html?1455861283redis的备份和还原，借助了第三方的工具，redis-dump1、安装redis-dump代码如下:[root@localhost tank]# yum install ruby rubygems ruby-d...原创 2016-02-25 13:26:52 · 179 阅读 · 0 评论 -
Redis中5种数据结构的使用场景介绍
转载于：http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/108.html?1455861435一、redis 数据结构使用场景原来看过 redisbook 这本书，对 redis 的基本功能都已经熟悉了，从上周开始看 redis 的源码。目前目标是吃透 redis 的数据结构。我们都知道，在 redis 中一共有5种数据...原创 2016-02-25 13:27:11 · 142 阅读 · 0 评论 -
redis常用命令、常见错误、配置技巧等分享
转载于：http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/117.html?14558602361. redis查看当前所有的key代码如下:KEYS *2. 查看当前redis的配置信息代码如下:CONFIG GET *3. MISCONF Redis is configured to...原创 2016-02-26 17:23:51 · 186 阅读 · 0 评论 -
hive的hive.exec.parallel参数说明
hive.exec.parallel参数控制在同一个sql中的不同的job是否可以同时运行,默认为false.下面是对于该参数的测试过程:测试sql:select r1.afrom ( select t.a from sunwg_10 t join sunwg_10000000 s on t.a=s.b) r1 join (select s....原创 2014-05-08 18:57:46 · 613 阅读 · 0 评论