- 博客(4)
- 收藏
- 关注
RSS订阅原创 Spark Shuffle FetchFailedException 内存溢出 源码级分析解决
某日遇到一个数据倾斜的SQL, 首先想到的方法就是加大Partition 看看数据hash 之后会不会落得 均匀,所以就将spark.sql.shuffle.partitions从原来的500 加大到2700 .结果反而失败了, 错误如下:FetchFailed(BlockManagerId(516, nfjd-hadoop02-node352.jpushoa.com, 7337, None), shuffleId=3, mapId=59, reduceId=917, message=org.apac
2020-06-18 11:53:12
4449
2
转载 Java多线程理解
用Java多线程只有一个目的，那就是更好的利用cpu的资源，因为所有的多线程代码都可以用单线程来实现。说这个话其实只有一半对，因为反应“多角色”的程序代码，最起码每个角色要给他一个线程吧，否则连实际场景都无法模拟，当然也没法说能用单线程来实现：比如最常见的“生产者，消费者模型”。很多人都对其中的一些概念不够明确，如同步、并发等等，让我们先建立一个数据字典，以免产生误会。多线程：指的是这个程序（一个进程）运
2017-07-30 14:32:21
378
原创 String，StringBuffer,StringBuilder之再体验
String的两种创建方式String str1 = "mhb"；String str2 = new String("mhb");由于String是不可变类，每当有String对象的创建，java虚拟机都会在String池（位于JVM方法区）里面寻找有没有相应的字符串，没有则创建一个对象如下： //在String常量池里面创建内容为“java”的对象 String s1="
2017-07-28 21:56:34
315
原创 SpringMVC使用Multipartfile上传文件
主要步骤：首先需要导入两个操作所需的Jar包：commons-fileupload-1.2.2.jarcommons-io-2.4.jar1，在form表单设置属性：<form action="${basePath}upload" method="post" enctype="multipart/form-data"> <label>头 像</label><input type="fil
2017-07-18 09:09:50
689
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人