- 博客(10)
- 收藏
- 关注
RSS订阅原创 历史上三次“打破”双亲委派机制
文章目录前言一、第一次打破二、第二次打破三、第三次打破总结前言双亲委派机制三次被打破，每一次都会有新的优化方式提示：以下是本篇文章正文内容，下面案例可供参考一、第一次打破第一次被打破是在Java的原始版本，那时候用户自定义类加载器已经存在，双亲委派机制为了兼容这些代码，但又无法保证loadClass不被子类重写，所以提供了findClass的方法。用户加载类的时候就去重写这个方法。如此一来，类加载的时候还是会调用加载器的loadClass向上请求，只有当父类加载器请求失败的时候，才会回来调用该
2022-04-06 15:16:25
4199
原创 大数据常见面试题总结，有问必答
这些都是一些笔者不太熟悉的面试题，有问题欢迎评论区留言！看到就会回复，并把题目整理到文章里！文章目录1、MapReduce如何选择垃圾回收器？2、如何配置hdfs集群？3、如何搭建yarn集群？4、hdfs存储结构？5、hdfs的常见存储格式？6、hdfs小文件的危害以及如何处理？7、数据倾斜如何处理？8、Reduce Join 和Map join9、MR的压缩10、spark中repartition和coalesce的区别11、spark 四个byKey的区别12、flume如何监听文件夹下的新文件.
2022-04-02 21:23:30
4357
原创 AQS源码分析
AQS实现原理两种获取锁方法原理两种获取锁方法尝试获取锁，失败则返回。这种获取方式不会加入队列进行自旋操作一定要获取锁。这种操作一旦获取失败，就会加入等待队列等待锁资源这里重点说一下第二种方法提示：以下是本篇文章正文内容，下面案例可供参考原理public final void acquire(int arg) { if (!tryAcquire(arg) && acquireQueued(addWaiter(Node.EXCLUSIVE), ar
2022-04-01 20:39:25
946
原创 Java中的锁机制
Java中的锁机制对象头mark wordsynchronized锁无锁偏向锁轻量级锁重量级锁思考对象头对象存放在内存中时，由三个部分组成：对象头实例数据：即该对象在堆中的数据对齐填充字节：无效字节，就是java用来让对象大小满足8字节的倍数，可加快寻址这里重点介绍对象头，对象头又分为mark word和类型数据指针，这里类型数据指针是一个指向该对象存储在方法区中的类信息。介绍就到这，mark word才是Java锁机制的重点mark wordmark word中有锁标志位、分代年龄
2022-04-01 15:20:57
316
原创 MySql中 DATEDIFF 函数 和 TIMESTAMPDIFF 函数 用法区别
一、DATEDIFFDATEDIFF (begin,end)输出begin-end，即两个日期之间的天数的差值二、TIMESTAMPDIFFTIMESTAMPDIFF(unit,begin,end)其中unit有DAY 天数HOUR 小时WEEK 周MONTH 月份YEAR 年份等等输出end-begin，即两个日期之间的差值,单位为unit三、差别DATEDIFF 只能计算天数差值，TIMESTAMPDIFF 可以计算不同单位DATEDIFF 是begin-end，而T
2022-03-18 14:19:01
1063
原创 推荐系统实现过程中SparkSql整合hive报元信息错误
问题描述：错误信息如下：org.datanucleus.metadata.InvalidClassMetaDataException: Class "org.apache.hadoop.hive.metastore.model.MDatabase" field "org.apache.hadoop.hive.metastore.model.MDatabase.catalogName" : declared in MetaData, but this field doesnt exist in the c
2021-11-28 00:52:43
2307
1
原创 推荐系统实现过程中遇到的日志NoClassDefFoundError：StaticLoggerBinder问题_fqzzzzz的CSDN
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录问题分析解决问题使用spark做推荐系统时，出现日志文件没找到的报错，报错信息如下：Exception in thread "main" java.lang.NoClassDefFoundError: org/slf4j/impl/StaticLoggerBinder at org.apache.spark.internal.Logging$.org$apache$spark$internal$Logging$$isLog
2021-11-27 00:21:25
2204
原创 spark on yarn模式下SparkStream整合kafka踩的各种坑(已解决)_fqzzzzz的博客
项目场景：使用sparkStream接收kafka的数据进行计算，并且打包上传到linux进行spark任务的submit错误集合：1.错误1:Failed to add file:/usr/local/spark-yarn/./myapp/sparkDemo04.jar to Spark environmentjava.io.FileNotFoundException: Jar D:\usr\local\spark-yarn\myapp\sparkDemo04.jar not foundWA
2021-11-25 20:17:30
819
原创 flume学习笔记
尚硅谷flume笔记整理前言定义为什么用flume基础架构source种类文件追加模式的问题解决事务agent内部原理拓扑结构复制和多路复用负载均衡或故障转移聚合退避机制轮询根据头信息发送事务事务源码回滚数据重复数据丢失空间不足附录前言感谢尚大学，笔记里的图片都是截取自尚硅谷的课件。这份博客也是自己的学习总结定义Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。为什么用flumeflume可以进行实时的采
2021-11-18 20:22:57
1613
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人