- 博客(14)
- 收藏
- 关注
RSS订阅
原创 org.apache.flink.core.fs.UnsupportedFileSystemSchemeException
目录一、错误二、现象三、原因四、解决方案一、错误Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Could not find a file system implementation for scheme ‘hdfs’. The scheme is not directly suppo...
2019-12-14 16:32:32
3552
1
原创 Hadoop总结之HDFS
目录：一、HDFS是什么二、HDFS核心工作机制三、客户端上传数据到HDFS流程图四、HDFS下载数据流程图五、Checkpoint机制六、HDFS的优缺点一、HDFS是什么HDFS是一个分布式文件系统(管理服务：提供文件的读取服务、写入服务、查看目录信息服务)二、HDFS核心工作机制HDFS是一套分布式软件系统，里面有很多服务角色：namenode、datanode、seco...
2019-12-12 16:28:51
241
1
原创 Hive教程一
目录1、什么是Hive2、Hive的优缺点3、Hive架构原理4、Hive和数据库比较1、什么是Hive Hive：由于Facebook开源用于解决海量结构化日志的数据统计(海量的结构化数据的运算分析)。 Hive是基于Hadoop的一个数据仓库工具(服务性的软件)，可以将结构化的数据文件映射为一张表，并提供类似与SQL查询，HQL。
2020-07-24 17:26:31
211
原创 【jdk】为什么我的环境变量每天需要去点击一次确定才能使用
目录一、错误二、现象三、原因四、解决方案一、错误安装好jdk以后，在cmd窗口输入javac命令，显示不是内部或外部命令二、现象win10下每次开机在cmd输入javac 都提示不是内部命令。打开环境变量，什么也不修改点一下确认再输入才能用。三、原因JAVA_HOME：Path：四、解决方案在Path变量后面加一个反斜杠配置完成，重启问题解决...
2020-02-18 01:34:01
578
原创 Caused by: java.nio.channels.UnresolvedAddressException 连接不了kafka
目录一、错误二、现象三、原因四、解决方案一、错误java.io.IOException: Can’t resolve address: rh2288-06:9092Caused by: java.nio.channels.UnresolvedAddressException二、现象连接kafka连接不上，一直报这两个错我检查了好几台机器域名映射都有，但是这个错一直在报三、原...
2020-01-14 11:23:56
4610
原创 org.apache.spark.SparkException: A master URL must be set in your configuration
目录：1、问题2、现象3、原因4、解决方案1、问题org.apache.spark.SparkException: A master URL must be set in your configuration2、现象运行代码时候报错3、原因没有在配置中设置URL4、解决方案SparkConf sparkConf = new SparkConf().setAppName(“...
2020-01-14 11:10:54
257
原创 Could not find implicit value for parameter spark：org.apache.sql.SparkSession
目录：1、问题2、现象3、原因4、解决方案1、问题Could not find implicit value for parameter spark：org.apache.sql.SparkSession2、现象找不到参数spark的隐式值：org.apache.sql.SparkSession3、原因代码中没有写隐士参数，运行时候报错4、解决方案implicit va...
2019-12-18 18:33:07
549
原创 Spark Exception: Task Not Serializable
目录：1、问题2、现象3、原因4、解决方案1、问题Spark Exception: Task Not Serializable2、现象运行代码抛出异常，意思是没有序列化3、原因常见的原因是代码里引用定义的方法，定义的方法不能序列化4、解决方案方案一：在class 或者object上面extends serialize方案二：val conf = new Spark...
2019-12-18 18:28:52
382
原创 java.io.FileNotFountException:
目录：1、问题2、现象3、原因4、解决方案1、问题java.io.FileNotFountException:File does not exist:hdfs://master:9000/sparkHistoryLogs2、现象spark-on-yarn错误，spark-on-yarn提交任务时候出现文件找不到，exitcode=153、原因查看日志，发现少一个文件夹4...
2019-12-18 18:24:14
312
原创 org.apache.hadoop.security.AccessControlException
目录：1、问题2、现象3、原因4、解决方案1、问题org.apache.hadoop.security.AccessControlException: Permission denied: user=Lenovo, access=WRITE, inode="/":root:supergroup:drwxr-xr-x2、现象报错，文件上传hdfs不成功3、原因Hdfs中的/u...
2019-12-18 10:52:48
267
原创 Spark Streaming 性能调优
目录1、合理的批次处理时间2、合理的kafka拉取数据3、缓存反复使用的Dstream(RDD)4、其他一些优化策略5、结果1、合理的批次处理时间关于Spark Streaming的批处理时间设置是非常重要的，Spark Streaming在不断接收数据的同时，需要处理数据的时间，所以如果设置过段的批处理时间，会造成数据堆积，即未完成的batch数据越来越多，从而发生阻塞。另外值...
2019-12-18 10:45:53
718
原创 Hadoop总结之MapReduce
目录一、简介二、WordCount三、setup与cleanup四、Combiner五、MapReduce中shuffle六、MapReduce处理数据倾斜的一些方法七、MapReduce内部处理数据流程一、简介MapReduce计算框架将计算过程分为两个阶段：Map和Reduce Map阶段并行处理输入数据； Reduce阶段对Map结果进行汇总Shuffle连接...
2019-12-14 16:55:31
338
原创 联想笔记本电脑修改CPU虚拟化
联想笔记本电脑，如何进入BIOS？修改CPU虚拟化1.进入BIOS，开机时按F2或者F12或者DEL或ESC等键2.进入BIOS后，找到Configuration选项，选择 Intel Virtual Technology并回车，将光标移至Enabled，然后再回车，最后按F10保存并退出。...
2019-12-14 16:37:21
3196
原创 Multiple MySQL running but PID file could not be found解决方案
目录：一、问题二、现象三、原因四、解决方案一、问题Multiple MySQL running but PID file could not be found二、现象当你启动或者重启 MySQL 时，报关于PID file 的错误三、原因第一种：PID被干掉了第二种：路径问题四、解决方案第一种：ps aux | grep mysql找到mysql进程中带有pid...
2019-12-12 16:40:20
1178
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人