csdn_dengfan的博客

目标： 在idea中用scala编写简单代码，从本地hdfs中（或本地目录）读取文件，通过spark处理后，结果输出到本地dhfs或本地目录。 然后修改代码，将项目打成jar包，上传到linux中，在spark集群上运行。 环境：hadoop2.7.2 +spark2.2.3 +scala 2.11.8 +idea2018 以上环境的具体安装配置和idea的基本操作分别见： win...

Hadoop 1.下载安装包，不赘述了。我解压路径为：E:\soft\hadoop-2.7.2 2.修改etc文件夹下的文件： core-site.xml： <configuration> <!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 --> <property> <name>f...

这里的乱码，不是指项目运行时的中文乱码，而是idea软件界面乱码，菜单乱码，即遍英文也是乱码的问题。 这里不说版本，我从14一直安装2018，都是这个问题。应该和我的win7系统有关。没遇到最好，遇到了可以参考。 1.安装idea，运行idea（如图所示连英文都是乱码）， 一直点下一步， 随便建一个项目， 点Next->点ok->点finish， 进入主界面（菜单...

在练习hive分区时，上传数据到分区，出现以上错误。解决办法如下： 1.mysql-connector-java这个jar包的版本不对，换个版本。我mysql5.7 ，mysql-connector8.0的，后来换成mysql-connector5.1的。 2.hive默认编码utf-8，查看mysql编码：show variables like '%charac%'; 把编码要改成下图...