coder_Gray的博客

最近在利用eclipse写python爬虫，发现还挺方便，不过需要安装插件，方法如下准备工作 已安装好Eclipse编译器。 安装好了python2或python3。由于语法有些差别，保险起见，我安装了python2.7 安装好了JAVA的IDK。由于Eclipse是java的IDE，所以有java的JDK才能正常使用Eclipse 了解pydev插件（不需下载） 在Eclipse中安装pydev插

下载安装下载地址：tomcat官方主页 安装按照正常windows软件流程即可，不过需要注意：安装路径不要有汉字存在，保证全英文路径目录结构介绍安装完成后的tomcat文件夹应包括一下几个文件夹： bin：包括一些批处理文件以及jar包。最有有用的是startup.bat和shutdown.bat分别为tomcat的启动和关闭进程。 conf：存放着tomcat的配置文件，可以在server.xm

任务要求如下： 实现Spark和HIVE与HDFS之间的通信 利用Spark.sql从HIVE中获取数据，并进行预处理以符合Spark机器学习库中输入文件的libsvm格式 LinearRegression线性回归模型建模 将得到的预测结果写回HDFS 现在明确了我们的任务目标，就从头开始进行。 配置Spark和Hive之间的通信 Spark内部可以直接让SparkContext从hd...