- 博客(8)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 解决sourceforge下载慢，2021可用镜像站点
解决sourceforge下载慢，2021可用镜像站点好多说用某某大学镜像站，可惜已经不能用了，还是google靠谱，找到一个好用的镜像站。将下载地址中https://nchc.dl.sourceforge.net/改为https://liquidtelecom.dl.sourceforge.net/比如原地址：https://nchc.dl.sourceforge.net/project/pentaho/Pentaho%209.1/client-tools/pdi-ce-9.1.0.0-324.z
2021-04-22 21:53:14
20864
7
原创 解决scrapy存储json中文默认为Unicode编码问题
scrapy爬取结果输出为json文件时，中文默认为unicode编码，网上找了很多，都非常不靠谱。这里给出最简单的一种做法：pipelines.pyimport jsonclass LianjiaPipeline(object): def __init__(self): self.file = open('items.json', 'w
2017-07-05 22:39:11
1544
原创 Sublime Text 2编辑markdown文件
Markdown越来越流行，原因有很多，最重要的是Word太难用了。Office给我的印象就是复杂，太复杂。如今深受欢迎的Markdown语法简洁而且可以直接转为Html页面。几乎所有的计算机相关的在线文档都是用Markdown写作的。例如：Spark的官方文档http://spark.apache.org/docs/latest/。本站的所有博客内容也是完全采用Markdown编辑。本文主要介绍一
2016-03-27 09:25:46
969
原创 hadoop2.6.3配置
Hadoop2和Hadoop1的安装前序步骤基本一致，只是在配置文件上稍有变动。可以参考之前的一篇关于Hadoop1的安装文档，操作系统安装、SSH安装、关闭Linux防火墙、安装JDK以及启动Hadoop这些都是一样的，没有区别。只是在Hadoop的安装有所差异，本文档主要将差异之处指出。hadoop1.2.1安装文档注：本文档所用的Hadoop2为2.6.3版本。hadoop2安装下载并解压ha
2016-03-27 09:24:10
791
原创 hadoop集群安装以及Hive、sqoop的使用
一 Hadoop的安装1. 软件清单Linux系统使用CentOS6.4-x64，Ubuntu较之CentOS个人感觉内存消耗更大，操作有时会卡顿。故改为使用CentOS。jdk-7u79-linux-x64.gzhadoop-1.2.1-bin.tar.gzapache-hive-1.2.1-bin.tar.gzMySQL-client-5.7.4_m14-1.el6.x86_64.rp
2016-03-27 09:23:35
3154
原创 Spark集群的安装与使用
spark集群安装与启动前提：hadoop集群已正常运行安装scala，修改环境变量，用scala -version指令查看是否正确安装下载对应hadoop版本和scala版本的spark压缩包，并解压至目录/usr/local/spark配置sparkcd /usr/local/spark/confcp spark-env.sh.template spark-env.shvim spa
2016-03-27 09:21:19
454
原创 windows下Eclipse的Hadoop运行调试环境搭建
环境说明：windows 7Eclipse marshadoop-eclipse插件hadoop-core-1.2.1-forwinlocal.jarhadoop集群hadoop-1.2.1-bin.tar.gz3.4的下载地址见http://pan.baidu.com/s/1i4ejXch首先有两种运行方式：MR程序以Local模式运行在windows本地，操作hdfs的文件。适用
2016-03-27 09:18:11
715
原创 常见排序算法的Java实现代码汇总
常见排序算法原理与实现1.冒泡排序基本思想：在要排序的一组数中，对当前还未排好序的范围内的全部数，自上而下对相邻的两个数依次进行比较和调整，让较大的数往下沉，较小的往上冒。即：每当两相邻的数比较后发现它们的排序与排序要求相反时，就将它们互换。Java实现：import java.util.Arrays;public class BubbleSort { publi
2016-03-11 19:44:33
277
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人