loading0210-CSDN博客

转载 Spark中cache和persist的作用以及存储级别

在Spark中有时候我们很多地方都会用到同一个RDD, 按照常规的做法的话,那么每个地方遇到Action操作的时候都会对同一个算子计算多次,这样会造成效率低下的问题(参考自博客)例如:val rdd1 = sc.textFile("xxx")rdd1.xxxxx.xxxx.collectrdd1.xxx.xxcollect上面就是两个代码都用到了rdd1这个RDD,如果程序执行的话,...

2019-02-19 14:18:42 492

原创 shell运算符

算术运算符下表列出了常用的算术运算符，假定变量 a 为 10，变量 b 为 20：运算符说明举例 + 加法 `expr $a + $b` 结果为 30。 - 减法 `expr $a - $b` 结果为 -10。 * 乘法 `expr $a \* $b` 结果为 200。 / 除法 `expr $b / $a`...

2019-01-09 19:42:00 222

原创 argument to reversed() must be a sequence

错误信息如上所示,是因为应用下的urls.py里面的urlpatterns，这个变量后面跟的是一个列表而不是字典,把外边的花括号改成列表即可… 错误配置urlpatterns = { url(r'^$', views.xxx),} 正确的配置urlpatterns = [ url(r'^$', views.xxx),]...

2018-09-18 19:13:35 730

原创 hadoop datanode running as process 16774. Stop it first.

HDFS在搭建完集群后，启动sbin/start-dfs.sh时，会报出某个从机 datanode running as process 16774. Stop it first。解决办法： 1.限制性一遍 sbin/stop-all.sh 2.再执行 sbin/start-dfs.sh即可...

2018-09-18 17:38:47 2875 1

原创 'ImageFieldFile' object has no attribute 'replace'

上传图片后页面需要回显图片，但是报Imagefilefile 没有 replace属性，原因是页面中显示图片的路径问题正常：<img src="{% static nhb.pic_path.url %}" />其中nhb是前台传过来的对象，pic_path是对象中对应图片路径列的属性...

2018-09-18 09:35:25 2339

原创 hadoop无法访问50070端口

在搭建hadoop环境时遇到的一个问题，整个环境下JDK正常，hadoop配置文件正常，各个守护进程正常启动，防火墙已关闭，但是启动后无法从浏览器中访问50070端口，显示拒绝访问，但是又可以访问8088端口。解决方案：重新启动namenode线程 ...

2018-09-18 09:26:32 1095

原创 python中open打开后的文件类型

import _ioabc = open('zuoye1.py')t = _io.TextIOWrapperprint(isinstance(abc,t))结果返回True

2018-07-26 21:15:21 2837

原创 python高级赋值语句

s='SPAM'(a,b),c = s----->报错（a,b）,c = s[:2],s[2:]---->a='S' b='P' c='AM'a,b,c = range(3)----->a=0 b=1 c=2a=range(3)----->a是range对象-----普通赋值和序列赋值无关l=[1,2,3,4]while l: a,l=l[:1]...

2018-07-06 21:00:43 735

原创 python扩展的序列解包

扩展的序列解包：1：*变量：获取分配完数据之后的所有剩余数据----封装成列表进行输出（不能同时出现两个或多个*，只能有一个） a,*b = 'ABCD'------>a='A' b=['B','C','D'] *a,b='ABCD'----->a =['A','B','C'] b=D a,*b,c = 'ABCD'---->a=...

2018-07-06 20:47:17 445

原创 python赋值语句

运算解释a=10基本形式a,b = 10,20元组赋值[a,b] = [10,20]列表赋值（位置性）a,b = 'AB'序列赋值(通用性)a,b = [10,20]序列赋值(通用性)a,*b = 'hello'扩展的序列解包(python3中特有)a = b = c = 10多目标赋值a += 1增强赋值...

2018-07-06 19:23:16 12712

原创解决前后台传值中文乱码问题

前台传值："www.baidu.com?name="+encodeURI(encodeURI(name));后台接值：if(null!= name){ name= URLDecoder.decode(name, "utf-8"); }

2017-06-14 15:49:08 741

loading0210的博客