笔记
关注
分享
扫一扫
冽夫
这个作者很懒，什么都没留下…
展开
-
林子雨-5.2 键值对RDD
目录1、创建键值对RDD从文件加载通过并行集合创建2、常用的键值对RDD转换操作（reduceByKey和groupByKey）3、keys,values.sortByKey,mapValues,join4、综合实例1、创建键值对RDD从文件加载通过并行集合创建2、常用的键值对RDD转换操作（reduceByKey和groupBy...原创 2019-10-24 20:58:26 · 382 阅读 · 0 评论 -
林子雨-5.3-4 文件数据读写-综合案例
目录1、读写文件2、求TopN3、求最大最小值4、文件排序5、二次排序6、连接操作1、读写文件2、求TopN分区分2个==用两个线程只有键值对才可以排序3、求最大最小值4、文件排序5、二次排序网络中可传输的数据必须可序列化6、连接操作找出评分高于4.0的电影????生...原创 2019-10-24 20:43:13 · 318 阅读 · 0 评论 -
林子雨-5.1 RDD编程基础
1、RDD属于Spark Corespark核心：RDD2、RDD的创建文件加载通过SparkContext对象的textFile()读取文件生成RDDfile:///表示读取本地文件每一行都是RDD的一个元素hdfs://localhost:9000/也可以简写为/通过并行集合（数组）创建RDD调用sc的parallelize方法3...原创 2019-10-24 19:11:52 · 957 阅读 · 0 评论 -
林子雨-2.4 函数式编程基础
目录1、函数的定义与使用定义字面量匿名函数_2、高阶函数定义3、针对容器的操作 （遍历、映射）scala容器的标准遍历方法foreachmapflatmap4、过滤和规约过滤规约reducefold5、spark编程实例WordCount1、函数的定义与使用定义函数==方法（见2.3）字面量函数也有函...原创 2019-10-20 19:06:14 · 313 阅读 · 0 评论 -
林子雨-2.3 面向对象编程基础
目录1、类private中缀表示法2、构造器定义主构造器和辅助构造器3、对象（单例对象 singleton object）单例对象伴生对象孤立对象4、对象(apply方法)5、对象（update方法和unapply方法）update:unapply：6、类的继承抽象类扩展类Option类7、特质定义及简介混入...原创 2019-10-20 17:07:01 · 340 阅读 · 0 评论 -
林子雨-2.2 Scala基础知识
目录1、scala与java的if else的不同2、for2.1 for(变量 <- 表达式;变量<-表达式){语句块}2.2 for(变量 <- 表达式 if 条件表达式) 语句块3、异常4、循环控制4.1 终止从当前开始的所有循环4.2 终止当次循环，继续下一个循环对象5、数组6、元组7、容器 collection7....原创 2019-10-19 22:11:50 · 593 阅读 · 0 评论 -
spark dataframe中的for和if
尽可能地用map代替formap相较于for真的快很多if 和 for 真的太为难JVM了（运行效率非常低下）他只是个单纯的OO（卑微）????关于python中dataframe的 for 和 if ，有异曲同工之妙：https://blog.csdn.net/geniusle201/article/details/78351639#commentBox...原创 2019-10-15 22:03:53 · 1590 阅读 · 0 评论 -
笔记①：HeadFirst设计模式——引子
1、慢一点，我们理解的越多，需要记的就越少。停下来认真想，想得越深，越有可能学会并记住。2、勤做练习，自己记笔记。3、注重复习。4、大声说出来。解释给别人听有助于产生新的认识。5、如果自己的大脑累了就休息，比如浮光掠影的看，比如忘得很快6、学以致用，将学到的新东西应用到新项目中，甚至重构旧项目。使用模式的心智：所有的设计都应该尽量保持简单。只有在需要实践扩展的地方...原创 2019-10-15 21:48:53 · 212 阅读 · 0 评论