- 博客(26)
- 收藏
- 关注
RSS订阅原创 Spark学习笔记12：DataFrame与Dataset
在Spark中，一个DataFrame所代表的是一个元素类型为Row的Dataset，即DataFrame只是Dataset[Row]的一个类型别名。
2022-06-13 17:39:04
874
原创 Spark学习笔记10:创建RDD
目录一、什么是RDD（一）RDD概念（二）RDD示例（三）RDD主要特征二、做好准备工作（一）准备文件1、准备本地系统文件2、启动HDFS服务3、准备HDFS系统文件（二）启动SparkShell1、启动Spark服务2、启动Spark Shell三、创建RDD（一）从对象集合创建RDD1、利用parallelize()方法创建RDD2、利用makeRDD()方法创建RDD 3、总结说明（二）从外部存储创建RDD1、读取......
2022-05-17 10:34:07
1758
原创 Spark学习笔记08:Scala数据结构
目录（一）定长数组1、数组定义（1）定义数组时初始化数据（2）定义时指定数组长度后赋值2、数组遍历（1）传统for循环方式（2）增强for循环方式（3）利用foreach算子遍历数组（4）数组求和3、常用方法（1）求数组中数值总和（2）求数组中的最大值（3）求数组中的最小值（4）对数组进行升序排序（5）对数组进行降序排序（二）变长数组1、数组定义2、数组合并3、插入元素4、移除元素二、列表 (List)（一）不可变列表
2022-05-17 09:54:14
788
原创 Spark学习笔记07:Scala函数
目录一、声明函数（一）显式声明函数1、声明格式2、注意事项3、案例演示 （1）加法函数 （2）阶乘函数（二）隐式声明函数1、声明格式2、注意事项3、案例演示 （1）加法函数 （2）三整数加法函数和阶乘函数 （3）打印直角三角形 （4）计算1 + 2 + 3 + …… + 100的值二、Scala函数种类（一）成员方法1、基本概念2、案例演示 案例1：显示文件中长度超过15的行 .........
2022-05-14 11:28:50
448
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人