- 博客(3)
- 收藏
- 关注
RSS订阅原创 java.lang.ClassCastException: org.apache.spark.sql.catalyst.expressions.GenericRowWithSchema cannot
先准备构造一个DataFrame，其中scores字段是一个序列，里面的每一个元素是一个元组：import spark.implicits._val df: DataFrame = Seq( ("A", Seq(("1", 5.0), ("3", 2.0))), ("B", Seq(("1", 4.0), ("2", 5.0))), ("C", Seq(("2", 5.0), ("3", 2.0)))).toDF("userId", "scores") .cache()df.pr
2020-11-23 09:02:11
2306
1
原创 SparkSQL 全面深度解析
博主最开始在使用Spark时喜欢使用Spark Core的RDD相关算子进行计算，后来发现Spark SQL比RDD算子好用多了，并且Spark开发者很重视Spark SQL模块功能的更新（在Spark 3.0 版本中的功能更新中，Spark SQL 模块的更新占比46%，排名第一；Spark Core模块的更新占比16%，排名第二），因此，熟练掌握Spark SQL的底层原理并熟练运用是非常有必要的。
2020-07-26 09:23:35
2221
原创 用拉格朗日乘子理解正则项时出现的问题
用拉格朗日乘子理解正则项y^=f(∗∗θ∗∗) \hat{y}=f(**\theta**)y^=f(∗∗θ∗∗)
2019-05-11 16:32:58
1024
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人