Spark ML -1：ALS推荐算法

最新推荐文章于 2024-11-16 22:55:17 发布

GE12

最新推荐文章于 2024-11-16 22:55:17 发布

阅读量2.8k

点赞数

分类专栏： spark

本文链接：https://blog.csdn.net/ZhongGuoZhiChuang/article/details/70154336

版权

spark 专栏收录该内容

19 篇文章

订阅专栏

矩阵分解

推荐系统，最基本的一个数据就是，用户-物品的评分矩阵，如下图1所示

图1

矩阵中，描述了5个用户(U1,U2,U3,U4 ,U5)对4个物品(D1,D2,D3,D4)的评分(1-5分)，- 表示没有评分，现在目的是把没有评分的给预测出来，然后按预测的分数高低，给用户进行推荐。

ALS 的核心就是下面这个假设：打分矩阵A是近似低秩的。换句话说，一个的打分矩阵 A 可以用两个

小矩阵和的乘积来近似：。这样我们就把整个系统的自由度从

一下降到了。“打分矩阵A(m*n)”就可以由“用户喜好特征矩阵U(m*k)”和“产品特征矩阵V(n*k)”的

乘积来近似了。矩阵U、矩阵V如下图所示：

显性反馈和隐性反馈

我们知道，在推荐系统中用户和物品的交互数据分为显性反馈和隐性反馈数据的。在ALS中这两种情况也是被考虑了进来的，分别可以训练如下两种模型：

    
    val model1 = ALS.train(ratings, rank, numIterations, lambda)//显性反馈模型
val model2 = ALS.trainImplicit(ratings, rank, numIterations, lambda, alpha)//隐性反馈模型

参数：

rating：由用户-物品矩阵构成的训练集

rank：隐藏因子的个数

numIterations: 迭代次数

lambda：正则项的惩罚系数

alpha：置信参数

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

GE12

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

推荐系统8:SparkML实现协同过滤ALS

————————————

04-29

451

推荐系统8:SparkML实现协同过滤ALS

Spark---ALS推荐算法

Tubby的博客

03-03

5982

1 条评论您还未登录，请先登录后发表或查看评论

03-07

一个完成的spark mllib 协同过滤推荐算法ALS 完整实例程序，基于 spark yarn-client模式运行，另外，包括训练数据。

孙其功陪你学之——Spark MLlib之协同过滤

启功社区

03-18

1265

转自程序员的自我修养 – SelfUp.cn 由于在学习 spark mllib 但是如此详细的资料真的很难找，在此分享。1,220次浏览什么是协同过滤协同过滤(Collaborative Filtering, 简称CF)，wiki上的定义是：简单来说是利用某兴趣相投、拥有共同经验之群体的喜好来推荐使用者感兴趣的资讯，个人透过合作的机制给予资讯相当程度的

spark ml之推荐系统实现

weixin_39031707的博客

08-23

530

//查看下给定列个值得一个基本信息,例如数量平均值最大值最小值中位数这些基本描述 rating.describe("userId","movieId","rating").show } } 查看数据的平均值中位数最大值,最小值,对数据有个最基本的认识将数据分文三部分:训练集验证集测试集 val splits = rating.randomSplit(Array(0.6,0.2,0.2),seed=1234)// 1234为随机种子,为了保证每次的验证结果相同 ...

Spark推荐系统

iMark

11-28

259

上个项目太难了这次搞个简单的项目架构主要数据模型

Spark-ml-algo-lib:坤鹏机器学习库的开源代码-spark source code

03-24

Spark-ml-算法库介绍运行在Kunpeng处理器上的机器学习算法库是一个加速库，它为机器学习算法提供了丰富的高级工具集。它基于Apache 和的原始...（1）在“ Spark-ml-algo-lib”目录下构建项目： mvn clean package

基于spark-ml,spark-mllib,spark-streaming的推荐算法实现.zip

03-14

总的来说，"基于spark-ml,spark-mllib,spark-streaming的推荐算法实现" 这个项目展示了如何利用 Spark 的强大功能构建一个高效的推荐系统，结合了批量处理和实时处理的能力，以适应不断变化的用户需求。这对于理解 ...

spark实现ALS算法-附scala代码

赵亮的CSDN博客

08-05

1601

本文记录了使用scala语言在spark上实现ALS模型的相关内容，如有问题可以邮件(zhaoliang19960421@outlook.com)或微信(BestCoder_BestLife)与我联系有关协同过滤的相关内容详见 spark协同过滤算法-附scala代码在itemCF中以user-item-score矩阵为输入，通过计算在原始矩阵中的item向量(每个用户对该向量的行为为评分，全部用户的评分向量)之间的相似度来得到推荐相似的item。采用这样的方式依赖的是当两个item有相同的用户有行为时

Spark机器学习（Chapter 04）推荐系统

dengjiaxing0321的博客

06-26

741

代码： #coding:utf-8 from pyspark import SparkContext sc = SparkContext("local[4]", "MovieLens Spark App") rawData=sc.textFile("../02/ml-100k/u.data") print rawData.first() rawRating=rawData.map(lambda

Spark ALS 算法预测评分解释

08-02

ALS 推荐评分注意点

ALS

03-04

使用Webpack 4的静态html页面这是与webpack组装在一起的静态网站（纯html / css / javascript）的简单示例。建造先决条件节点和NPM 在本地运行 npm i安装依赖项 npm start启动开发服务器生成的文件在哪里？在development模式webpack不写入生成的文件到硬盘，以改变其切换devServer.writeToDisk到true的运行生产版本 npm run preview 生产 npm run build以在dist/目录中准备html ， css ， js文件学分总部

05-23

11-11

SparkML之推荐算法（一）ALS

热门推荐

legotime的博客

07-06

2万+

ALS(alternating least squares ):交替最小二乘法 --------------------------------------------------------------------- 原理应用 Matlab 主成分分析应用als Spark源码 SparkML实验 -------------------------------------------

大数据进阶之协同过滤推荐算法——SparkML ALS交替最小二乘法

Clozzz的博客

10-22

1013

算法介绍： ALS是交替最小二乘法的简称，ALS特指使用交替最小二乘求解的一个协同过滤的推荐算法。通过观察用户对购买商品的评价，来推断每个用户的喜好并向用户推荐合适的商品。案例解析：西游记水浒传红楼梦三国演义简爱用户1 3 7 4 8 用户2 2 5 用户3 6 用户4 7 4 1 上表所描述的是一个用户对几本名著的一个评分结果。近似的可以理解成为一个矩阵。在现实的生产环境中，矩阵的行和列都会非常大，ALS的基本思想就是将一个很大的矩阵拆分

深度学习指——链式法则+MLP（多层感知机）反向传播梯度推到

qq_45802081的博客

03-30

258

链式法则学习记录：学习记录链接学习记录 MLP反向传播梯度推导很详细 minma: f(3,2) = 0 f(−2.805118,3.131312) = 0 f(−3.779310,−3.283186) = 0 f(3.584428,−1.848126) = 0 可视化： import numpy as np import matplotlib.pyplot as plt import torch import os os.environ['KMP_DUPLICATE_LIB_OK'] = 'T

ML 自实现/MLP多层感知机

求道问术

02-21

761

简介生物神经元人工神经元生物神经网络人工神经网络原理图片神经元 anla_n^lanl：l（layer）层数，n（number）编号，第几个神经元权重 wi,jlw_{i,j}^lwi,jl：i=上一层神经元编号=anl的ni=上一层神经元编号=a_n^l的ni=上一层神经元编号=anl的n，j=下一层神经元编号=anl+1的nj=下一层神经元编号=a_n^{l+1}的nj=下一层神经元编号=anl+1的n 偏置（bias）偏置可以更好的拟合数据偏置值将激活函数

ALS 推荐算法案例演示（python）