http://www.cnblogs.com/fengyan/archive/2012/05/06/2480664.html

1. SVD简介

假如要预测Zero君对一部电影M的评分，而手上只有Zero君对若干部电影的评分和风炎君对若干部电影的评分（包含M的评分）。那么能预测出Zero君对M的评分吗？答案显然是能。最简单的方法就是直接将预测分定为平均分。不过这时的准确度就难说了。本文将介绍一种比这个最简单的方法要准上许多，并且也不算复杂的算法。
SVD(Singular Value Decomposition)的想法是根据已有的评分情况，分析出评分者对各个因子的喜好程度以及电影包含各个因子的程度，最后再反过来根据分析结果预测评分。电影中的因子可以理解成这些东西：电影的搞笑程度，电影的爱情爱得死去活来的程度，电影的恐怖程度。。。。。。SVD的想法抽象点来看就是将一个N行M列的评分矩阵R（R[u][i]代表第u个用户对第i个物品的评分），分解成一个N行F列的用户因子矩阵P（P[u][k]表示用户u对因子k的喜好程度）和一个M行F列的物品因子矩阵Q（Q[i][k]表示第i个物品的因子k的程度）。用公式来表示就是
R = P * T(Q) //T(Q)表示Q矩阵的转置

下面是将评分矩阵R分解成用户因子矩阵P与物品因子矩阵Q的一个例子。R的元素数值越大，表示用户越喜欢这部电影。P的元素数值越大，表示用户越喜欢对应的因子。Q的元素数值越大，表示物品对应的因子程度越高。分解完后，就能利用P，Q来预测Zero君对《七夜》的评分了。按照这个例子来看，Zero君应该会给《七夜》较低的分数。因为他不喜欢恐怖片。注意不要纠结图中的具体数值，因为那些数值是我随便填上去的。

实际上，我们给一部电影评分时，除了考虑电影是否合自己口味外，还会受到自己是否是一个严格的评分者和这部电影已有的评分状况影响。例如：一个严格评分者给的分大多数情况下都比一个宽松评分者的低。你看到这部电影的评分大部分较高时，可能也倾向于给较高的分。在SVD中，口味问题已经有因子来表示了，但是剩下两个还没有相关的式子表示。因此有必要加上相关的部分，提高模型的精准度。改进后的SVD的公式如下：
R = OverallMean + biasU + biasI + P * T(Q)　　　　（1）
其中OverallMean表示所有电影的平均分，biasU表示用户评分偏离OverallMean的程度，biasI表示电影评分偏离OverallMean的程度，P，Q意思不变。特别注意，这里除了OverallMean之后，其它几个都是矩阵。

分解完后，即（1）式中的五个参数都有了正确的数值后，就可以用来预测分数了。假设我们要预测用户u对电影i的评分：

bu表示第u个用户的偏离程度，bi表示第i部电影的偏离程度，pu表示第u个用户的因子爱好程度，qi表示第i部电影的因子程度。

2. SVD实现

在第一部分的例子中，你也许会有疑问：明明评分矩阵有一个元素的值是空的，为什么还能得到两个完整的矩阵P和Q呢？原因是那两个矩阵是通过学习(learning)得到的。SVD使用随机梯度下降(stochastic gradient descent)学习（1）式中除了OverallMean之外的参数。学习过程可以概括成这样：先给各个参数一个初值，然后利用这些参数进行预测，并将预测结果与已知评分进行对比，最后根据对比结果修正各个参数。更准确点的说法是调整参数的值，使得以下式子能取到最小值：

ALPHA表示所有训练样本。被第一个圆括号括着的部分表示当前的预测结果与实际值的偏差。被第二个圆括号括着的部分是为了防止过拟合(overfitting)。

以上就是SVD实现时的主要思想了，至于具体实现可以参考我的代码。这个实现版本在movielens 1M上的效果比《A Guide to Singular Value Decomposition for Collaborative Filtering》中提到的要好一点点。这里，我主要提一下实现SVD时要注意的地方：
a. 更新qi时，要先保存
b. 预测分数时，范围要限制在最小值和最大值内

此外，这是我找到的一些有用的建议：
a. 所有参数的regularization 值是一样的，不用特别区分bu, bi和 p，q
b. bu, bi不需要初始化，全部设成0
c. P,Q应该的初始化，一般使用 0.1 * rand(0,1) / sqrt(dim) dim指特征的维数

3. 扩展阅读

下面的几篇文章尽管是英文的，但对SVD的讲解非常好，强烈推荐给对SVD感兴趣的人。

1. Netflix Update: Try This at Home

2. A Guide to Singular Value Decomposition for Collaborative Filtering

3. Matrix Factorization Techniques for Recommender Systems

协同过滤相关算法(1)：SVD相关推荐

svd协同过滤java实现_利用 SVD 实现协同过滤推荐算法
奇异值分解(Singular Value Decomposition,以下简称SVD) 是在机器学习领域广泛应用的算法,它不光可以用于降维算法中的特征分解,还可以用于推荐系统,以及自然语言处理等领域. ...
eq值推荐算法_利用 SVD 实现协同过滤推荐算法
奇异值分解(Singular Value Decomposition,以下简称SVD) 是在机器学习领域广泛应用的算法,它不光可以用于降维算法中的特征分解,还可以用于推荐系统,以及自然语言处理等领域. ...
基于音乐/电影/图书的协同过滤推荐算法代码实现（基于用户推荐、基于项目推荐、基于SlopeOne算法推荐、基于SVD算法推荐、混合加权推荐）
基于音乐/电影/图书的协同过滤推荐算法代码实现(基于用户推荐.基于项目推荐.基于SlopeOne算法推荐.基于SVD算法推荐.加权混合推荐) 一.开发工具及使用技术 MyEclipse10.jdk1. ...
【机器学习】基于奇异值分解（SVD）的协同过滤推荐算法及python实现
[机器学习]基于奇异值分解(SVD)的协同过滤推荐算法及python实现一.协同过滤推荐算法 1.1.协同过滤算法的分类 1.2.相似度的度量 1.3.商品评分的预测二.奇异值分解(SVD)在协同 ...
推荐算法工程师必备！！！协同过滤推荐算法总结
推荐算法具有非常多的应用场景和商业价值,因此对推荐算法值得好好研究.推荐算法种类很多,但是目前应用最广泛的应该是协同过滤类别的推荐算法,本文就对协同过滤类别的推荐算法做一个概括总结,后续也会对一些典型 ...
基于神经网络的推荐算法,协同过滤推荐算法python
大数据运维的主要工作内容是什么? . 大数据相关工作岗位很多,有大数据分析师.大数据挖掘算法工程师.大数据研发工程师.数据产品经理.大数据可视化工程师.大数据爬虫工程师.大数据运营专员.大数据架构师. ...
从原理到实现，详解基于朴素ML思想的协同过滤推荐算法
作者丨gongyouliu 编辑丨Zandy 来源 | 大数据与人工智能(ID: ai-big-data) 作者在<协同过滤推荐算法>.<矩阵分解推荐算法>这两篇文章中介绍了几 ...
从原理到落地，七大维度读懂协同过滤推荐算法
作者丨gongyouliu 来源 | 大数据与人工智能导语:本文会从协同过滤思想简介.协同过滤算法原理介绍.离线协同过滤算法的工程实现.近实时协同过滤算法的工程实现.协同过滤算法应用场景.协同过滤算 ...
【知识发现】基于用户的协同过滤推荐算法python实现
1.协同过滤推荐算法分为两类,分别是基于用户的协同过滤算法(user-based collaboratIve filtering),和基于物品的协同过滤算法(item-based collaborat ...
基于Hbase的用户评分协同过滤推荐算法
基于Hbase的用户评分协同过滤推荐算法作者: 张保维 2012-1-3 一. 概述本文为推荐引擎设计的基础篇,介绍基于hbase 存储方式用户评分的方式进行推荐的主体算法及在分布式平台环境下的实 ...

协同过滤相关算法(1)：SVD

http://www.cnblogs.com/fengyan/archive/2012/05/06/2480664.html

1. SVD简介

2. SVD实现

3. 扩展阅读

协同过滤相关算法(1)：SVD相关推荐

最新文章

热门文章