矩阵分解在推荐系统中的应用：NMF和经典SVD实战(2).docx

《矩阵分解在推荐系统中的应用：NMF和经典SVD实战(2).docx》由会员分享，可在线阅读，更多相关《矩阵分解在推荐系统中的应用：NMF和经典SVD实战(2).docx（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、矩阵分解在推荐系统中的应用：NMF和经典SVD实战(2)已经有过介绍。用户以及物品的主题分布#!/usr/bin/python2.7#coding:UTF-8importnumpyasnpfromsklearn.decompositionimportNMFimportmatplotlib.pyplotaspltRATE_MATRIXnp.array(5,5,3,0,5,5,5,0,4,0,4,4,0,3,0,5,4,5,5,4,3,3,5,5nmfNMF(n_components2)#设有2个隐主题user_distributionnmf.fit_transform(RATE_MATRIX)i

2、tem_distributionnmfponents_print用户的主题分布printuser_distributionprint物品的主题分布printitem_distribution运行后输出用户的主题分布2.208842750.841374922.08253282-0.-0.3.181544061.849926031.60839505物品的主题分布2.41299311.025242351.622581520.1.801110781.695919430.04357411.135060940.1.545263371.212534941.48756118可视化物品的主题分布#!/usr/b

3、in/python2.7#coding:UTF-8importnumpyasnpfromsklearn.decompositionimportNMFimportmatplotlib.pyplotaspltRATE_MATRIXnp.array(5,5,3,0,5,5,5,0,4,0,4,4,0,3,0,5,4,5,5,4,3,3,5,5nmfNMF(n_components2)user_distributionnmf.fit_transform(RATE_MATRIX)item_distributionnmfponents_item_distributionitem_distribution.

4、Tplt.plot(item_distribution:,0,item_distribution:,1,b*)plt.xlim(-1,3)plt.ylim(-1,3)plt.title(uthedistributionofitems(NMF)count1foriteminitem_distribution:plt.text(item0,item1,itemstr(count),bboxdict(facecolorred,alpha0.2),)count1plt.show()结果从间隔的角度来看item5以及item6比拟类似从余弦相似度角度看item2、5、6比拟相似item1、3比拟相似。可

5、视化用户的主题分布#!/usr/bin/python2.7#coding:UTF-8importnumpyasnpfromsklearn.decompositionimportNMFimportmatplotlib.pyplotaspltRATE_MATRIXnp.array(5,5,3,0,5,5,5,0,4,0,4,4,0,3,0,5,4,5,5,4,3,3,5,5nmfNMF(n_components2)user_distributionnmf.fit_transform(RATE_MATRIX)item_distributionnmfponents_usersBen,Tom,John,

6、Fredzip_datazip(users,user_distribution)plt.title(uthedistributionofusers(NMF)plt.xlim(-1,3)plt.ylim(-1,4)foriteminzip_data:user_nameitem0dataitem1plt.plot(data0,data1,b*)plt.text(data0,data1,user_name,bboxdict(facecolorred,alpha0.2),)plt.show()结果从间隔的角度来看Fred、Ben、Tom的口味差不多从余弦相似度角度看Fred、Ben、Tom的口味还是差

7、不多。怎样推荐如今对于用户A怎样向其推荐物品呢方法1找出与用户A最相似的用户B将B评分过的、评分较高、A没评分过的的假设干物品推荐给A。方法2找出用户A评分较高的假设干物品找出与这些物品相似的、且A没评分的假设干物品推荐给A。方法3找出用户A最感兴趣的k个主题找出最符合这k个主题的、且A没评分的假设干物品推荐给A。方法4由NMF得到的两个矩阵重建评分矩阵。例如#!/usr/bin/python2.7#coding:UTF-8importnumpyasnpfromsklearn.decompositionimportNMFimportmatplotlib.pyplotaspltRATE_MATR

8、IXnp.array(5,5,3,0,5,5,5,0,4,0,4,4,0,3,0,5,4,5,5,4,3,3,5,5RATE_MATRIX1,20#对评分矩阵略做修改print新评分矩阵printRATE_MATRIXnmfNMF(n_components2)user_distributionnmf.fit_transform(RATE_MATRIX)item_distributionnmfponents_reconstruct_matrixnp.dot(user_distribution,item_distribution)filter_matrixRATE_MATRIX1e-6#小于0pr

9、int重建矩阵并过滤掉已经评分的物品printreconstruct_matrix*filter_matrix运行结果新评分矩阵553055500044030545543355重建矩阵并过滤掉已经评分的物品0.0.0.0.804431330.0.0.2.191486021.735607970.0.0.0.025435680.0.486928910.0.0.0.0.0.0.0.0.对于Tom评分矩阵的第2行其未评分过的物品是item2、item3、item4。item2的推荐值是2.19148602item3的推荐值是1.73560797item4的推荐值是0假设要推荐一个物品推荐item2。怎

10、样处理有评分记录的新用户NMF是将非负矩阵V分解为两个非负矩阵W以及HVWH在本文上面的实现中V对应评分矩阵W是用户的主题分布H是物品的主题分布。对于有评分记录的新用户怎样得到其主题分布方法1有评分记录的新用户的评分数据放入评分矩阵中使用NMF处理新的评分矩阵。方法2物品的主题分布矩阵H保持不变将V更换为新用户的评分组成的行向量求W即可。下面尝试一下方法2。设新用户Bob的评分记录为5,5,0,0,0,5#!/usr/bin/python2.7#coding:UTF-8importnumpyasnpfromsklearn.decompositionimportNMFimportmatplotl

11、ib.pyplotaspltRATE_MATRIXnp.array(5,5,3,0,5,5,5,0,4,0,4,4,0,3,0,5,4,5,5,4,3,3,5,5nmfNMF(n_components2)user_distributionnmf.fit_transform(RATE_MATRIX)item_distributionnmfponents_bob5,5,0,0,0,5printBob的主题分布printnmf.transform(bob)运行结果是Bob的主题分布1.378005340.69236738经典SVD关于SVD的一篇好文章。相关分析与上面类似这里就直接上代码了。#!/u

12、sr/bin/python2.7#coding:UTF-8importnumpyasnpfromscipy.sparse.linalgimportsvdsfromscipyimportsparseimportmatplotlib.pyplotaspltdefvector_to_diagonal(vector):将向量放在对角矩阵的对角线上:paramvector:return:if(isinstance(vector,np.ndarray)andvector.ndim1)orisinstance(vector,list):lengthlen(vector)diag_matrixnp.zeros

13、(length,length)np.fill_diagonal(diag_matrix,vector)returndiag_matrixreturnNoneRATE_MATRIXnp.array(5,5,3,0,5,5,5,0,4,0,4,4,0,3,0,5,4,5,5,4,3,3,5,5RATE_MATRIXRATE_MATRIX.astype(float)U,S,VTsvds(sparse.csr_matrix(RATE_MATRIX),k2,maxiter200)#2个隐主题Svector_to_diagonal(S)print用户的主题分布printUprint奇异值printSpri

14、nt物品的主题分布printVTprint重建评分矩阵并过滤掉已经评分的物品printnp.dot(np.dot(U,S),VT)*(RATE_MATRIX1e-6)运行结果用户的主题分布-0.222797130.57098887-0.517235550.42747510.824620290.384599310.053199730.585935266.391671450.0.17.71392084物品的主题分布-0.537287430.24605053-0.403295820.670043930.059695180.188709990.447218670.358615310.292463360

15、.207791510.509933310.53164501重建评分矩阵并过滤掉已经评分的物品0.0.0.1.147523760.0.0.1.902085430.-0.641713680.0.0.214912370.-0.133168880.0.0.0.0.0.0.0.0.可视化一下经典SVD协同过滤0代表没有评分但是上面的方法怎样推荐这一节的方法4又确实把0看作了评分所以最终得到的只是一个推荐值而且总体都偏小而无法当作预测的评分。在有这方面的讨论。SVD扼要介绍SVD的目的是将m*n大小的矩阵A分解为三个矩阵的乘积AUSVTU以及V都是正交矩阵大小分别是m*m、n*n。S是一个对角矩阵大小是m*n对角线存放着奇异值从左上到右下依次减小设奇异值的数量是r。取kkr。获得的前k列得到