大数据应用-基于大数据的推荐算法研究3413887.pptx

《大数据应用-基于大数据的推荐算法研究3413887.pptx》由会员分享，可在线阅读，更多相关《大数据应用-基于大数据的推荐算法研究3413887.pptx（34页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、基于大数据的推荐算法研究 论文框架 22TopKS 算法33基于项目层次结构相似性的推荐算法44矩阵分解并行化55总结与展望11课题背景与研究意义图书推荐新闻推荐亚马逊当当网淘宝网央广网课题背景l 启发式的协同过滤 代表的方法：KNNl 基于模型的协同协同过滤 代表的方法：矩阵分解课题背景l 余弦距离l 皮尔逊相关系数luser1(3,2,?,4)user2(2,3,?,?)user3(?,?,4,3)user4(4,?,?,1)user5(?,5,5,?)课题背景.X21*y21+x22*y22+x23*y23 3u2 v2.=l 交替下降l 梯度下降研究意义l 用户量猛增l 项目（商品、新

2、闻等）数量猛增l 推荐算法的可扩展性不强TopkS 算法l 采用余弦距离和皮尔逊相关公式累加性特点l 引入倒排索引数据结构l 结合TopK 思想TopKS 是Top K Similarity 的简写，即最大的前K 个相似度。主要包含以下三部分：TopkS 算法余弦距离皮尔逊相关系数TopkS 算法倒排索引TopkS 算法计算u1 和其他用户的相似度 TopkS 算法 假设查找用户ui 的最近邻用户，当前计算到用户ui 和uj第k1 个共同项目（i!=j），而ui 和uj 有k个共同评分项目,则分为两种情况：1.如果uj 已经在最近邻列表LS 中，则直接更新列表中的相似度；2.如果uj 不在最近

3、邻列表LS 中，则计算用户ui 和uj 可能的最大值，下面是余弦距离和皮尔逊相关系数可能的最大值：余弦距离TopkS 算法皮尔逊相关系数计算出 之后，是从LS 中剔除最小值，插入uj把uj 加入黑名单否TopkS 算法不同稀疏度对近邻计算的影响 TopkS 算法不同规模用户数量上的比较实验 TopkS 算法不同K 值对执行时间的影响 基于项目层次结构相似性的推荐算法基于项目层次结构相似性的推荐算法相似度度量节点之间的距离度量：然后利用最短路径算法Dijkstra 结合TopK 思想找到最相近的项目；基于项目层次结构相似性的推荐算法三种算法效果对比矩阵分解并行化目标函数采用梯度下降方法，V 的更

4、新公式通常是：这里注意：是一个常数，对因子矩阵中的每个元素都一样矩阵分解并行化同理，用户因子矩阵U 也可以近似为矩阵乘除的形式.,V 的更新公式变为：这里 把步长修改为因子矩阵中每个元素一个值，如下：矩阵分解并行化MapReduce 编程模型矩阵分解并行化a11a12a13a21a22a23a31a32a33a41a42a43左矩阵Ab11b12b13b14b21b22b23b24b31b32b33b34右矩阵B1.内积法2.外积法3.分块矩阵乘法c11c12c13c14c21c22c23c24c31c32c33c34c41c42c43c44结果矩阵CC=AB介绍矩阵的分布式乘法时，假设：左矩

5、阵A 是ms右矩阵B 是sn结果矩阵C 是mn矩阵分解并行化.内积法矩阵分解并行化内积法数据流程图 内积法中Reduce 任务与数据的对应关系注：R_i_j 表示Reduce 任务的编号并发粒度：mns中间shuffle 数据量：n 个A 矩阵，m 个B 矩阵，即2s 个C 矩阵矩阵分解并行化+=外积法矩阵分解并行化外积法数据流程图 外积法中Reduce 任务与数据的对应关系注：R_i_j 表示Reduce 任务的编号并发粒度：s中间数据量：Job1 的shuffle 数据量：一个A 矩阵和一个B 矩阵Job1 到Job2 的IO 数据量：s 个C 矩阵Job2 的shuffle 数据量：远小

6、于s 个C 矩阵矩阵分解并行化把左矩阵划分为m1s1 等大小的矩阵，右矩阵划分为s1n1 的等大小矩阵，则有：M=(m-1)/m1+1S=(s-1)/s1+1N=(n-1)/n1+1 并发粒度：MNS中间数据量：N 个A 矩阵和M 个B 矩阵矩阵分解并行化矩阵规模与运行时间的关系 矩阵分解并行化矩阵稀疏度与运行时间的关系矩阵分解并行化分块策略与运行时间的关系 分块策略与中间数据量的大小关系 矩阵分解并行化工作节点数量与运行时间的关系 总结与展望本文工作1.对传统的相似度度量方法进行改进 2.提出基于项目标签层次结构的相似度度量方法3.矩阵分解算法并行化未来展望1.利用MPI 分布式模型并行化矩阵分解模型；2.实现通过构造传统推荐算法的近似算法把传统推荐算法并行化谢谢!