基于用户聚类的个性化推荐方法研究-熊琴巧.pdf

《基于用户聚类的个性化推荐方法研究-熊琴巧.pdf》由会员分享，可在线阅读，更多相关《基于用户聚类的个性化推荐方法研究-熊琴巧.pdf（56页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、江西财经大学JIANGX q。U。N。I。VE。Rg。lI。1。O。F FtNANCE&。E。C。ONO1。MICSII LIIIIIINIIIIIIlUlIINIIIllY3227687学校代码密级中图分类号UDC硕士学位论文MA STER DISSERTATIoN论文题目 叁主旦苤塞塑仝丝垡整莶壅选堑窒(中文)论文题目(英文)作 者申请学位Research on Personalized Recommendation Method旦签d!堕堕s盟坚!女煎!逊g熊琴巧 导 师 张富国 副教授塑 培养单位 信息管理学院学科专业 管理堂堂鱼兰堡 研究方向堡!垒釜垄生焦垦垂绫二。一七年六月万方数据

2、独创性声明本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得江西财经大学或其他教育机构的学位或证书所使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。签名：垡丝鱼 日期：21 1 2：生：_关于论文使用授权的说明本人完全了解江西财经大学有关保留、使用学位论文的规定，即：学校有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。(保密的论文在解密后遵守此规定)

3、签名：朔勿 导师签名：雄日期：业L万方数据目 录1绪i仑111研究背景及意义l12国内外研究现状2121推荐系统中数据稀疏性问题研究现状2122基于二部图网络结构的推荐方法研究现状4123基于聚类的推荐方法研究现状513论文的主要工作和创新点814论文的组织结构815本章小结92相关理论与技术1021推荐系统概述一1022协同过滤推荐算法1123基于物质扩散的二部图推荐算法一1424聚类技术在推荐系统中的应用一16241常用的聚类方法17242基于聚类的推荐算法1925本章小结一203合并聚类用户评分的协同过滤推荐算法2 l31问题的提出一2132算法整体框架一2l33合并聚类用户评分的协同过

4、滤算法构建一22331用户聚类22332合并聚类邻居评分23333预测评分2334算法举例一243。5实验25351实验数据25352算法评价指标26353实验结果分析2736本章小结一294基于用户聚类的非均匀资源配置的物质扩散推荐算法3041算法提出依据一3042基于用户聚类的非均匀资源配置的物质扩散算法构建一31421用户聚类3 1422基于用户聚类关系配置初始资源值31423基于用户聚类的物质扩散32424产生推荐结果3243算法举例一3244实验33441实验数据33442算法评价指标33443实验结果分析34万方数据45本章小结375总结和展望3951全文总结一3952后续工作展望

5、一40参考文献41攻读硕士期间的科研成果45致射46II万方数据Contents1 Introduction-111 Researchbackgroundand significance112 Domestic and foreign research situation2121 Research status of data sparsity in recommended systems2122 Research status of recommendation methods based on bipartite networkstructIare-4123 Research status

6、 of recommendation methods based on clustering。513 The main work and innovations ofthe paper-814 S缸uc骶ofthepaper815 Summary ofthis chapter-92 Relevant theory and technology-lO21 Overviewofrecommended systems一1022 Collaborative filtering recommendation algorithm一l l23 Bipartite recommendation algorit

7、hm based on mass diffusion1 424 Application of clustering technology in recommended systems。1 6241 Commonly used clustering methods17242 Recommendation algorithm based on clusteringl 925 Summary ofthis chapter203 Merging clustering user ratings of collaborative filtering recommendationalgorithm-2131

8、 Problem introduction2l32Algorithmframework一2l33 Construction of algorithm based on user clustering to alleviate data sparsity。22331 Userclustering22332 Merging clustering neighborratings23333 Forecastratings2334 Example-2435 Experiment25351 Experimental data25352 Evaluationmetrics26353 Analysis ofe

9、xperimental results。2736 Smnmary ofthis chapter294 Nonuniform resource distribution mass diffusion recommendation algorithmm万方数据based on userclustering-3041 Algorithmbasis-3042 Construction of non-unifornl resource distribution Mass diffusionrecommendation algorithm based on user clustering-31421 Us

10、erclustering31422 Configuring initial resource values based on user clustering3 l423 Mass di儡sion based on user clustering3242。4 Produce recommendation results3243 Example13244 Experiment33441 Experimentaldata-33442 Evaluationmetrics-，-33443 Analysis ofexperimental results3445 Summary ofthis chapter

11、375 Summary and outlook3951 Summary ofthispaper3952 The furtherwork40Reference-，一4lScientific research achievements during master1 45Acknowledgment。46IV万方数据摘要近年来，互联网技术的迅猛发展使得Web成为人们获取信息的重要方式，用户在面对愈加丰富的信息海洋和各种类型的信息，反而迷失其中。推荐系统可以缓解“信息过载”引发的“信息迷失”问题。聚类技术应用到推荐中可以缓解数据稀疏、扩展性和冷启动等问题，但聚类技术的引入并不是都能提高推荐的效果。这是

12、由于聚类方法本身具有一定的缺陷，如聚类质量不高、聚类结果不稳定等，再把这种不是很好的聚类结果应用到推荐中，必然会造成推荐质量下降。如何巧妙地将聚类技术运用到推荐系统中来提高推荐结果的准确率是基于聚类的推荐研究的重点。本研究的思路是：通过聚类技术建立用户聚类模型，利用该模型产生的填充评分可以解决协同过滤中数据稀疏性问题，同时，利用该模型来配置物质扩散算法中非均匀的初始资源值。基于此研究思路提出了两个推荐算法，合并聚类用户评分的协同过滤推荐算法(UCCF)和基于用户聚类的非均匀资源配置的物质扩散推荐算法(UCMD)。该推荐算法主要利用了聚类技术，把产生的用户聚类模型引入到推荐中。本论文的主要研究内

13、容包括如下三个方面。(1)针对传统协同过滤推荐算法面临的数据稀疏闯题，提出一种合并聚类用户评分的协同过滤推荐算法。首先对用户聚类，把目标用户所在聚类的其他用户作为近邻，合并聚类邻居的评分可以产生新的评分项，把这些评分填充到原有评分记录里。在新的评分数据下，我们重新计算用户问的相似度，通过这样的方法查找到的近邻较传统方法查找到的准确性更高，根据更加精准的近邻集合计算得到的预测评分准确率也更高。(2)针对二部图网络结构的推荐算法中物品的初始资源值设置为0l的做法，提出一种基于用户聚类的非均匀资源配置的物质扩散推荐算法。首先根据用户对物品的评分对用户聚类，接着依据聚类模型，对目标用户选择过的物品和与

14、目标用户在同一个聚类的用户选择过的物品设置不同的初始资源，最后利用经典的物质扩散算法进行后续推荐。(3)利用MovieLens站点上真实的数据集测试本研究提出的合并聚类用户评分的协同过滤推荐算法(UCCF)和基于用户聚类的非均匀资源配置的物质扩散推荐算法(UCMD)。UCCF算法的实验结果表明：在利用用户聚类模型填充评分之后的数据上和没经过填充的评分数据上使用标准协同过滤算法，前者的平均绝对误差(MAE)要低得多。UCMD算法的实验结果表明：算法在分类准确率、排名权重、用户与用户之间的多样性指标上都优于标准的物质扩散，新颖性和标准物质扩散持平，算法在提高推荐准确率的同时也提高了推荐的多样性，而

15、且新颖性万方数据也保持在较高水平。关键词：推荐系统；数据稀疏；聚类；协同过滤；物质扩散万方数据AbstractRecently,the rapid development of Internet technology makes Web become animportant way for people to obtain information，however,”information overload”makespeople lost in the increasingly rich ocean of information and diverse types ofinformation，

16、the recommendation system Can help users to effectively solve the networkinformation lostThe application of clustering technology in recommendation canalleviate the problem of data sparsity,scalability and cold start，but the introduction ofclustering technology not all can improve the resultsThis is

17、 due to the clusteringmethod itself has some defects，such as the clustering quality is not high，the clusteringresults are unstable，The application of the clustering results to the recommendation willinevitably lead to the decline of recommendation qualityHow to apply the clusteringtechnology to the

18、recommendation system in order to improve the accuracy of therecommendation results is the focus of the research based on clusteringThe idea of this study is to establish a user clustering model，which can be used tosolve the problem of data sparsity in collaborative filtering and distribute non-unif

19、orminitial resource values in the mass diffusion algorithmBased on this idea，tworecommendation algorithms are proposed，merging clustering user ratings ofcollaborative filtering recommendation algorithm(UCCF)and nonuniform resourcedistribution mass diffusion recommendation algorithm based on user clu

20、stering(UCMD)The proposed algorithm mainly uses the clustering technology,the userclustering model is introduced to recommendationsThe main research contents of thisthesis include the following three aspects(1)In order to solve the problem of data sparsity in traditional collaborativefiltering recom

21、mendation，a novel merging clustering user ratings of collaborativefiltering recommendation algorithm is proposedFirst of all，clustering technology isused to cluster the users，and the other users in the cluster where the target user islocated are used as the nearest neighbors，merging the neighbor rat

22、ings of the clustercan be used to generate new ratings，which are filled into the original rating recordThesimilarity between users is calculated by the new rating data,In this way,the nearestneighbors are more accurate than the traditional methodThe prediction rating iscalculated by the accurate nei

23、ghbor users is more accurate(2)The method of setting the initial resource value of the object to 01 in therecommendation algorithm of two graph network structure，nonuniform resourceIII万方数据distribution mass diffusion recommendation algorithm based on user clustering ISproposedFirst of all，clustering

24、technology is used to cluster the users，according to U1eclustering model，the objects selected by the target user and the objects selected by theusers with the target user in the same cluster are set with different initial resources，Thenthe classical maSs diffusion algorithm is used for t11e followin

25、g recommendation(3)The proposed UCCF algorithm and UCMD algorithm are tested on real datasets on MovielenS sitesThe expedmental results of UCCF algorithm show the use ofcollaborative filtering algorithm in the data after the user clustering model is used to jfillme ratings aIld the use of a collabor

26、ative filtering algorithm in original rating，the meanLbsolute error(MAE)of the former is much lowerThe experimental results of UCMDalgorithm show the algorithm is superior to the standard mass diffusion in precislonrank score and interuser-diversity，novelty is the same as the standard mass diffusion

27、aIgorithm，The precision of recommendation is improved as well as inter-user-diversity，and novelty is also maintained at a high levelKey words：recommendation system；data sparsity；clustering；collaborative filtering；mass diffusionIV万方数据I绪论1绪论11研究背景及意义近年来，网络上的信息量急速增长，普通用户想要从海量的数据信息中找到自己需要的，要花费大量的时间和精力。信

28、息爆炸时代使得信息的利用率反而降低，这就是所谓的“信息过载”问题。以Google、百度为代表的搜索引擎技术，通过用户输入的关键字来找到想要的信息。但这种信息的返回是千篇一律的，并不能为不同的用户提供多样化的搜索结果。特别是当用户无法准确描述自己想要的是什么时，在没有关键字的情况下，搜索引擎是无法返回搜索结果的。和搜索引擎不同，推荐系统不需要用户提供明确的关键字，只要有用户以往的行为记录就可以主动向用户推送满足他们兴趣和需求的信息。推荐系统在各个领域都有广泛的应用，据Venture Beat统计，Amazon的竞争力在于为用户提供了他们最需要的商品而不是最廉价的商品，自从使用推荐系统后，其商品销

29、售额提高了35Ilj。James Davidson等人在文献2】中提到YouTube首页60的点击量来自推荐。美国的在线影视内容提供商Netflix，在2006年的10月举办了著名的Netflix Prize推荐系统比赛，奖励那些可以将他们公司的推荐准确率提高10的人100万美元。站在用户的角度而言，推荐系统提供的个性化服务提升了用户体验，节约了用户在时间和精力上的成本。对电商而言，有推荐功能的网站更能得到用户的青睐，物品销售量也更高。推荐系统经过多年的发展也遇到许多难题，其中一大难题是数据稀疏性问题。电子商务网站上存在大量物品，用户精力有限，浏览过的物品极其有限，评价过的物品更是少之又少，这

30、导致评分矩阵极其稀疏。而被认为是最有前途、也受关注最多的协同过滤就是基于评分产生推荐的，稀疏的评分数据会使得推荐结果准确率下降或是无法产生推荐，数据稀疏问题也被认为是推荐领域的一项重大挑战和难题。随着电子商务不断发展，数据稀疏问题也变得愈发严峻。号称有10亿商品的淘宝网站，我们可以大胆假设，即使每个用户可以对1000件商品进行评价，那么淘宝的数据稀疏度也达到百万分之一。数据稀疏问题导致绝大部分基于关联分析的推荐算法的推荐结果准确率不高，这成为个性化推荐研究领域的一项难题和挑战(3】。通常，聚类技术被应用到推荐系统中以缓解数据稀疏问题，但是一些基于聚类的推荐也存在低准确率和覆盖率的问题。本研究的

31、理论意义：， (1)我们利用建立的聚类模型来产生填充评分数据，在一定程度上缓解了数据稀疏性问题，在得到的新的评分数据上使用协同过滤算法得到的推荐质量更高，同时，也缓解了对不活跃用户推荐难的问题。1万方数据基于用户聚类的个性化推荐方法研究(2)用户聚类模型应用到基于物质扩散的二部图推荐算法中，通过用户聚类模型设置非均匀的初始资源值，给用户聚类邻居选择过的物品也赋予一定的初始资源值，不仅目标用户选择过的物品具有向其推荐未选择过物品的能力，目标用户的邻居选择过的物品也具有这种能力。本研究的实践意义在于对Web20下在线零售系统具有重要的商业价值。具体来说：(1)提高电子商务网站的销售额和销售机率。高

32、质量的推荐系统可以自动地为用户推荐一些他们可能需要的商品，同时，提供一些与用户兴趣相关联的商品推荐，促进了商品的连锁销售。(2)推荐内容多样性的提高。推荐准确率高且多样化的推荐更能得到用户的青睐，增加了用户对网站的粘着性。12国内外研究现状用户从最初接触到电商，体会了购物的便利和快捷，到如今不仅仅只满足与单一的搜索和浏览网络上的商品，更希望网站能主动地为自己推荐商品。这一过程的转变，说明推荐系统与电子商务的关系正变得越来越密切。现如今许多电子商务网站都有推荐功能，推荐系统成为电子商务的重要组成部分。众多研究人员开始关注推荐系统这个重要的研究热点，同时也取得了许多研究成果。本研究涉及到推荐系统中

33、数据稀疏性问题，利用了聚类的相关技术和二部图网络结构算法。所以，我们将从推荐系统中数据稀疏性问题研究现状、基于二部图网络结构的推荐算法研究现状和基于聚类的推荐算法研究现状三个方面来介绍相关研究的现状。121推荐系统中数据稀疏性问题研究现状许多大型的电子商务网站都使用了推荐技术，如Amazon、豆瓣、当当、淘宝等，而作为个性化推荐系统的先驱一一Amazon网上书店，它采用的是协同过滤技术。基于协同过滤的推荐只需利用用户评分，无需再添加其他额外信息，便可以产生推荐。但过分依赖评分数据的协同过滤也面临着一些问题，其中数据稀疏问题被认为是影响推荐质量的关键。在解决数据稀疏性问题上，已经取得了广泛的研究

34、成果，像聚类技术、降维和图论等。比较成功的是奇异值分解，利用它可以降低评分矩阵的维数，同时还可以解决协同过滤面临的同义词问题，但是奇异值分解降维的同时会导致信息丢失。还有一种解决数据稀疏性的研究成果是智能Agent法，通过将基于内容过滤的部分功能集成到协同过滤中，缺点是会增加系统较大的额外负担。2万方数据1绪论针对评分数据稀疏问题能想到的最直接的办法就是填充评分，可以把未评分物品设为一个固定值，也可以是用户或是物品的平均分。Sarwarl4提出以用户平均评分加权和物品平均评分加权来填充缺省值，这种方法虽然简单，但用户对物品的评分不可能完全相同，以这种方法填充的评分可信度不高，提高推荐质量的效果

35、有限。还有以众数法作为填充值，众数指的是一组数据中出现频率最高的数，但是众数法存在“多众数”或“无众数”的问题，所以该填充方式也存在一定局限性。目前，研究人员也提出了许多缓解数据稀疏问题的方法。稀疏性的改善技术可以归纳为六类，包括设定缺省值、结合基于内容的过滤、降维、图论法、基于项目评分预测以及增加用户一系统交型51。这些技术既可以单独使用，也可以结合其中的一种或多种来组合应用。以上六类改善协同过滤算法稀疏性问题的思路主要通过添加评分元素、提高矩阵密度和降低矩阵规模来实现。文献5】还进一步比较了这六类技术在改善稀疏程度、算法推荐质量、算法实现难度、实时性和用户参与的高低五项指标上的性能，发现降

36、维技术除了在实现难度上比较高之外，其他方面的改善程度均较好。所以降维技术可以作为今后改善稀疏性问题的主要研究方向，重点放在降低降维技术的实现难度上。比较简单的降维方法是删除没有对项目评价过的用户【6】，这可以在一定程度上缩小评分矩阵，但缺点是无法为被删除了的那些用户提供推荐服务。Zeng7l等人提出把用户一物品评分矩阵转换为用户一类别评分矩阵，类别评分值为该类别下所有物品的评分之和。由于类别数要远远小于物品数目，所以大大降低了矩阵的维度和稀疏度。矩阵分解是一种重要的降维技术，分解的方法有多种，奇异值分解是其中一种常用的方法。孙小华峭J等人利用奇异值分解的结果帮助寻找到更加准确的近邻集合，在准确

37、性上要比单一的协同过滤或奇异值分解效果好。针对在数据稀疏条件下，利用相似性计算方法找到的近邻准确度不高的问题，邓爱林9】等人先预测部分项目评分，在此基础上，再利用相似性度量方法找到的近邻准确率更高，从而提高了推荐的准确性。数据挖掘中的聚类技术也可以用来解决数据稀疏的问题，文献10】提出通过用户的评分对物品聚类，以每个类的聚类中心作为代表用户，这就大大减少了查询空间，算法有效地解决了系统大规模数据面临的实时问题，但在准确度上提高并不显著。张锋【1l】等人提出利用BP神经网络来缓解协同过滤推荐算法的数据稀疏性问题，采用BP神经网络方法先对缺失评分进行预测，降低了数据集的稀疏性，从而提高了推荐的准确

38、率。Huete12】等人提出利用条件概率的方法来计算用户的相似性。在数据稀疏情况下，缓解了传统相似度计算结果不准确的问题。提高用户交互也是解决数据稀疏，特别是解决冷启动问题的一种方法，yu13】等人为用户提供最具知识量的询问项来帮助系统快速了解新用户，但在实际中，大部分用户不愿意填写系统提供的询问项。3万方数据基于用户聚类的个性化推荐方法研究由于数据稀疏性问题难以完全消除，因此还需进一步研究以提出更好的方法来改善该问题。未来研究的重点可以从以下几个方面展开： (1)基于内容的过滤是目前改善协同过滤稀疏问题最有效的办法之一，该推荐算法不依赖评分且能够对物品内容进行识别以及用户描述。(2)我们可以

39、利用Web日志挖掘用户隐式评分数据，把隐式评分和显示评分有效地结合起来。 (3)建立评分激励机制，鼓励用户给出显式评分数据。(4)跨系统共享数据。用户在一个系统中可能是新用户，但是在另一个系统中可能是活跃的老用户，共享用户数据和资料可以有效改善数据稀疏问题。122基于二部图网络结构的推荐方法研究现状近年来，基于二部图网络结构的推荐算法受到越来越多研究者的关注，算法借鉴了物理上物质扩散和热传导的思想，将用户和物品抽象为节点，他们之间的选择关系抽象为连边，这些节点和由于选择关系产生的边构成二部图网络结构。二部图网络结构算法的思想是用户选择过的物品有向其推荐其未选择过物品的能力。周涛【14】等人最早

40、提出了基于二部图的物质扩散算法，算法假设每个用户选择过的物品都具有一定的推荐能量，这种能量会流向与其相关的用户，再从用户流向其相关的物品，最后将获得推荐能量高的物品推荐给用户。实验结果表明基于二部图的物质扩散算法在准确率上要明显高于经典的协同过滤算法，但物质扩散算法会对度大的物品分配更多的推荐能力，也就是说物质扩散算法更倾向于推荐流行物品。文献【15调整对物品的初始资源配置，通过改变原算法中的k(o，)，引入一个参数B，通过把k(o，)改为磁、来调整初始资源的配置，使得推荐的准确率和多样性都有所提高。考虑到从不同渠道获取的对同一个物品的描述属性可能存在一定的冗余，文献161禾1用二阶关联简单快

41、速地减少冗余属性的影响，提高了算法的精确度。基于物质扩散的推荐算法具有高准确率、低复杂性的特点。但不足之处在于倾向于推荐热门物品、多样性不高，且算法不考虑用户评分值，只利用用户和物品之间的选择关系会造成部分信息丢失，使得数据更加稀疏。针对多样性差的问题，周涛提出了基于热传导的二部图推荐算法，该算法倾向于推荐冷门项目，提高了多样性但准确率有所下降。文献17混合了基于物质扩散和基于热传导的二部图算法，初步解决了准确率和多样性两难的问题。由于基于二部图网络结构的推荐算法具有上述优势，因此越来越多的研究者开始关注并进行研究，各种优化算法被提出。Liu Chuang18】等人根据不同物品的度配置不同的初始资源，在不降低准确率的同时提高了多样性。针对不考虑显式评分的问题，Zhang Yichen91191等人在物质扩散中考虑显式评分，缓解了数据的稀疏4万方数据1绪论性问题。原福永【20】等人提出根据评分计算出的用户偏好对资源的传递过程加以调整，资源值高且评分高的对象会优先推荐给用户。Fuguo Zhangl211等人为了解决二部