基于大数据技术的电子商务个性化推荐系统设计与实现.pdf

《基于大数据技术的电子商务个性化推荐系统设计与实现.pdf》由会员分享，可在线阅读，更多相关《基于大数据技术的电子商务个性化推荐系统设计与实现.pdf（50页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、专 业 硕 士 学 位 论 文基于大数据技术的电子商务个性化推荐系统设计与实现Design and Realization for Customized Recommendation System of E-Commerce based on Big Data Technology 作者：XXX 导师：XXX 北京交通大学2015 年 8 月学位论文版权使用授权书本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索，提供阅览服务,并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国家有关部门或机

2、构送交论文的复印件和磁盘。（保密的学位论文在解密后适用本授权说明）学位论文作者签名：导师签名：签字日期：年月日签字日期：年月日i 中图分类号：XXXX UDC：XXXX 学校代码：XXXX 密级：公开北京交通大学专业硕士学位论文中文摘要ii 北 京 交 通 大 学专 业 硕 士 学 位 论 文基于大数据技术的电子商务个性化推荐系统设计与实现Design and Realization for Customized Recommendation System of E-Commerce based on Big Data Technology 作者姓名：XXX 学号：XXX 导师姓名：XXX 职

3、称：教授工程领域：软件工程学位级别：硕士北京交通大学2015 年 8 月北京交通大学专业硕士学位论文中文摘要iii 致谢三年充实而又紧张的研究生生活即将结束，在硕士毕业论文完成之际，我要向所有关心、支持、帮助过我的人表示最真诚的感谢！本论文的工作是在我的导师XXX 老师的悉心指导下完成的。在论文选题、实验进展以及文章修改等环节，XXX 老师的言传身教使我受益匪浅。三年来，XXX老师在生活、工作、学习方面给予了我很大的关怀，给我一切课可以学习锻炼的机会。同时，XXX 老师科学的工作方法和严谨的治学态度给了我很大的影响和帮助。我的每一点成绩，每一步成长都凝聚着老师的心血。XXX 老师果断的工作作风

4、，严谨的治学态度，敏锐的洞察力，扎实深厚的学识功底都是值得我学习的地方。谨向 XXX 老师致以深深的谢意！在实验室工作及撰写论文期间，XXX 等同学也给予了我热情的帮助，在此向他们表达我的真挚的感谢。他们在我失落的时候鼓励开导我，帮助我恢复信心。他们对我无微不至的关怀，是支持我完成学业的精神动力。他们鼓励我不停向前，当我取得好成绩的时候又告诉我要戒骄戒躁；当我遇到困难和挫折时，他们告诉我要永不气馁，勇往直前。除此之外，我还要感谢我的家人。我的父母不仅哺育我成长，更在我低落的时候给我关怀与鼓励。他们一直在支持着我，在我取得一些成绩的时候，赞扬我，同时又告诫我要踏实谦虚。我要在这里说声：妈妈爸爸，

5、你们辛苦了。最后感谢评审老师能在百忙之中评审我的论文。北京交通大学专业硕士学位论文中文摘要iv 中文摘要摘要：随着大数据时代的到来，用户的个人信息以各种方式分布在不同的存储设备中，集成所有的用户信息并且通过一定的挖掘技术能够得出用户的潜在需求。目前电子商务发展飞速，移动电子商务更将在以后占据主导地位，如何能够迅速挖掘用户的个人潜在需求，把用户可能感兴趣的产品推送给用户成为大数据时代下电子商务企业需要解决的问题。目前电子商务个性化推荐的精准度还有待提高，个性化推荐手段单一，并没有经过深层次的数据分析，而是已基于用户的浏览信息和购买信息给用户推荐相关产品。这种推荐方式的效率不高，大数据时代的个性化

6、推荐框架应该从源头进行分析和挖掘。针对以上问题，本论文先阐述研究背景、国内外相关研究，并深入研究了推荐系统的发展，推荐算法及其应用，同时还探讨了大数据处理框架Hadoop 的原理。本文通过对推荐系统理论的研究和应用以及对Hadoop 的研究，从大数据集的源头出发，确定了推荐系统的架构和功能并详细设计了推荐系统，主要思想为根据用户信息数据来源的不同方式，集合所有的个性信息，然后使用大数据时代下的挖掘技术，把具有相关联的信息挖掘出來，并且存储到企业的数据库中，供企业进行相关产品的推荐，同时还阐述了推荐系统的主要部分的实现。关键词：电子商务；推荐系统；个性化推荐；大数据技术分类号：请输入分类号（1-

7、2），以分号分隔。北京交通大学专业硕士学位论文ABSTRACT v ABSTRACT ABSTRACT:With the advent of big data,user personal information distributed in different storage devices in a variety of ways.Integrating all users information through mining techniques can draw potential user needs.Rapid e-commerce development,mobile commer

8、ce will dominate in the future.How can we quickly tap the potential demand of users,pushing the products that users might be interested in becomes a problem for the e-commerce enterprises in the era of big data.The accuracy of personalization recommendation needs to be improved,and the method is sim

9、ple without deep data analysis.It is based on users browsing featured related to product information,and purchasing information to users.This way of recommendation s efficiency is low,data mining framework for personalized recommendation should be analysis from the source.To solve the above problems

10、,this paper set out the background and related studies,and studied the development of recommendation systems,recommendation algorithms and their applications.This paper also discussed the principles of big data Hadoop framework.Based on the theoretical research and application of recommender systems

11、 andresearch on Hadoop,starting from the source of large data sets to determinea recommended system architecture and functional and detailed design ofrecommender systems.This main idea ways in which source data based on ausers information,collection of all personal information,and then use the minin

12、g technology in the age of big data,information associated with digging out and stored in an enterprise database,relevant productrecommendations for enterprises.Paper also expounds the main implementationof recommender systems.KEYWORDS：Electronic commerce;RecommendationSystem;Personalized recommenda

13、tion CLASSNO：请输入分类号，以分号分隔。北京交通大学专业硕士学位论文序vi 序互联网的飞速发展使人们进入了信息社会和网络经济时代。互联网的发展对企业发展和个人生活都产生了深远的影响。基于互联网的虚拟企业不再需要传统物理环境中所需的实物投资，企业与客户、供应商等建立起更加直接的联系。电子商务模式为企业发提供了更多的发展机会，同时也带来了许多挑战。其中，最突出的问题就是如何实现个性化推荐。由于供应链和物流的发展，在电子商务的虚拟环境下，商家提供的商品种类和数量非常多，用户想找到自己感兴趣的商品，需要浏览大量无关的信息，这个过程会导致用户的流失，用户不能通过一个小小的计算机屏幕轻易地发现

14、自己感兴趣的商品。因此，用户需要电子商务系统具有一种类似商品推荐的功能来帮助他们选购商品，它能自动根据用户的兴趣爱好推荐其可能感兴趣的商品。在这种情况下，电子商务个性化推荐系统（Personalized Recommender Systems in E-commerce）应运而生，它是建立在大量数据挖掘基础上的一种先进商务智能平台，帮助电子商务网站为顾客购物提供完全个性化的决策支持和信息服务。购物网站的推荐系统为客户推荐商品，自动完成个性化挑选商品的过程，以满足客户的个性化需求。但是当前的个性化推荐算法多为企业针对自己行业的某类产品进行推荐，比如亚马逊在用户买书的时候只进行书籍类目的推荐，缺少

15、对其它相关产品（类似书架、书立等）的推荐。同时，现在有的推荐算法较少的结合用户的商品历史购买规律，以及商品购买行为之间时序上的伴随关系：例如上次用户浏览的某类商品，如电视机，则紧跟后面的浏览就不需要推荐电视机，但是可以考虑影碟机、家庭影院等商品。与此同时，经过多年的电子商务的飞速发展，电子商务网站已经积累了大量的用户数据。从这些用户历史购买数据以及浏览行为等，可以对用户进行更加深入的个性化推荐。促进用户的消费，满足用户的需求，提升电子商务网站的营收率。基于此，提出了本次选题：基于大数据技术的电子商务个性化推荐系统设计与实现。该选题可以提高电子商务网站的交叉销售能力，提高客户对电子商务网站的忠诚

16、度从而促进电子商务的发展，为电子商务的进一步快速健康发展提供新的动力。北京交通大学专业硕士学位论文.目录vii 目录中文摘要 .ivABSTRACT.v序.vi1引言.12电子商务个性化推荐理论介绍.32.1个性化推荐 .32.1.1 个性化推荐概述 .32.1.2 个性化推荐系统的工作原理.42.1.3 个性化推荐在电子商务中的应用.42.2电子商务个性化推荐系统.62.2.1 电子商务个性化推荐系统的概念.62.2.2 电子商务个性化推荐系统的分类.72.2.3 电子商务个性化推荐系统研究现状.82.2.4 电子商务个性化推荐系统研究意义.102.3电子商务个性化推荐系统的关键技术.102

17、.3.1 个性化推荐技术 .112.3.2 个性化推荐技术的比较和分析.122.3.3 推荐技术的组合 .132.4大数据处理技术 .142.4.1 Hadoop 概述.152.4.2 HDFS 分布式文件系统 .162.4.3 MapReduce编程模型 .173基于大数据技术的电子商务个性化推荐系统可行性分析.194基于大数据技术的电子商务个性化推荐架构.204.1个性化推荐系统总体架构设计.214.1.2 改进的电子商务个性化推荐结构设计.225基于大数据技术的电子商务个性化推荐系统设计与实现.265.1个性化系统功能需求分析.265.2个性化推荐系统功能设计.275.2.1 数据收集模

18、块 .28北京交通大学专业硕士学位论文.目录viii 5.2.2 推荐引擎组管理 .285.2.3 推荐结果处理模块 .295.2.4 用户交互模块 .295.2.5 系统管理模块 .295.3个性化推荐系统详细设计.295.4编程应用技术概述 .315.4.1 面向对象编程概述 .315.4.2 MVC 框架模式简介 .326结论.346.1总结.346.2展望.34参考文献 .36作者简历 .38独创性声明 .39学位论文数据集 .40北京交通大学专业硕士学位论文引言1 1 引言博客、社交网络、基于位置的服务(LBS)等新型信息发布方式的涌现，以及云计算、物联网等技术的兴起，将人们带入大数

19、据时代。海量数据在为电子商务网站制定决策提供越来越充分的信息的同时，也给电子商务网站的个性化推荐服务带来非常大的挑战。随着电子商务网站的竞争日益激烈，如何锁定网站的目标受众并为其推荐合适的产品，增加用户粘度和提高网站的交叉销售能力，成为电子商务网站在竞争中胜出的关键。个性化推荐系统个性化及针对性等优点受到越来越多的关注，目前国内主要的电子商务网站如当当网、京东商城、淘宝网等都利用个性化推荐来使得用户拥有更好的体验度。虽然电子商务个性化推荐系统所采用的技术都已成熟，个性化推荐给网站带来的经济利益也越来越大，但是大数据环境下电子商务个性化推荐系统仍面临着巨大挑战。第一：企业数据的保存与利用，电子商

20、务企业在web3.0 的信息时代，企业数据每时每刻都在剧增，如何将这些数据信息迅速、有效保存是企业服务质量的关键，同时保存仅仅是企业服务的一个中间环节，如何挖掘、利用好保存的大数据，将是一个电子商务企业未来发展的关键。如果仅仅保存这些大数据，那么这是严重浪费。对于海量数据，提供高附加值的数据分析服务，转化大数据封装为服务，形成可对外开放、可商业化的核心能力，一定程度上也实现了经营模式的创新，给个性化推荐服务提供强大的数据基础。第二：企业数据的快速处理计算，海量数据对计算机硬件的性能带来挑战，因为企业要求在最短的时间内，尽可能创造最大的价值，而面对大数据，通过什么信息技术进行快速处理、计算，形成

21、结构化的、开放应用的数据，这个问题不仅仅电子商务企业面临的一个挑战。现今的云计算，在概念层面上，一定程度上解决了这方面的一点问题，但是，在目前的现实信息环境中，由于网络以及硬件的限制，还不能汇聚更多的计算机，达到预订的计算目标。第三：企业数据的有效组织形式，企业数据的组织形式直接决定着其服务模式、服务质量。传统的以关键词进行匹配检索的服务模式，目前仍然是个性化推荐的主流，这些数据大多以关系数据库的形式，将其各自的元数据进行集中或者分布式进行组织。但是，随着数据量的增长、服务要求的提升、语义网的迅速发展，数据组织形式肯定要发生转变。例如，为用户提供个性化关联服务、语义个性化推荐服务等更高层面的知

22、识服务，传统的简单组织方式已经不能满足这方面的发展需求。在这一方面，可以借鉴当前的热点研究Link Open Data、Virtuoso(语义存储工具)、RDF 等与语义网相关的数据组织方式。北京交通大学专业硕士学位论文引言2 第四：企业提供服务模式的转变，数据是企业提供服务的基础，面对数据规模、存储方式以及组织方式等特征的转变，企业所提供的传统服务模式势必也同步转变，来应对当前整个数据环境的更新。主要面临以下几种转变方式的挑战:1由被动服务为主动服务。被动服务是指客户主动到企业电子商城中发现自己需要的商品，更具有目的性、针对性，但是对于企业来说，严重忽视了客户巨大的潜在需求，通过主动服务模式

23、，将与每一个用户潜在的信息需求更精确的发现，推荐给用户，一方面方便了用户，甚至给用户意想不到的需求惊喜，另一方面增强了企业销售的强度。2由基于关键词或者主题词检索的服务转为基于语义的智能检索服务。随着web3.0、语义网的迅速发展，智能检索服务开始具备一定的知识基础，例如 DBPedia发布规范的大数据集、各个行业领域的发布的知识组织体系(KOS)等知识组织规范，同时借助传统的叙词表以及行业的巨大的语料资源，为用户提供语义的智能检索服务逐步将开始实施，从而实现为用户提供更准确地信息检索方式。3由传统的个性化信息检索结果推荐服务转变为个性化知识推荐服务。个性化信息检索结果是将每条信息进行罗列在页

24、面中，供用户浏览，通过查看详情来衡量此信息的重要度。而个性化知识推荐服务，是将每条信息分割成更小的带有语义的知识单元，用户能够在第一时间内更快、更准确的掌握每条信息的概要内容，进行决策是否对自己有价值。关注大数据环境下电子商务个性化推荐服务的特征与挑战，探讨个性化推荐服务新的发展动向，对于打造商务网站竞争优势、拓展个性化推荐服务研究内容等方面具有重要的实践意义和理论意义。本文将针对以上电子商务个性化推荐系统中存在的问题进行探索和研究。北 京 交 通 大 学 专 业 硕 士 学 位 论 文 电 子 商 务 个 性 化 推 荐 理 论 介 绍3 2 电子商务个性化推荐理论介绍在互联网普及的时代，为

25、了解决顾客信息超载的问题，引导顾客较为便捷地找到打算购买的商品，个性化推荐便成为众多电子商务企业提供的一种服务模式。个性化推荐是一种根据顾客的需求偏好个人资料及历史交易行为，为网络消费者提供决策建议的功能，如推荐他们想要的商品或从哪里获得想要的商品。作为后续章节的铺垫，本章主要介绍电子商务个性化推荐的相关理论，具体内容安排如下：本章节先介绍了个性化推荐的概念、工作原理以及其在电子商务中的应用，然后介绍了电子商务个性化系统的分类研究现状和研究意义。接着，本章节介绍了几种流行的个性化推荐技术，并对这几种个性化推荐技术进行了比较分析。最后，本章节介绍了电子商务个性化推荐系统实现中需要用到的大数据处理

26、技术。2.1个性化推荐本节先对个性化推荐进行了概述，介绍了个性化推荐的基本理念。然后，介绍了个性化推荐系统的工作原理，最后介绍了个性化推荐系统在电子商务中的应用。2.1.1个性化推荐概述个性化推荐是基于用户的兴趣特点和购买行为，向用户推荐其感兴趣的信息和商品。随着电子商务规模不断扩大，商品数量和种类不断增长，顾客需要花费大量的时间寻找自己想买的商品。这一过程无疑会使淹没在大量产品信息中的消费者不断流失。为了解决用户流失的问题，电子商务个性化推荐系统应运而生。电子商务个性化推荐系统是基于大数据挖掘基础上的一种商务智能平台，能够帮助电子商务企业为用户提供个性化的产品的推荐和购买决策，电子商务企业的

27、个性化推荐系统为用户推荐商品，网站会智能的完成商品选择，最大限度的满足客户的个性化需求，电子商务个性化推荐是根据以下几方面来推测客户将来可能的购买行为：网站销量最高的商品、客户所在的城市、客户过去的购买行为和购买记录。北 京 交 通 大 学 专 业 硕 士 学 位 论 文 电 子 商 务 个 性 化 推 荐 理 论 介 绍4 2.1.2个性化推荐系统的工作原理首先是基础数据包含个人信息、评分、历史行为、以及社会化关系，然后根据收集到的信息分析用户喜好，建立用户模型，最后选择合适的推荐技术进行推荐并将结果展示给用户。实现个性化服务的关键是对Web 用户的浏览信息进行正确的分析，准确掌握用户兴趣。

28、只有通过用户浏览信息数据和其他方式的用户行为，才能准确地找出用户的浏览兴趣，从而向用户推荐感兴趣的产品，同时也才能在不同的用户群之间进行精准地协作过滤推荐。准确地掌握用户的兴趣可包括两个方面：1)从用户浏览行为中准确地挖掘出隐藏的用户个性化的兴趣信息；2)采用准确的表示方法来表示用户兴趣。个性化服务系统主要包括四个主要部分：文本页面的特征提取、基于用户浏览内容的兴趣挖掘、基于用户浏览行为的兴趣分析和推荐服务。2.1.3个性化推荐在电子商务中的应用现在的电子商务网站上都有大量的商品，而个性化的推荐应用在其中起了非常大的作用，著名的电子商务网站就是个性化推荐的积极应用者和推广者，被RWW（读写网）

29、称为推荐系统之网。国内的淘宝网，京东商城等电子商务网站也无一例外的使用了推荐系统为用户提供更好的购物体验。图 2-1 亚马逊（)的个性化推荐列表Fig.2-1 Amazon Personalized Recommendation List 图 2-1 就是亚马逊中国（）的个性化推荐列表，它包含了一下几个部分：推荐结果的标题，推荐结果的平均分以及推荐理由。该系统会去寻找用户之前喜欢过的物品，然后找出那些和这些物品相似的当用户没有接触过的物品然后推荐给用户。比如用户以前买过一本星座相关的书籍，那么就可以向用户推荐一本血型相关的书籍，因为这两本书都是属性相近的。北 京 交 通 大 学 专 业 硕 士

30、 学 位 论 文 电 子 商 务 个 性 化 推 荐 理 论 介 绍5 除了这种推荐方法，亚马逊也还有其他的推荐方法，就是按照用户在Facebook 的好友关系，给用户推荐他们的好友在亚马逊上喜欢的物品。图 2-2 亚马逊的相关推荐列表(1)Fig.2-2 Fig.2-3 Related Recommended a list of Amazon(1)图 2-3 亚马逊的相关推荐列表(2)Fig.2-3 Related Recommended a list of Amazon(2)图 2-2 和图 2-3 则是另外一种推荐方式-相关推荐列表。当你在购买一个商品的时候，网站会向你推荐相关商品。图2

31、-2 推荐的是购买过这个这个商品的人同时还购买的其他商品，图 2-3 则推荐浏览过这个商品的人同时还购买的其他商品。显然图 2-2 的推荐更有说服力，然后这些推荐都是通过收集海量的数据并计算出来的，所以图2-3 的推荐的商品也是具有相关性的，因为用户在买一类东西的时候会先去浏览各种相似的商品然后货比三家，这些浏览过的数据也是具有信息价值的。北 京 交 通 大 学 专 业 硕 士 学 位 论 文 电 子 商 务 个 性 化 推 荐 理 论 介 绍6 然后这些推荐系统给亚马逊带了多少的商业利益呢，在这方面的准确数字官方也没有给出过答案，亚马逊的前科学家Greg Linden 在他的博客曾说过推荐系

32、统帮助亚马逊销售了20%的商品。此外，前首席科学家Andreas Weigend在给他们的同学们上课的时候也透露推荐算法帮助亚马逊买了20%-30%的商品。2.2电子商务个性化推荐系统电子商务个性化推荐系统是帮助客户决定购买什么商品的系统。推荐系统的服务对象是客户,系统的目标是为客户提供项目推荐。客户是指推荐系统的使用者,即电子商务网站中的客户。项目则是被推荐的对象,即电子商务网站中的商品或服务,也就是最终推荐给用户的内容。本节先介绍了电子商务个性化推荐系统的概念和分类，然后介绍了电子商务个性化推荐系统的研究现状和研究意义。2.2.1电子商务个性化推荐系统的概念随着数字技术的飞速发展和互联网络

33、的全面普及应用，人类进入了信息社会和网络经济时代，企业发展和个人生活都被深深影响着。随着网络交易的机制被大多数人接受之后，电子商务网站纷纷崛起，因为网络交易的成本低廉，人们通过互联网络进行商务活动，可以创造出新的商机。电子商务的发展模式对企业提出了了许多新的要求，比如商品选购舒适、送货及时、商品的质量保证、退换货方便等等，其中最为突出的问题是商品选购。因为在电子商务处在虚拟的环境中，商家尽可能多的在网上提供自己所能提供的商品，品类繁多，用户很难在一个网页上发现自己感兴趣的商品，用户或者没有时间，或者不愿意在网上漫无边际的寻找商品。虽然目前在信息检索界提供了许多搜索引擎如百度，Google 等可

34、以帮助用户在大互联网中根据关键字寻找到自己所需的信息，但是此类搜索引擎自动化程度较低，属于被动系统。并且其搜索结果中鱼龙混杂，使用者常常需要过滤掉大部分垃圾信息或不准确的信息，依然要花费很大精力才能找出自己真正需要的信息。此外，浏览某个电商网站时，使用者根本不知道这个商家提供了某项商品，当然更不可能去搜索寻找了。这种情况下，是否主动送出的推荐就显得尤为重要。在这种需求趋势下，出现了电子商务个性化推荐系统。电子商务推荐系统被定义为：“利用电子商务网站向客户提供商品信息和建议，帮助用户决定应该购买什么产品，模拟销售人员帮助客户完成购买过程1。”北 京 交 通 大 学 专 业 硕 士 学 位 论 文

35、 电 子 商 务 个 性 化 推 荐 理 论 介 绍7 这是一种提升电子商务零售网站整体营销性能的个性化推荐工具，也是目前电商网站为了促进网站发展，增加经济效益，吸引新客户并留住老客户的一种有效手段。电子商务推荐系根据用户制定个性化营销策略，并在合适的时候提供用户最需要的信息，提升用户忠诚度，提高用户购物体验。2.2.2电子商务个性化推荐系统的分类电子商务个性化推荐系统围绕客户为中心，提供对用户的服务，根据系统推荐的持久性和自动化程度对电子商务个性化推荐系统进行分类2。1、自动化程度。自动化程度从客户的角度来说，就是需要客户为系统手工输入提供自身所需要的信息的多少，系统才能根据这些信息进行处理

36、从而提供相关的推荐。从这个角度来看，自动化程度范围从系统对客户一无所知的全手工推荐，到系统自动根据用户的操作历史从而主动推送的全自动推荐。2、持久性。持久性是指推荐系统产生的推荐是基于客户当前的会话产生的相关信息还是包括客户历史会话的信息进行推荐的。持久性的维度划分范围从完全暂时性的推荐到完全永久性的推荐。完全暂时性的推荐仅仅基于客户当前唯一的会话，不考虑客户先前会话的任何信息。永久性的推荐考虑客户历史的会话，综合客户的多个对话来产生推荐。电子商务个性化推荐系统根据自动化和持久性程度，可以分为以下四种类型2：1、非个性化电子商务个性化推荐系统。以其他客户对商品做出的评价为基础，向用户做出推荐，

37、或者根据电子商务系统的销售排行等与特定用户无关的输入信息进行推荐。这种推荐技术是与特定用户无关，独立于目标用户，对所有用户推荐的内容都是相同的。非个性化电子商务个性化推荐系统的推荐方式属于自动化方式推荐，产生推荐于用户的任意会话，不区分用户个体，是瞬时的推荐，个性化程度为零。2、基于属性的电子商务个性化推荐系统。这种推荐方式类似与搜索引擎的方式，需要用户手动输入商品的属性特征，然后根据商品的属性特征为用户生成推荐列表。因而属于手动方式推荐，推荐可以是根据用户单个会话产生的，也可以是根据用户多个会话产生的。3、基于商品相关性的推荐系统。根据商品间的相关程度向用户推荐相应的商品。基于商品相关性的推

38、荐北 京 交 通 大 学 专 业 硕 士 学 位 论 文 电 子 商 务 个 性 化 推 荐 理 论 介 绍8 系统即可以是全自动化方式的推荐系统，还能是全手动方式的推荐系统。基于商品相关性的推荐系统是依据于用户的单个会话。4、基于用户相关性的推荐系统。也称为协同过滤推荐系统。基于用户相关性的推荐系统先查找目前用户的最近邻居，再根据最近邻居的购买记录、评分信息为当前用户进行推荐。用户相关推荐不用用户显式输入信息。推荐是基于用户的多个会话产生的。2.2.3电子商务个性化推荐系统研究现状我国的电子商务个件化推荐系统与国外还有一定的差距，主要表现在以下几个方面：1、多数为普适性的推荐，缺少针对个人的

39、推荐：目前的电子商务网站从全部的角度出发，通过分类推荐的方式，把推荐结果展示给用户，这样造成了推荐结果和用户兴起不一致的情况，影响了电子商务个性化推荐的效果。2、个性化推荐系统的智能化程度较低：目前现有的电子商务企业需要客户多次的访问，同时需要输入相关的个人信息，推荐系统才可以基于这些信给用户提供个性化的服务，然而这样增加了用户的负担，降低了用户体验。3、持久性比较差：目前国内的个性化推荐技术是依赖用户当前的会话，并没有采用以前的历史访问记录，使得个性化推荐系统的持续性比较低。4、推荐的方式过于单一：国内的网站多是基于单一模式的推荐技术，缺少多种推荐策略的混合使用。在从 Web日志数据挖掘转向

40、用户兴趣模型方面，刑东山3提出的支持-偏爱度的概念，设计了网站访问矩阵，并基于这个矩阵提出了用户浏览偏爱路径挖掘算法，该算法能准确地反映用户浏览兴趣。沈均毅4等人提出首先以 Web站点的 URL为行，以 UserlD 为列，建立 URL_UserID 关联矩阵，每个单元的元素值为用户的访问次数。然后，对列向量进行相似度的检测和分析，从而得到相似客户群体，同时对行向量进行相似度的检测和分析，获得相关Web页面，然后再对相关页面进一步分析和处理，就能够发现频繁访问路径。王熙法5等人在文献中提出使用神经网络方法的用户行为分析方法，先对Web 日志文件进行预处理分析，然后再从网站会话中找出频繁项集，进

41、一步规范化处理后得出用户聚类，聚类分区通过将用户或商品项进行聚类分区,相似性和商品推荐的计算在分区内或分区之间进行从而大大降低了数据空间的大小和数据的稀疏程度，提高了算法效率和准确度6。关于推荐系统的研究起源较早，在90年代中后期出现了第一批协同过滤的文章7-9，Breese10等人将协同过滤技术分为两类：基于内容和基于模型的协同过滤。北 京 交 通 大 学 专 业 硕 士 学 位 论 文 电 子 商 务 个 性 化 推 荐 理 论 介 绍9 Cyrus Shahabi等人综合两种推荐技术的优势，设计离线线挖掘模式和在线模式为一体的挖掘方法，一定程度上提高了电子商务推荐系统的精准度和实时性11

42、。Giovanni Semeraro等人基于网页内容过滤中，引入语义分析技术，概括用户信息并进行聚类分析，然后使用协同过滤技术向用户进行个性化的推荐，提高了推荐系统的精准度和扩展性12。张丙奇13提出了利用领域知识进行相似度计算的协同过滤算法，使用户在评分的共同项目很少或为零的情况下也能找到最近邻进行协同推荐。算法解决了传统协同过滤算法中相似性度量方法“过严”的问题，在过滤初期显著地提高了推荐质量。针对推荐系统不精确的研究方面，刘枚莲提出一种改进邻居集合的个性化推荐算法，该算法赋予每项评分一个按时间逐步递减的权重，利用加权后的评分寻找目标用户的最近邻居。张新猛提出一种基于协同过滤的网络论坛个性

43、化推荐算法，采用加权方法计算用户帖子的评分矩阵，获取邻近用户集合，通过邻居用户的来预测和推荐给用户分数最高的帖子。邓爱林提出了项目预测评价的协同个过滤算法，并在此基础上用相识度方法计算目标用户的邻居，算法可以有效地解决用户评分数据极端稀疏情况下传统相似性度量方法存在的问题，显著地提高推荐系统的推荐质量。在推荐系统中应用最广泛和最成功的是混合推荐系统14-17，常用的混合推荐方法18有：1.权重型，根据多个推荐方法的计算结果结合而成，如 P-Tango系统19；2.转换型，几个推荐方法根据具体情况切换；3.合并型，一起呈现多个推荐方法的结果20；4.特征组合，把协同过滤信息看作为商品的附加特征，

44、再采用基于内容的推荐技术21。文献【22】中，郭艳红运用基于内容预测的方法，对电子商务推荐系统内未被用户评价过的产品进行评分预测，通过2 种优化步骤，把预测不准确的用户评分进行过滤，然后在此基础上使用协同过滤的技术产生产品推荐，使传统个性推荐算法中无法推荐给用户的产品能够推荐给用户。实验结果证明该混合推荐的算法能够保证推荐的精准度，提高新产品的推荐概率。基于知识推荐系统的研究，周明强23提出了一个基于属性相识度的只是推送方法，对用户已经浏览过的知识进行分析，计算这些知识的属性相似度得到用户的知识兴趣信息，把用户未浏览的知识与用户知识兴趣信息进行属性相似度匹配，以判断该知识是否符合用户的知识兴趣

45、，实现了无需人工干预的知识推送。大数据时代下，学者对于电子商务个性化的研究还需要继续的深入。目前学者对于大数据下电子商务个性化推荐中选取的最优算法没有深入的研究，以及对北 京 交 通 大 学 专 业 硕 士 学 位 论 文 电 子 商 务 个 性 化 推 荐 理 论 介 绍10 大数据时代下的电子商务个性化推荐结构设计的研究较少。2.2.4电子商务个性化推荐系统研究意义推荐系统在本质上是一个决策支持系统，给消费者带来的好处主要有：1.更好的决策质量。推荐系统可以通过提高用户的偏好匹配度，增加决策可信度，提供更多替代产品来提高消费者的决策质量；2.决策效率更高。个性化推荐系统能减少用户的搜索行为

46、，缩减购买决策的时间；3.商品较便立。通过推荐系统的推荐，消费者可以容易的获得商品质量信息，增加了消费者对价格的敏感程度，从而会选择以较低的价格完成支付。推荐系统对消费者的行为也有积极影响。Senecal和 Nantel 发现，有产品推荐时，消费者购买推荐产品的可能性高于没有推荐系统帮助的消费者的两倍。他们还发现，推荐系统相比于专家更有影响力。Lerzan 研究发现，如果推荐系统在产品属性的权重分配上与决策策略上与商品消费者保持一致的话，会很大程度提高消费者的感知收益，降低消费者的感知成本，花费较少的搜索时间，增加个性化推荐的成功率，提高消费者购买的回头率。通过电子商务推荐系统实现个性化的服务

47、是电子商务发展的关键问题，无论是对电子商务平台、商家还是消费者都有很大的好处。从应用的角度上来看，深度的数据挖掘可以发现用户的潜在需求。与目前的信息推送技术相结合，为潜在客户推荐相关的商品信息，及时有效的满足消费者的需求，同时实现了公司自身的效益。移动电子商务是未来电子商务的一个发展趋势。快速捕捉消费者的潜在需求是企业主要面临的一个难题，通过深度的数据挖掘发现用户兴趣模型，并且能确定特定消费群体的潜在需求，实现价值的传递。从学术价值角度上来看，目前关于大数据的研究还不是非常的丰富，并行化的数据挖掘方法不能完全适应新时代发展的需求，更深层次的数据挖掘方法才能满足现阶段发展的需要，MapReduc

48、e对于处理大数据的web日志具有极好的性能。基于大数据下挖掘方法，得到更有效的用户数据，利用个性化的推荐系统算法，如基于内容推荐、协同过滤推荐、知识推荐和混合推荐，建立适合移动终端者的用户兴趣模型24。2.3电子商务个性化推荐系统的关键技术北 京 交 通 大 学 专 业 硕 士 学 位 论 文 电 子 商 务 个 性 化 推 荐 理 论 介 绍11 电子商务个性化推荐系统的关键技术主要包括基于用户协同的过滤推荐技术、基于项目协同的过滤推荐技术、基于规则的推荐技术、基于内容的推荐技术、基于人口统计信息的推荐技术、基于效用的推荐技术、基于知识的推荐技术。本节先对以上各个电子商务个性化推荐系统的关键

49、技术进行了介绍，然后对比分析了各个关键技术的优缺点，最后给出了最优的推荐技术组合。2.3.1个性化推荐技术1.基于用户协同的过滤推荐技术。也称为最近邻居算法技术，主要是基于与用户兴趣爱好相似的网络用户的购买行为作为项目的推荐。推荐的基础就是寻找邻居用户。除此之外，若要找到邻居用户，用户总数必须足够多，而且用户对项目的评价也要简单，用户间的相似程度必须高。基于用户的协同过滤技术在实际应用中还存在比较多的问题。最常见的问题包括推荐的多样性、数据的稀疏性以及系统的可扩展问题25。在协同过滤推荐系统中用户对项目做出的评价比较少。所以项目矩阵中拥有评价数据的项目不多，这将导致数据阵显得稀疏。通过调查，一

50、般系统中来自于用户的评价数据都不到1%，这也将导致用户间的相似性的不准确，进而查找到的邻居用户不可靠。2.基于项目协同的过滤推荐技术。为了解决基于用户的协同过滤推荐技术在实际应用中出现的数据稀疏，本文通过建立基于项目的推荐模型来缓解数据稀疏的问题。使用计算之前的模型，可以很快的得到推荐结果。也可以根据历史信息来表示项目之间的关系。基于项目的协同过滤技术就是猜想到用户将更倾向那些和他已经购买的相类似的项目，要分析每个项目间的相似性，可以通过用户项目矩阵来分析。由于不需要识别邻居用户，所以推荐算法的速度较快263.基于规则的推荐技术。根据项目之间的关联规则，查找相关的项目并按排序推荐。在交易数据库