大数据实例：网站用户行为分析.docx

《大数据实例：网站用户行为分析.docx》由会员分享，可在线阅读，更多相关《大数据实例：网站用户行为分析.docx（22页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据实例：网站用户行为分析山西大学研究生项目设计报告（2015 - 2016学年第1学期）学院（中心、所）：计算机与信息技术学院专业名称：软件工程(专硕)课程名称：大数据处理论文题目：网站用户行为分析授课教师（职称）：杜亮研究生姓名：温杰年级：2016级学号：201622405011成绩：评阅日期：山西大学研究生学院2016年12月20日1大数据实例：网站用户行为分析大数据实例：网站用户行为分析 (2)一、案例简介 (4)二、案例目的 (4)三、软件工具 (4)四、案例任务 (4)五、实验步骤 (5)5.1、实验步骤一：实验环境准备 (5)5.1.1、linux系统的安装 (5)5.1.2、

2、Hadoop的安装 (6)5.1.3、MySQL的安装 (6)5.1.4、HBase的安装 (8)5.1.5、Hive的安装 (8)5.1.6、Sqoop的安装 (10)5.1.7、Eclipse安装 (12)5.2、实验步骤二：本地数据集上传到数据参考Hive (12)5.2.1、实验数据集的下载 (12)5.2.2、解压下载得到的数据集到指定目录 (12)5.2.3、数据集的预处理 (13)5.3、实验步骤三：Hive数据分析 (15)5.4、实验步骤四：Hive、MySQL、HBase数据互导 (19)5.4.1、Hive预操作 (19)25.4.2、使用Sqoop将数据从Hive导入M

3、ySQL (20)5.4.3、使用Sqoop将数据从MySQL导入HBase (21)5.5、实验步骤五：利用R进行数据可视化分析 (22)5.5.1、R安装 (22)5.5.2、可视化分析MySQL中的数据 (23)3一、案例简介本案例涉及数据预处理、存储、查询和可视化分析等数据处理全流程所涉及的各种典型操作，涵盖Linux、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用方法。二、案例目的1、熟悉Linux系统、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用；2、了解大数据处理的基

4、本流程；3、熟悉数据预处理方法；4、熟悉在不同类型数据库之间进行数据相互导入导出；5、熟悉使用R语言进行可视化分析；6、熟悉使用Elipse编写Java程序操作HBase数据库。三、软件工具图1、软件总体概览图四、案例任务1、安装Linux操作系统2、安装关系型数据库MySQL3、安装大数据处理框架Hadoop4、安装列族数据库HBase45、安装数据仓库Hive6、安装Sqoop7、安装R8、安装Eclipse9、对文本文件形式的原始数据集进行预处理10、把文本文件的数据集导入到数据仓库Hive中11、对数据仓库Hive中的数据进行查询分析12、使用Sqoop将数据从Hive导入MySQL1

5、3、使用Sqoop将数据从MySQL导入HBase14、使用R对MySQL中的数据进行可视化分析图2、案例所涉及操作总体概览图五、实验步骤5.1、实验步骤一：实验环境准备5.1.1、linux系统的安装该部分内容略去。55.1.2、Hadoop的安装该部分内容详见另一篇参考文档：Ubuntu伪分布式安装Hadoop详细步骤.5.1.3、MySQL的安装使用如下命令进行安装MySQL:2.启动MySQL服务器：3.确认是否成功：4.进入MySQL Shell界面：675.解决利用Sqoop 导入MySQL 中文乱码的问题导致导入时中文乱码的原因是character_set_server 默认设置

6、为latin1,可以单个设置修改编码方式set character_set_server=utf8；但是重启后会失效，建议使用以下方式修改编码方式。如下图：重启MySQL 服务：service mysql restart ；登录MySQL 后查看MySQL 设置的编码。如下图所示：5.1.4、HBase的安装该部分内容略去。5.1.5、Hive的安装1.下载并解压Hive源程序：Hive下载链接2.使用如下命令进入到解压到的目录，重命名解压目录为Hive-1.2.1，修改Hive-1.2.1目录所有者为wenjie.cd /usr/local/sudo mv apache-hive-1.2.1

7、-bin Hive-1.2.1sudo chown wenjie Hive-1.2.1 R3.配置环境变量为了方便使用，我们把hive命令加入到环境变量中去，命令：gedit /.bashrc文件，在其中加入代码：export HIVE_HOME=/usr/local/Hive-1.2.1export PATH=$PATH:$HIVE_HOME/bin保存退出后，命令source /.bashrc，使配置生效。4.修改/usr/local/Hive-1.2.1/conf下的hive-site.xml将hive-default.xml.template重命名为hive-default.xml；新

8、建一个文件touch hive-site.xml，并在hive-site.xml中粘贴如下配置信息。895.安装并配置MySQL这里我们采用MySQL 数据库保存Hive 的元数据，而不是采用Hive 自带的derby 来存储元数据。下载MySQL JDBC 包：下载链接下载好安装包后将mysql-connector-java-5.1.40.tar.gz 解压后放入/usr/local/Hive-1.2.1/lib 目录下：6.启动并登陆MySQL Shell命令如下：service mysql startmysql u wenjie p 新建wenjie_db 数据库：配置MySQL，允许h

9、ive接入：命令如下：grant all on *.* to wenjielocalhost identified by wj5810831;#将所有数据库的所有表的所有权限赋给wenjie用户，后面的wj5810831是hive-site.xml中配置的链接密码flush priviledges; #刷新MySQL系统权限关系表启动hive：启动hive之前，先启动hadoop集群命令如下：start-all.sh #启动hadoop集群Hive #启动hive启动hive成功后，即hive配置成功！5.1.6、Sqoop的安装1.下载并解压sqoop 1.4.6：Sqoop下载链接点击下载

10、链接地址下载sqoop安装文件sqoop-1.4.6.bin_hadoop-2.0.4-alpha.tar.gz。下载完成后，执行下面命令：2.修改配置文件sqoop-env.sh命令如下：cd Sqoop-1.4.6/confcat sqoop-env-template.sh sqoop-env.sh10gedit sqoop-env.sh3.配置环境变量打开当前用户的环境变量配置文件，在配置文件中加入SQOOP_HOME变量，并将Sqoop-1.4.6目录下的bin目录加入到PATH变量中。如图所示：执行命令source /.bashrc，使配置文件生效。4.将上一步骤中下载的mysql驱

11、动包拷贝到Sqoop-1.4.6目录下的lib目录。5.测试与MySQL的链接首先请确保mysql服务已经启动，使用如下命令测试Sqoop与MySQL之间的连接是否成功：Sqoop list-databases connect jdbc:mysql:/127.0.0.1:3306/ -username wenjie p执行正确后效果图如下，罗列出MySQL数据服务器中的数据库：11125.1.7、Eclipse 安装 直接在Ubuntu 软件中心中查找Eclipse 后，点击安装即可。5.2、实验步骤二：本地数据集上传到数据参考Hive5.2.1、实验数据集的下载 本案例采用的数据集为user

12、.zip ，包含了一个大规模数据集raw_user.csv （包含2000万条记录），和一个小数据集small_user.csv（只包含30万条记录）。小数据集small_user.csv 是从大规模数据集raw_user.csv 中抽取的一小部分数据。本实验中我们使用的就是小数据集进行测试。点击进行数据集下载：数据集下载链接5.2.2、解压下载得到的数据集到指定目录我们执行下面命令取出前面10条记录查看一下:可以看出，每行记录都包含5个字段，数据集中的字段及其含义如下：user_id（用户id）item_id(商品id)behaviour_type（包括浏览、收藏、加购物车、购买，对应取值分

13、别是1、2、3、4）user_geohash(用户地理位置哈希值，有些记录中没有这个字段值，所以后面我们会用脚本做数据预处理时把这个字段全部删除)item_category（商品分类）time（该记录产生时间）5.2.3、数据集的预处理1.删除文件的第一行记录，即字段名称raw_user.csv和small_user.csv中的第一行都是字段名称，我们在文件中的数据导入到数据仓库Hive中时，不需要第一行字段名称，因此，这里我们在做数据预处理时，将第一行删除。命令如下：sed i 1draw_user/1d表示删除第1行，同理，3d表示删除/第3行，nd表示删除第n行sed i 1dsmall

14、_user/删除small_user中的第一行2.对字段进行预处理下面对数据集进行一些预处理，包括为每一行记录增加一个id字段（让记录具有唯一性），增加一个省份字段（后续为其进行可视化分析），并且丢弃user_geohash字段（后续没有用到该字段）。下面建一个pre_deal.sh脚本文件，将脚本文件放在测试数据文件目录下。使用gedid pre_deal.sh，输入如下代码：1314下面就可以在脚本文件所在的目录中执行脚本，对small_user.csv 进行数据预处理，命令如下：bash ./pre_deal.sh small_user.csv user_table.txt执行后，使用h

15、ead命令查看生成的user_table.txt ，不要直接打开3.导入数据库下面要把user_table.txt 中的数据最终导入到数据仓库Hive 中。为了完成这个操作，我们首先将user_table.txt 上传到分布式文件系统HDFS 中，然后在Hive 中创建一个外部表，完成数据的导入。首先，启动hadoop 集群。命令如下： start-all.sh./hdfs dfs mkdir /user/root/InputFloder/HiveDatabase_UserData ./hdfs dfs put /home/wenjie/下载/TestData/user_table.txt/u

16、ser/root/InputFloder/HiveDatabase_UserData下面可以使用Web 页面查看是否上传成功，如图所示：接下来，启动MySQL 和Hive ，在Hive 中创建数据库wenjie_db;15命令如下：create database wenjie_db;在数据库wenjie_db 中创建表hive_database_user; 显示创建表hive_database_user的信息：5.3、实验步骤三：Hive 数据分析查看前10位用户对商品的行为：20位用户购买商品时的时间和商品的种类：查询前用聚合函数count( )计算出表内记录数目1617在函数内部加上dis

17、tinct，查出uid 不重复的数据记录个数查询2014年12月10日到2014年12月13日有多少人浏览了商品 以月的第n 天为统计单位，依次显示第n 天网站卖出去的商品的个数 查询一件商品在某天的购买比例和浏览比例18 给定购买商品的数量范围，查询某一天在该网站的购买该数量商品的用户id 某个地区的用户当天浏览网站的次数首先创建数据表，使用命令如下：Create table scan(province string,scan int) comment this is the search of bigdataday row format delimited fields terminate

18、d by t stored astextfile;向数据表中插入抽取的数据，命令如下：查看表中的数据：195.4、实验步骤四：Hive、MySQL、HBase 数据互导5.4.1、Hive 预操作1.创建临时表user_action首先，启动MySQL 服务、hadoop 集群、Hive.然后，在Hive 中创建临时表user_action这个命令执行完之后，Hive会自动在HDFS文件系统中创建对应的数据文件“/user /hive/warehouse/hive_database.db/user_action”,这个数据文件，在我们后面的使用HBase Java API把数据从本地导入到HB

19、ase中会使用到。2.将external_user_action表中的数据插入到user_action3.执行下面命令查看是否成功：5.4.2、使用Sqoop将数据从Hive导入MySQL1.在MySQL中创建wenjie_db数据库，创建数据表user_action2.退出MySQL，开启Sqoop，使用Sqoop将数据从HDFS存储的Hive数据仓2021库中数据导入到MySQL 中.字段解释：查看MySQL 中的数据表，确定是否成功：5.4.3、使用Sqoop 将数据从MySQL 导入HBase1.启动HBase ，命令：start-hbase.sh2.创建表user_action ：命

20、令：create user_action,NAME = f1,VERSIONS = 5该命令在HBase 中创建了一个user_action 表，这个表中有一个列簇f1，历史版本保留数量为5.3.导入数据字段解释：224.查看HBase 中user_action 表数据：5.5、实验步骤五：利用R 进行数据可视化分析5.5.1、R 安装首先更新软件源列表，命令：sudo apt-get update执行命令sudo apt-get update ；会提示“您希望继续执行吗？Y/N”，可以直接键盘输入“Y”，就可以顺利安装结束。安装结束后，可以执行下面命令启动R ；命令：R ，退出R 使用命令：

21、q( )5.5.2、可视化分析MySQL中的数据1.安装依赖库为了完成可视化功能，我们需要为R安装一些依赖库，包括：RMySQL,ggplot2、devtools和recharts。RMySQL是一个提供了访问MySQL数据库的R语言借口程序的R语言依赖库；ggplot2和recharts则是R语言中提供绘图可视化功能的依赖库。启动R进入R命令提示符状态，执行如下命令安装RMySQL:Install.packages(RMySQL)上面命令执行后，屏幕会提示Would you like to user a personal library instead?(y/n)等问题，只要遇到提问，都在键

22、盘输入y后回车即可。然后，屏幕会显示“-在此连线阶段时请选用CRAN的镜子-”，并会弹出一个白色背景的竖条形窗口，窗口标题是“HTTPS CRAN mirros”，标题下面列出了很多国家的镜像列表，我们可以选择位于China的镜像，比如，选择“China(Beijing)https”，然后点击“ok”按钮，就开始安装了。由于不同的用户的开发环境不一样，安装有可能因为缺少组件导致失败，出现类似如下信息：23根据错误提示信息，需要安装libmariadb-client-lgpl-dev；使用命令：sudo apt-get install libmariadb-client-lgpl-dev；然后再

23、次R下；执行如下命令安装绘图包ggplot2，如果还出现缺少组件的错误，请按照上面的解决方案解决。命令：install.packages(ggplot2)然后，屏幕会显示“-在此连线阶段时请选用CRAN的镜子-”，并会弹出一个白色背景的竖条形窗口，窗口标题是“HTTPS CRAN mirros”，标题下面列出了很多国家的镜像列表，我们可以选择位于China的镜像，比如，选择“China(Beijing)https”，然后点击“ok”按钮，就开始安装了。下面继续运行下面命令安装devtools;命令：install.packages(devtools)如果在上面安装devtools的过程中，又出

24、现了错误，处理方法很简单，还是按照上面介绍的方法，根据屏幕上给出的英文错误信息，缺少什么软件，就用sudo apt-get install命令安装该软件就可以了。作者在Ubuntu16.04上执行devtools安装时，出现了三次错误，作者根据每次错误的英文提示信息，安装了三个软件libssl-dev、libssh2-1-dev、libcurl4-openssl-dev，安装命令如下：sudo apt-get install libssl-devsudo apt-get install libssh2-1-devsudo apt-get install libcurl4-openssl-dev

25、下面在R命令提示符下再执行如下命令安装taiyun/recharts：devtools:install_github(taiyun/recharts)2.分析2425执行如下命令：（1）分析消费者对商品的行为：将消费者行为转换为数值型变量：接下来柱状图表示：从上图可以得到：大部分消费者行为仅仅只是浏览，只有很少部分的消费者会购买商品。（2）分析哪一类商品被购买总量前十的商品和被购买数量：26subset()函数，从某一个数据框中选择出符合某条件的数据或是相关的列.table()对应的就是统计学中的列联表，是一种记录频数的方法.sort()进行排序，返回排序后的数值向量。结果第一行表示商品分类,

26、该类下被消费的数次。（3）分析每年的哪个月份购买商品的量最多从MySQL 直接获取的数据中visit_date 变量都是2014年份,并没有划分出具体的月份,那么可以在数据集增加一列月份数据。aes()函数中的col 属性可以用来设置颜色。factor()函数则是把数值变量转换成分类变量,作用是以不同的颜色表示。如果不使用factor()函数，颜色将以同一种颜色渐变的颜色表现。 facet_grid(.month)表示柱状图按照不同月份进行分区。27由于MySQL 获取的数据中只有11月份和12月份的数据,所以上图只有显示两个表格。（4）分析国内哪个省份的消费者最有购买欲望大数据案例网站用户购物行为分析所有实验步骤到此结束！