2023年春国开《大数据技术导论》实验报告1-5题目.docx

实验1 Linux操作系统部署Linux操作系统应用日益广泛，现已成为主流的网络操作系统。云计算、物联网、移动 互联网和大数据等研究热点与应用领域的出现与发展，都应用了Linux操作系统。随着互联 网的广泛应用，L i n u x用户也迅速扩展，L i n u x操作系统发挥出越来越大的作用。1 .实验目的通过Linux操作系统部署的实验，学生可以掌握虚拟机平台VirtualBox及扩展包安装方 法、创建Linux虚拟机方法、安装Linux操作系统方法，进而为大数据Hadoop环境部署奠定基 础。2 .实验要求在了解Linux操作系统安装的相关知识基础之上，通过实例完成下述任务。(1)虚拟机平台VirtualBox及扩展包安装。(2)创建虚拟机。(3)安装Ubuntu操作系统。3 .实验内容(1)制订实验计划。(2)虚拟机平台VirtualBox及扩展包安装。(3)创建虚拟机。(4)安装Ubuntu操作系统。(5)熟悉操作系统的基本命令使用方法。4 .实验总结通过本实验，使学生了解Linux操作系统的特点和过程，理解其基本命令使用方法，掌 握虚拟机平台VirtualBox及扩展包安装方法，以及安装Linux操作系统的方法。5 .思考拓展(1)为什么Linux操作系统得到了广泛的应用？(2)说明Linux操作系统的安装步骤和简单配置方法。(3)什么是虚拟机？在Linux操作系统安装过程中为什么使用虚拟机？(4) Java虚拟机与在安装Linux操作系统中所创建的虚拟机有何区别？实验2 Hadoop开发环境部署Hadoop是一个能够对大数据进行分布式处理的软件架构，其可以通过可靠、高效、可伸 缩的方式进行数据处理。Hadoop技术是推动大数据应用的重要引擎之一，可以使用该技术收 集、清洗和分析大量结构化、半结构化和非结构化数据。运行环境部署是一项技术要求较高， 但必须掌握的技术。Hadoop是大数据分布式处理平台，在大数据离线处理方面，尤其是批处 理中得到了广泛的应用。1 .实验目的通过Hadoop环境部署实验练习，学生可以掌握Hadoop系统安装方法、伪分布式Hadoop 的安装方法和Eclipse开发环境的安装具体过程与使用方法，并能够灵活运用，进而为解决 大数据分析问题奠定环境构建与部署的基础，不仅为后续的基于Hadoop环境的各个实验建立 基础，而且可以提高工程实践能力。2 .实验要求在理解本实验相关理论的基础上制订安装计划，独立完成Hadoop开发环境部署过程，主 要内容如下所述。(1)制订安装计划。(2)安装SSH协议。(3)安装0penJDKL8开发环境。(4) Hadoop系统部署。(5)伪分布式Hadoop环境部署。(6) Eclipse开发环境的安装。3 .实验内容(1)制订实验计划。(2)完成SSH协议安装。(3)完成 0penJDK1.8 安装。(4)完成Hadoop系统部署。(5)完成伪分布式Hadoop环境部署。(6)完成Eclipse开发环境的安装。4 .实验总结通过本实验，使学生了解Hadoop的特点和总体结构，理解MapReduce程序的执行过程， 掌握伪分布式Hadoop的安装方法和Eel ipse开发环境的安装与使用方法。5 .思考拓展(1)为什么需要安装SSH协议？说明SSH协议功能及安装方法。(2)为什么需要安装0penJDKL8软件？说明OpenJDKL 8功能及安装方法。(3)结合MapReduce程序执行过程，说明其并行处理的特性。(4)结合Hadoop的处理过程，说明其离线处理特点。(5)说明分布式Hadoop处理与伪分布式Hadoop处理的区别。(6)说明Eclipse开发环境的优势。实验3网页数据获取数据获取是数据生命周期中的第一个环节，数据抽取过程是搜索全部数据源，按照某种 标准选择合乎要求的数据，并将其进行适当的格式转换之后，传送到目的地中存储。为了克 服被抽取的数据源分布广泛、异构、非结构化等问题，数据抽取技术和抽取工具应运而生。 学习数据科学与大数据技术不仅需要掌握其理论，更重要的是能够运用工具和方法来完成数 据的获取。1 .实验目的通过网页数据获取的实验，学生可以理解网络爬虫的工作过程，掌握网页数据获取的方 法，并能够灵活运用，进而解决网页数据获取的实际问题。2 .实验要求理解爬虫软件的原理与方法，独立完成网页数据获取的实验，主要内容如下。(1)前嗅ForeSpider爬虫软件安装。(2)选择频道。(3)网页数据采集过程。3 .实验内容(1)制订实验计划。(2)完成爬虫软件安装。(3)选择网页。(4)完成爬虫软件数据采集过程。4 .实验总结通过本实验，使学生了解爬虫软件的特点、总体结构和分类，理解爬虫软件程序的执行 过程，掌握应用爬虫软件获取网页数据的方法。5 .思考拓展(1)结合爬虫软件的结构说明其主要功能。(2)通过举例，说明csv格式文件的特点。(3)应用前嗅ForeSpider爬虫软件能够采集非结构化数据吗？为什么？(4)我们能够在网络上爬取什么数据?实验4大数据去重1 .实验目的通过Hadoop数据去重实验，学生可以掌握准备数据、伪分布式文件系统配置方法，以及 在集成开发环境Eel ipse中实现Hadoop数据去重方法。2 .实验要求了解基于Hadoop处理平台的大数据去重过程，理解其主要功能，并能够在Hadoop环境下 独立完成。(1)制订实验计划。(2)准备数据。(3)伪分布式文件系统配置。(4)在集成开发环境Eclipse中实现Hadoop数据去重。3 .实验内容(1)制订实验计划。(2)进入 /usr/local/hadoopv目录。(3)准备数据。(4)修改“/usr/local/hadoop/etc/hadoop/” 目录下的Hadoop配置文件。(5) NameNode格式化。(6)在集成开发环境Eclipse中实现Hadoop数据去重。4 .实验总结通过本实验，使学生了解Hadoop数据去重的特点和过程、理解MapReduce程序的执行过 程，掌握NameNode的格式化方法、Hadoop的配置文件的修改和Eel ipse开发环境下实现Hadoop 数据去重的方法。5 .思考拓展(1)为什么需要NameNode格式化？说明NameNode格式化方法。(2)为什么需要数据去重？说明Hadoop数据去重的主要优势。(3)结合MapReduce程序执行过程，说明Hadoop数据去重是离线处理还是在线处理。(4)说明在集成开发环境Eclipse中实现Hadoop数据去重的主要过程。实验5大数据可视化6 .实验目的通过大数据可视化的实验，学生可以掌握Echarts, js可视化方法，直方图、饼图和标签 云可视化方法，进而为大数据分析结果展现奠定基础。7 .实验要求了解数据可视化技术的主要内容，理解Echarts, js的主要功能，并能够独立完成以下内 容。(1)构建Echarts. js环境。(2)准备实验数据。(3)柱状图。(4)折线图。(5)饼图。8 .实验内容(1)制订实验计划。(2)选择可视化工具，并进入基于选中工具环境。(3)准备数据。(4)实现可视化。9 .实验总结通过本实验，使学生了解大数据可视化的特点和过程，掌握一种可视化工具，学习通过 可视化实现柱状图、饼图、折线图的方法。10 .思考拓展(1)为什么需要数据可视化？(2)常用的数据可视化工具有哪些？(3)结合一种可视化工具，说明制作可视化饼图的过程。