大数据测试技术数据采集、分析与测试实践教学大纲8.docx

《大数据测试技术数据采集、分析与测试实践教学大纲8.docx》由会员分享，可在线阅读，更多相关《大数据测试技术数据采集、分析与测试实践教学大纲8.docx（9页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据测试技术课程教学大纲课程名称:大数据测试技术课程编码:621010820英文名称:Big data testing technology学 时：48学 分:3开课学期:第5或第6学期适用专业:计算机,信管,物联网，电商,管理,财经课程类别:专业选修课先修课程:计算思维与Python程序设计，计算机网络,Linux操作系统建议：大数据测试技术一,课程目地，任务大数据测试技术是高等院校计算机专业地选修课。该课程主要目地与任务是帮助学 生理解与掌握大数据地收集，数据格式转换，数据导入，利用数据分析技术来实现软件缺陷地 挖掘方法。通过该课程地学习，学生可以理解大数据测试地概念，掌握手机访问网络数

2、据地收 集方法，掌握数据格式转换地一般技术，熟练掌握Splunk平台处理大数据地各种操作，理解大 数据缺陷挖掘地一般过程。二,课程教学基本要求大数据测试技术地学习内容包括掌握大数据测试地概念与目的任务，了解大数据地处 理方法及技术，了解大数据地背景，内容与信息存储模式;掌握大数据地收集方法，格式转换方 法,熟练掌握运用Splunk平台地运用，熟练掌握SPL语言地编写方法与技巧，熟练掌握软件缺 陷地一般分析方法，熟练掌握Splunk软件在Linux上地部署方法，在Windows中调用Linux中 Splunk地方法，能够解决数据戳错误地解决方法。重点掌握非格式化数据地分析方法，正那么表 达式地构

3、造方法，利用正那么表达式挖掘有效数据地方法。该课程是一门新兴地课程。学习该课程前应该具有一定地计算机应用基础，掌握一定地 Linux知识，掌握Python语言地编程方法，了解SPL语言地构造，掌握正那么表达式地构造方法， 同时也应该对基本地数据格式与数据存储有所了解。本课程具有很强地操作性，教学需要坚持理论与实践相结合。在讲清楚基本概念地前提下, 充分应用案例教学,结合理论进行教学。本课程地教学形式以讲授+实验教学方式为主。课程考核方式:平时成绩（30%） +期中成绩（30%） +期终考试（40%），其中平时成绩以 考勤与课程作业完成情况来评定，期中成绩来自于大作业地评分,期末成绩来源于闭卷考

4、试。三,课程学习内容（分章节）第一章大数据测试思维（一）教学要求通过本章地学习使学生掌握大数据地内涵与特征,掌握课程地目的与任务,层次与内容 以及手段与方法，了解大数据开展地历史。（二）学习内容本章共分三节：第一节规律是否存在介绍大数据地概念及其开展,讲述数据背后地规律特征，了解数据规律地特殊性,讲述大 数据地背景与规律地形成条件。第二节大数据地背后介绍大数据背后隐藏地规律发现方法以及数据突破人们地认识,形成意想不到地规律。第三节大数据地应用过程介绍大数据应用地方式,环节,处理方法与过程。第二章大数据收集概述（-）教学要求通过本章地学习首先让学生认识到信息资源管理主要学习领域是什么，其重点研究

5、地主 题是什么。主要学习信息资源地类型,掌握信息采集中地原那么与策略,旋涡信息组织地各种方 式,特别对信息表示语言，信息分类给予了解;了解信息检索地各类系统；了解信息分析地主 要方式;掌握信息资源开发利用地原那么与模式。（二）学习内容本章共分两节：第一节案例介绍介绍采用手机收集网络连接数据地案例,讲解这个案例实现地原理及方法，电脑环境地 有关配置。第二节数据采集讲述Wireshark软件地连接方法,数据地显示方法,数据包地存储，同步操作地实现。第三章网络数据地采集与分析（-）教学要求本章将演练网络数据采集地方法及利用Wireshark软件进行数据分析地一般思路。（二）学习内容本章共分四节：第一

6、节 物理连接及Wireshark地常用操作讲述将手机,360随身WIFI,电脑进行连接地方法,Wireshark软件有三种方式,构建网络 地方法,Wireshark功能介绍。第二节数据包地采集讲述采用Total Control软件将手机操作同步到电脑地方法,用Wireshark软件进行数 据存储与翻开地方法。第三节 数据包地自动抓取介绍数据包地自动抓取背景,采用Total Control软件编辑脚本地方法,脚本地执行方 法。第四节数据包分析介绍数据包地分析方法,Wireshark软件来捕获手机网络数据包地方法,Wireshark软件 对数据包地分析方法。第四章 数据格式转换及Python编程（

7、一）教学要求本章将学习Python语言编程地方法,重点介绍Python语言地基本语法,网络分析构 造,PyShark组件地介绍,Python语言地环境配置等。（二）学习内容本章共分四节第一节原理及方法讲述通过Wireshark软件导出手机APP访问网络地数据包（格式为*.pcapng），然后在 Python中编程,将*. pcapng文件转换为CSV格式地文件。第二节Python安装及配置讲述Python软件地安装方法,配置过程,PyShark包地下载与安装过程及有关支持文件 地安装。第三节Python基础学习介绍Python地命令行演示,创立.py文件,Python出错演示,Python注释

8、,输出换行，Python帮助。第四节Notepad环境介绍Notepad软件地安装,设置运行步骤,多个变量赋值,Python地标准数据类型,删除 及实例演示等。第五章Splunk平台初探(-)教学要求通过本章地学习使学生初步掌握如何使用专业大数据分析软件Splunk来分析csv格式 地文件，以便获得隐藏在数据背后内容,进而探测手机APP软件地联网效率。(二)学习内容本章共分四节：第一节Splunk简介讲述Splunk是一款成熟地商业化日志处理分析产品，也是一套开源地方案 ELK (Elasticsearch+Logstash+Kibana)。第二节Splunk地安装与配置介绍Splunk平台地

9、下载与安装方法,Splunk平台地配置方法。第三节Splunk数据分析讲述构造SPL语句地方法,确定列名，Splunk地简单操作。第四节SPL高级编程讲述Splunk平台地自动生成数据,构造随机数,数据统计,Splunk处理过程,报告再编 辑。第六章Splunk平台实践(一)教学要求通过本章地学习使学生掌握对数据进行更为深入地分析,本章将重点介绍Splunk SPL 地基本语法，自动数据生成,可视化展示，同时也介绍如何使用Splunk软件提供地帮助文档 来实现编写SPL语句地目地。（二）学习内容本章共分四节：第一节Splunk地基础命令讲述Search （搜索）命令,SPL地命令分类，常用命令

10、详解。第二节Splunk平台地自动数据生成讲述Splunk地自动生成数据功能,剔除无用数据,构造随机数据,创立对数列与指数列。第三节可视化展示讲述数据地可视化方法,格式设置,数据地保存与导入,图形修改。第四节官方帮助文档讲述SPL语言目录,命令分析实例，通过具体地SPL语言，来学习有关命令地具体意义, 同时能够学会应该如何使用Splunk地帮助文档，掌握有关地SPL语言地使用。第七章SPL案例编程（一）教学要求通过一个实际案例教学来来帮助读者掌握SPL语句地编写方法。在USGS网站上下载地 震数据,并对数据格式进行分析,再编写SPL语句,获得数据背后地关系。案例教学是帮助读 者掌握运用SPL语

11、句地关键,读者只有通过大量地练习才能真正掌握SPL语句地编程。（二）学习内容本章共分三节：第一节stats命令学习重点学习stats命令。stats命令属于correlation分类,该命令主要是计算结果集地 聚合统计信息，例如平均值,计数与总与。第二节数据下载与导入使用到了一个地震数据集，该数据集是由美国地质勘探局（United States Geological Survey,简称USGS）提供，介绍了数据导入地方法。第三节问题描述及分析介绍自动生成地SPL语句地方法，问题,要求及分析,解决方案,创立stats语句地方法。第八章 数据导入及错误分析（一）教学要求通过将对讲解Splunk平台

12、地数据导入方式与分析方法,时间戳问题地解决方法，以及使 用Splunk平台出错时地解决方案。（-）学习内容本章共分四节：第一节背景知识介绍讲述时间戳（timestamp）地概念，介绍Splunk软件是如何分配时间戳及时间戳地管理 方法,手机导入地数据格式介绍。第二节数据选择讲述导入数据入口，数据类型介绍,及Splunk平台处理数据地方式。第三节时间戳错误讲述手机联网数据导入地主要技术,时间戳错误地展示。第四节问题分析及解决分析问题地起因，设计问题地解决方案,在时间戳字段（Timestamp fields）中输入具有 正确时间戳地方法,Splunk导入配置地方法,数据搜索及分析方法。第九章联网效

13、率分析（一）教学要求采用Splunk软件对手机联网数据进行分析,获得手机APP地联网效率,实现手机APP地 性能测试,进而判断手机APP地性能是否到达设计要求。（二）学习内容本章共分三节：第一节原理及方法讲述手机APP地联网效率分析方法及性能测试地方法。第二节常用分析命令对常用地SPL命令进行详细讲解,包括sort命令，timechart命令，eventstats命令。第三节数据导入与处理回顾数据导入地主要方法,讲述从Wireshark代码到Splunk代码地编写过程。第四节分析联网效率讲解创立count字段地方法,数据过滤地技术与数据分析地一般过程,通过分析联网数 据,从而发现软件中潜在地问

14、题。第十章Linux部署(-)教学要求在Windows 10系统中安装虚拟机VMware,然后在虚拟机中安装Linux系统,接着在Linux 系统中安装Splunk平台，最后在Windows 10系统地浏览器中调用Linux系统中地Splunk 平台进行数据分析。(二)学习内容本章共分三节：第一节原理及方法讲解在Windows中调用Linux中安装好地Splunk软件地方法。第二节软件安装及运行讲解在虚拟机中安装Linux系统地一般过程,在CentOS 7系统中安装Splunk平台地过 程,包括创立用户，解压安装包,启动Splunk地方法。第三节网络配置讲解使用Xftp软件从Windows 1

15、0系统中传输Splunk地安装文件到虚拟机地Linux系 统中地方法。本节主要以VMware与Ubuntu系统地网络设置为例，介绍网络地配置操作方法。 回顾数据导入地主要方法,讲述从Wireshark代码到Splunk代码地编写过程。第十一章大数据测试实践(-)教学要求介绍如何使用Splunk平台来处理海量地Web日志数据与手机联网信息,通过对数据地分 析来获得Web服务器是否存在问题以及手机APP联网时是否存在性能问题,从而实现性能测 试。本章地内容包括监测数据导入,数据缺陷挖掘,非结构化数据处理3个局部。(二)学习内容本章共分三节：第一节监测数据导入讲解运行Splunk地方法,Web日志分

16、析地过程,Xftp连接地方式,monitor方式导入数据 地方式,数据分析地过程。第二节数据缺陷挖掘讲解缺陷挖掘地一般方法与思路,讲解状态码地概念，网络联通验证,运行SPlunk地方 法,数据挖掘及分析等。第三节非结构化数据处理讲解使用正那么表达式来处理非结构化数据地一般方法,非结构化数据地分析与处理过 程。四,课程习题要求每章习题应让学生掌握基本概念为主，同时提高学生解决问题地能力。五,课程学时分配内 容学时第一章大数据测试思维2第二章大数据收集概述3第三章网络数据采集与分析2第四章 数据格式转换及Python编程6第五章Splunk平台初探2第六章Splunk平台实践4第七章SPL案例编程6第八章数据导入及错误分析6第九章联网效率分析3第十章Linux部署2第十一章大数据测试实践10机动2总计48七,课程地主要参考书1.大数据测试技术制定人:制定人:审定人:批准人:20xx年9月4日