《大数据采集与清洗》课程教学大纲.docx

《《大数据采集与清洗》课程教学大纲.docx》由会员分享，可在线阅读，更多相关《《大数据采集与清洗》课程教学大纲.docx（11页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据采集与清洗教学大纲一、课程基本信息课程名称大数据采集与清洗Big Data Col lection And Cleaning课程编码SCC320421030开课院部理学院课程团队数据科学团队学分3.0课内学时56 |讲授| 32实聆|0上机24 |实践0课外学时56适用专业数据科学与大数据技术授课语言中文先修课程Python语言与实训课程简介 （限选）大数据的采集、清洗和组织是进行大数据统计分析、机器学习、可视化的必要前提,大数据采集与清洗是数据科学与大数据技术专业的一门专业选修课。通过前期课程的学习,该专业学生掌握了计算机程序设计、 Pylhon编程、数据科学与大数据技术等方面的基础理

2、论.具备了相应的专业技能，设置本课程.目的是通过Python网络度虫和Pylhon数 据清洗实例学习与训练，培育认识和发现问题的能力，培育团队协作解决大数据问题的能力、培育数据采集与清洗获取能力。本课程内容 主要涉及数据采集与清洗的基本方法、Python胆虫、Python数据清洗等，通过本课程学习，学生应具备良好的运用Python采集与清洗数 据的能力。The collection, cleaning and organization of big data are necessary prerequisites for statistical analysis, machine 1earni

3、ng and visualizaiion of big data.Big data acquisition and cleaning, is a professional elective course for data science and big data technology majors. Through the study of the previous courses, the students of this major have mastered the basic theories of computer program design, Python programming

4、, data science and big data technology, and have the corresponding professional skills. The purpose of setting up this course is to cultivate the abi1ity to recognize and discover problems through Python web crawler and Python dala cleaning instance I earn i ng and training, and to cult i vale the a

5、bi1ity of team cooperation to solve big data problems, cultivate data collection and cleaning acquisition capabilities. This course mainly involves the basic methods of data collection and cleaning, Python crawler, Python data cleaning, etc. Through this course, students should have good ability to

6、use Python to collect and clean data.负责人大纲执笔人审核人二、课程目标序号代号课程目标OBE毕业要习R指标点任务自选1Ml目标1 :掌握数据采集与清洗的基本知识是5.25.22M2目标2 ：具有运用Python采集与清洗数据的能力是8. 18. 13M3目标3：通过Python网络胆虫和Python数据清洗实例学习与训练，培育认识和发现问题的能力，培 育团队协作解决大数据问题的能力、培育数据采集与清洗获取能力是6. 1, 7.26. 1. 7.24M4目标4 ：能保障课程正常秩序（政治层面、课堂保障层面,非学生能力层面）否三、课程内容序号章节号标题课程内容

7、/重难点支撑课程目标课内学时教学方式课外学时课外环节1第一章第一基概述本章重点难点：数据获取途径；数据清洗方法。21. 11.1数据分析步骤采集原始数据，使用数据清洗工具和统计知识来正则化数据 集；开展描述性和探索性分析；数据建模；数据预测；因果分 析；机制性数据分析Ml0.2讲授/31.21.2数据获取途径数据的三个主要来源是因特网（即万维网）、数据库,以及本地 文件（可能是先前手动下载或利用其他软件下载得到的）。Ml0.2讲授/41.31.3数据清洗方法数据分组、分割、合并、变形，缺失值、异常值和重复值处理Ml0.2讲授/51.41.1数据存储文件存储和数据库存储Ml0.2讲授/61.51

8、-5数据变换透视表；压缩与展开；哑变国与因子化Ml0.2讲授2自学7第二章第二至数据科学 的Python核心本章重点难点：基本数据结构；正则表达式；Pickling和 Unpickl ing 数据。/82.12.1理解基本的字 符串函数内置的str类的成员函数，包括大小写转换函数、判断函数、 连接函数join。、查找函数find。、计数函数count。等Ml0.2讲授/92.22.2选择合适的数 据结构列表、元组、集合和字典是Pylhcn中最常用的复合数据结构Ml0.3讲授/102.32.3理解列表推导 式列表列表推导式的定义和作用；转换过程Ml0.2讲授/112.42.4使用计数器使用col

9、lections模块给集合项目计数Ml0.3讲授/122.52.5使用文件打开文件；从文件读取数据或将数据写入文件；关闭文件；with语句Ml0.5讲授/132.62.6上网urllib. request模块包含从Web下载数据的函数；urllib. parse模块提供了用于解析和构建网址的友好工具Ml0.5讲授/142.72. 7使用正则表达 式实现模式匹配理解正则表达式语言；使用模块re进行搜索、拆分和替换Ml0.5讲授2自学152.82.8 Pickling 和Unpickling 数据pickle模块用于实现序列化Ml0.5讲授/16上机1上机1Python数据保存与读取Ml2上机2撰

10、写上机 报告17第三章第三至使用文本 数据本章重点难点：处理HTMI.文件；读取JSON文件。/183.13. 1处理HTML文 件了解网页；HTMLParser ；解析HTML文件Ml0.5讲授/193.23. 2处理CSV文 件读取与写入CSY文件Ml0.5讲授/203.33.3读取JSON文 件json库；读取JSON文件并解析Ml0.5讲授2自学213.43. 1处理自然语言 中的文本自然语言处理常用包（英文：NLTK ；中文：pynlpir）；分词处 理；词性分布分析；高频词分析；词频统计；关键词分析；生 成词云图Ml0.5讲授2自学22上机2上机2处理HTML文件与JSON文件。M

11、l2上机2撰写上机 报告23第四章第四章编写第一 个网络爬虫本章重点难点:requests库的使用；Beautiful Soup库的使 用；数据清洗。/244. 11.1关于网络爬虫网络展虫定义；网络爬虫何时有用；关于腿虫的合法性M20.5讲授/254.24.2使用 requests库请求 网站什么是 requests ； requests 诂求方式；response 方 法;Requests内置的JSON解码括M20.5讲授/264.34.3使用Beautiful Soup 库解析网页Beautiful Soup介绍与安装；节点选择器；方法选择器；css 选择器M21讲授2自学27上机3上机

12、3编写一个简单的网络爬虫。M22上机2撰写上机 报告28第五章第五至用API腿 取天气预报数据本章重点难点：获取API数据；存储数据到MongoDB。/295.15.1使用和风天气 数据API注册免费API和阅读技术文档，获取API数据M20.5讲授/305.25.2存储天气数据到 MongoDB下栽并安装MongoDB ；在PyCharm中安装Mongo Plugin ；将数 据存入MongoDBM21讲授/315.35. 3 MongoDB 天气 数据查询查询所有数据；查询指定列；精确条件查询；模糊条件查询； 排序查询；统计查询；分组统计查询M20.5讲授/32上机4上机4用API随取天气

13、预报数据。M22上机2撰写上机 报告33第六章第六章大型爬虫 案例：抓取某电商 网站的商品数据本章重点难点：解析数据；代码优化。/f346. 16.1数据.吧取观察页面特征和解析数据；工作流程分析；构建类目树；获 取产品列表M21讲授/356.26. 2代码优化与容 错处理爬虫效率优化；容错处理M21讲授/36上机5上机5抓取大型网站平台数据。M22上机2撰写上机 报告37第七章第七章使用Scrapy爬虫本章重点难点：用Scrapy腾取数据:./387. 17.1 Scrapy 爬虫Scrapy 简介；Scrapy 安装M20.5讲授/397.27. 2 使用 Scrapy咫虫创建Scrapy

14、项目；明确目标；爬数据与读数据；保存数据,案 例：用Scrapy抓取股票行情M21.5讲授/10上机6上机6用Scrapy爬取数据M22讲授2撰写上机 报告41第八章第八有使用Selenium 爬虫本章重点难点：用Selenium鹿取数据。/f /428. 18. 1 Selenium 爬 虫Selenium 简介；Selenium 的安装M20.5讲授/438.28.2使用 SeleniumSelenium的基本使用；等待元素被加载；选择解；元素交互操 作；案例：用Selenium抓取电商网站数据M21.5讲授/44上机7上机7用Selenium爬取数据”M22上机2撰写上机 报告45第九章

15、第九章数据库连 接和查询本章重点难点：访问PyMySQL、Alchemy、MongoDB数据库。/469. 19. 1 使用 PyMySQL连接数据库；案例：搜索某电商网站某种商品的T0P100销量 数据M20.5讲授t479.29.2使用SQLAlchemySQLAlchemy基本介绍；SQLAlchemy基本语法M20.5讲授489.39. 3 使用 MongoDBMongoDB基本语法；案例：搜索某电商网站某种商品数据M21讲授2自学49上机8上机8爬取数据并保存至数据库。M22上机2撰写上机 报告50第十章第十章Pandas数据清洗本章重点难点：数据读写、选择、整理和描述；数据分组、分

16、 割、合并和变形；缺失值、异常值和重复值处理；正则表达 式。/5110. 110. 1数据清洗常 见操作数据读写、选择、整理和描述；数据分组、分割、合并和变 形；案例：旅游数据的分析与变形M22讲授/5210.210.2异常数据处 理缺失值、异常值和重复值处理；案例：旅游数据的值检查与处 理M21讲授/53上机9上机9清洗旅游数据M22/2撰写上机 报告5410.310.3时序数据处 理基本模型；pandas时间序列操作；平稳性检胎；平稔性处理； 模型识别；模型预测；案例：天气数据分析与处理M22讲授2自学5510.410.4 pandas 数据类型转换asiypeO函数；io_numeric

17、()函数；to_datetime()函数；自定 义转换函数M20.5讲授/5610.510. 5 pandas 正则模块正则模块re：用re. spli10按模式分割文本:用re. match。按 模式匹配文本:用re. sub 0按模式替换文本：案例：用正则表 达式提取网页文本信息M20.5讲授/57上机10上机10Pandas数据清洗-用正则表达式提取网页文本信息。M22上机2撰写上机 报告5812. 112.1按性价比给用户推荐旅游产品数据采集；数据清洗、建模M32讲授/59第十二 章第十二童综合应 用实例本章重点难点 数据采集；数据清洗、建模；展示清洗后的数 据./!/60复习课复习课

18、总复习M32讲授18大作业6111. 1H-1串行与并行下载百万个网页；串行爬虫与多线程爬虫M20.5讲授/62第十一 章第十一堂并发下 载本章更点难点：多线程胆虫。/6312.212.2通过热力图 分析为用户提供出 行建议某旅游网站热门景点胆虫代码，提取csv文件中经纬度和销量 信息；创建景点门票错量热力地图HHL文件M32讲授/64上机11上机11编写多线程度虫。M22上机2撰写上机报告6511.211.2多线程与多 进程线程和进程如何工作；多线程爬虫与多进程爬虫的实现M21.5讲授2自学66上机12上机12数据采集与清洗综合应用。M32上机2撰写上机 报告四、考核方式序号考核环节操作细节

19、总评占比1上机作业1,每次上机布置1次作业，共12次。2 .成绩采用百分制,根据实验完成情况评分。3 .考核学生对数据采集与清洗基础知识的掌握与应用能力。40%2大作业1 .针对某一问题, 爬取网络数据，清洗，存储，并进行某些分析、可视化等处理。2 .根据数据处理过程的正确性、程序的正弱性、结果分析的合理性、报告的规范性等指标评分。50%3考勤随机点名、刷卡点名等5%4课堂表现随机检查学生上课精神状态, 回答问题情况5%五、H，分细则序号课程目标考核环节大致占比评分等级1Ml上机作业100%*按时提交上机作业，数据采集与清洗基本知识点理解与应用无误。N-按时提交上机作业，数据采集与清洗基本知识

20、点理解与应用存在少量错误。2M2上机作业50%V-按时提交上机作业，数据健取与清洗的实现正确无误，N-按时提交上机作业，数据腰取与清洗的实现存在少量错误。3M2大作业50%（见大作业评分标准）4M3上机作业50%出按时提交上机报告，数据采集、清洗、分析等综合应用正确无误.N-按时提交上机报告，数据采集、清洗、分析等综合应用存在少量错误,5M3大作业50%（见大作业评分标准）6M4考勤100%M-缺勤2次以内。N-缺勤3次及以上且很少参加课堂讨论。评分等级说明：M,N=80-100, 0-79六 教材与参考资料序号教学参考资料明细1图书Python 3鹿虫、数据清洗与可视化实战，零一、韩要宾、黄

21、园国，电子工业出版社，2018.03, ISB+9787121333590. (*主教材)2图书Pylhon数据科学入门，俄德米特里齐诺维耶夫(Dmitry Zinoviev)著,熊子源译，人民邮电出版社，2017.11, ISBN:9787115470607.3图书用Python写网络爬虫(第2版)，镌凯瑟琳，雅姆尔(Katharine Jarmul).澳理查德，劳森(Richard Lawson)著李斌译,人 民邮电出版社.2018.08, ISBN:9787115479679.4网络图文 1 Python 雁虫介绍，菜鸟教程.https:/Aw. runoob. com/w3cnote/python-spider-intro. html.5网络图文 IScrapy 入门教程，菜鸟教程，. runoob. com/icnote/scrapy-detail. html.