《Python网络爬虫技术（第2版）项目6 终端协议分析——爬取某音乐PC客户端和App客户端数据 教案.docx

项目6终端协议分析一一获取某音乐PC客户端和App客户端数据教案课程名称：Python网络爬虫技术课程类别：必修适用专业：大数据技术类相关专业总学时：64学时(其中理论24学时，实验40学时)总学分：4.0学分本章学时：8学时一、材料清单(1)Python网络爬虫技术(第2版)(微课版)教材。(2)配套 PPT。(3)引导性提问。(4)探究性问题。(5)拓展性问题。二、教学目标与基本要求1 .教学目标分析目前互联网数据获取的现状,获取数据逐渐从Web端转向了 PC端和APP客户端。 而后介绍了 HTTP Analyzer工具的基本功能，利用HTTP Analyzer工具进行抓包，以及通过 抓包分析获得在酷我音乐PC客户端搜索的数据。紧接着了解并设置Fiddler工具，通过 Fiddler工具得到酷我音乐App客户端的JSON格式数据，利用Fiddler工具抓取的包，对酷 我音乐App客户端的图片信息进行爬取。2 .基本要求(1) 了解HTTP Analyzer工具的基础知识。(2)掌握酷我音乐PC客户端数据的爬取流程。(3) 了解Fiddler工具的基础知识。(4)掌握HTTP Analyzer和Fiddler工具的抓包和数据分析方法。(5)掌握酷我音乐App客户端的数据分析方法。三、问题1.引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问 题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。(1)如何从网络中获取相关数据？(2)现实生活中可以使用哪些数据获取的技术？(3)该如何进行数据爬取？(4) Python语言编写爬虫有哪些优势？(5)通过Web端爬取数据的一般流程是什么？2 探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的 基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课 文中又是重要的问题加以设问。(1) PC客户端和APP客户端抓包的完整流程是怎样的？(2)抓包软件的能够应用在那些场景？(3) HTTP Analyzer 和 Fiddler 有哪些优缺点？3.拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提 出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问 题。(1)有没有更好的APP客户端抓包方案(例如使用安卓模拟器等)？(2) Python语言用于做数据分析有哪些优势？(3)如何从抓取的数据包中快速定位要爬取的资源？四、主要知识点、重点与难点1 .主要知识点(1) 了解HTTP Analyzer工具的基础知识。(2)掌握酷我音乐PC客户端数据的爬取流程。(3) 了解Fiddler工具的基础知识。(4)掌握HTTP Analyzer和Fiddler工具的抓包和数据分析方法。(5)掌握酷我音乐App客户端的数据分析方法。2 .重点(1)抓包的概念、流程与应用场景。(2) HTTP Analyzer和Fiddler工具的常用功能。3 .难点抓包的概念与流程。五、教学过程设计1.理论教学过程（1） HTTP Analyzer 的安装。（2） HTTP Analyzer 的基本功能。（3）使用HTTP Analyzer进行抓包。（4）对酷我客户端抓取的数据包进行分析。（5）对数据包内容进行解析和数据提取。（6）编写爬虫下载歌手数据。（7） Fiddler工具的安装。（8） Fiddler工具的基本功能。（9）设置Android系统的手机。（10）利用Fiddler工具进行抓包测试。（11）分析酷我音乐App客户端数据。（12）编写爬虫下载首页图片。2.实验教学过程（1）通过HTTP Analyzer抓包分析获得在酷我音乐PC客户端搜索的数据。（2）使用Fiddler工具对酷我音乐App客户端的图片信息进行爬取。六、教材与参考资料1 .教材池瑞楠.Python网络爬虫技术（第2版）（微课版）M.人民邮电出版社.2023.2 .参考资料1江吉彬.Python网络爬虫技术M.人民邮电出版社.2019.2黄瑞军.Python爬虫项目教程（微课版）M.人民邮电出版社.2021.3黑马程序员.Python网络爬虫基础教程M.人民邮电出版社.2022.