《Python网络爬虫技术（第2版）（微课版）》教案项目7 使用Scrapy爬虫——爬取某企业官网新闻动态 教案.docx

《《Python网络爬虫技术（第2版）（微课版）》教案项目7 使用Scrapy爬虫——爬取某企业官网新闻动态 教案.docx》由会员分享，可在线阅读，更多相关《《Python网络爬虫技术（第2版）（微课版）》教案项目7 使用Scrapy爬虫——爬取某企业官网新闻动态 教案.docx（5页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、项目7使用Scrapy爬虫爬取某企业官网新闻动态教案课程名称：Python网络爬虫技术课程类别：必修适用专业：大数据技术类相关专业总学时：64学时(其中理论24学时，实验40学时)总学分：4.0学分本章学时：10学时一、材料清单(1)Python网络爬虫技术(第2版)(微课版)教材。(2)配套 PPT。(3)引导性提问。(4)探究性问题。(5)拓展性问题。二、教学目标与基本要求1 .教学目标分析目前数据流通的现状，明确数据爬取是实现数据要素化的重要方式。而后介绍 Scrapy爬虫框架，阐述该框架与一般Python爬虫的区别，讲解Scrapy爬虫框架的安装、创 建爬虫项目，框架中各组件的功能和用

2、途，最后以某企业官网的“新闻中心”页面为例，使 用Scrapy框架实现爬虫，抓取指定网站的内容或图片，实时获取企业动态，并进行备份和 存储。2 .基本要求(1)了解Scrapy框架各组件的作用以及数据流向。(2)熟悉Scrapy的常用命令及其作用。(3)掌握Scrapy爬取文本信息的方法。(4)能够使用Scrapy框架爬取网站信息。(5)能够根据项目最终目标修改items/pipelines脚本。(6)能够编写spider脚本，解析网页。三、问题1 .引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问 题，提问，从而达到理解、掌握知识，发展各种能力和提高思想

3、觉悟的目的。(1)如何创建Scrapy爬虫项目？(2)如何从页面上分析数据的XPATH路径？(3) Scrapy的命令有哪些？(4) Scrapy框架有哪些优势？(5) Scrapy爬虫项目包含哪些文件？2 .探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的 基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课 文中又是重要的问题加以设问。(1) Scrapy框架包含了哪些组件？(2) Scrapy各个组件之间的数据流向是怎样的？(3) Scrapy爬虫与其他Python爬虫有何区别？3 .拓展性问题拓展性问题需要教师深刻理解教

4、材的意义，学生的学习动态后，根据学生学习层次，提 出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问 题。(1) Scrapy框架适用于哪些数据获取场景？(2) Scrapy框架体现了软件架构设计中的哪些思想？(3)如何更有效的存储内容页上的相关数据？四、主要知识点、重点与难点1 .主要知识点(1) Scrapy框架各组件的作用以及数据流向。(2) Scrapy的常用命令及其作用。(3) Scrapy爬取文本信息的方法。(4)下载器中间件、Spider中间件的定制方法。2 .重点(1) Scrapy框架创建项目的流程和命令。(2) Scrapy脚本的编写和设置。3

5、 .难点Scrapy中间件的定制方法。五、教学过程设计1.理论教学过程(1) Scrapy爬虫框架的构成。(2) Scrapy各组件的作用。(3)常见的Scrapy命令。(4)创建Scrapy爬虫项目。(5)修改 items/pipelines 脚本(6)创建spider爬虫脚本模板。(7)编写spider脚本。(8)修改settings脚本。(9)运行爬虫项目。2.实验教学过程(1)安装Scrapy爬虫框架并创建爬虫项目。(2)通过Scrapy爬虫项目爬取文本信息。六、教材与参考资料1 .教材池瑞楠.Python网络爬虫技术(第2版)(微课版)M.人民邮电出版社.2023.2 .参考资料1江吉彬.Python网络爬虫技术M.人民邮电出版社.2019.2黄瑞军.Python爬虫项目教程(微课版)M.人民邮电出版社.2021.3黑马程序员.Python网络爬虫基础教程M.人民邮电出版社.2022.