《Python数据分析与应用案例教程》教案 第8课数据的清洗.docx

《《Python数据分析与应用案例教程》教案 第8课数据的清洗.docx》由会员分享，可在线阅读，更多相关《《Python数据分析与应用案例教程》教案 第8课数据的清洗.docx（9页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、课题第8课数据的清洗课时2 课时(90 min )教学目标知识技能目标：（1 ）掌握处理缺失值和重复值的方法（2 ）掌握握处理重复值的方法（3 ）能对数据进行清洗等预处理操作素质目标：养成分析问题、事前做好准备的良好习惯教学重难点教学重点：处理缺失值和重复值的方法教学难点：能对数据进行清洗等预处理操作教学方法案例分析法、问答法、讨论法、讲授法教学用具电脑、投影仪、多媒体课件、教材、APP教学设计第1节课：考勤（2 min ）一问题导入（5 min ） 一传授新知（28 min ） 一课堂实践（10 min ）第2节课：问题导入（8 min ） 一传授新知（20 min ） 一课堂实践（12 m

2、in ）一课堂小结（3 min ） 一作 业布置（2 min ）教学过程主要教学内容及步骤设计意图第一节课考勤(2 min)【教师】使用APP迸行签到【学生】按照老师要求签到培养学生的组 织纪律性，掌握学 生的出勤情况问题导入（5 min）【教师】提出问题在进行数据分析之前要进行数据预处理，数据预处理包含哪些工作？【学生】思考、举手回答通过提问的方 法，了解学生对上 节课知识的掌握 程度，进而引出新 知传授新知（28 min ）【教师】总结学生的回答，并引入新知，讲解数据清洗的相关知识3.1.1 缺失值的处理*【教师】请同学们扫描二维码学习数据缺失值的处理，并回答以下问题：什么是缺失值？小【学

3、生】扫描二维码、思考、回答问题小【教师】总结学生的回答，并讲解新知缺失值是指数据集中某个或某些值是不完整的，它会导致数据样本信息减少， 不仅增加了数据分析的难度，还会使数据分析的结果产生偏差。1 .检查缺失值DalaFrame对象中数据的修改包括修改索引和数据。十【教师】多媒体出示了 duplicated。函数的一般格式（详见教材），并详细通过教师讲解、 课堂讨论、多媒体 演示等方式，使学 生了解数据清洗 的相关内容，包括数据缺失值等相 关知识讲解各部分表示的内容Pandas提供了 isnull。函数和nolnull。函数用于检查缺失值(NaN ),它们的一 般格式如下。DataFrame.i

4、snull()DataFrame.notnullO使用isnull()函数检查缺失值时缺失值位置返回True等缺失值位置返回False ； 而notnullO函数正好相反，缺失值位置返回False ,非缺失值位置返回True,此外，isnullO函数和nomullO函数还可以结合sum。函数，统计数据中每的缺 失值个数。A【教师】按照教材步骤逐步分析并进行演示例3-1 (详见教材)的程序编写 步骤：import pandas as pddf = pd.DataFramc(商品苹果香蕉丁梨 1单价(元)：5. 5. 4,销量(kg) ,:100, None, None,库存(kg ) *： 50

5、, None. 70|)print(原始数据：n. df)prin【(检直缺失值：n, df.isnullO)print。检查非缺失值：n. df.notnullO)prim(统计每列缺失值的个数：n, df.isnull().suin()(详见教材)【学生】现察、记录、理解)【学生】教师演示完成后，学生按照教材提示和教师演示进行实际操作，并 对比程序运行结果(详见教材)【教师】巡视课堂记录，对学生进行个别指导【教师】提出学习任务：对比程序结果，进行程序分析.【学生】观察、记录、理解、分析中【教师】总结学生的任务完成情况，并讲解新知Pandas中,缺失值默认的数据类型为浮点型，包含缺失值的列中

6、整型雌会自 动转换为浮点型。因此，不包含缺失值的单价列中数据仍为整型，而包含缺失值的 销量列和库存列中数据变成了浮点型。2.处理缺失值Pandas提供了 dropnaO函数和fillna。函数用于处理缺失值。1 ) dropnaO函数小【教师】多媒体出示了 dropnaO函数的一般格式(详见教材)，并详细讲 解各部分表示的内容dropnaO函数用于删除包含缺失值的行或列，其一般格式如下。DataFrame.dropna(axis=0, how=any*. thresh=None. subset=None. inplace=False)(I )axis表示删除行或列，如果取0或index,表示删

7、除包含缺失值的行； 如果取1或columns,表示删除包含缺失值的列；默认为0。(2 ) how表示删除的标准，如果取any”,表示删除包含缺失值的行或列； 如果取all,表示删除所有值都为缺失值的行或列；默认为“any。(3 ) thresh表示非缺失值个数的最小要求。例如，thresh为2时，删除少于两 个非缺失值的行或列。(4 ) subset表示列索引或标签列表，删除指定列包含缺失值的行。(5 ) inplace表示是否在原数据上删除，如果为True则直接在原数据上删除； 如果为False则不在原数据上删除，返回一个新对象；默认为False.【教师】按照教材步骤逐步分析并进行演示例3-

8、2 (详见教材)的程序编写 步骤：mport pandas as pddf = pd.DataFrame(商品，:苹果香蕉丁梨I,单价(元)：5, 5, 4,销量(kg 八100, None, None,库存(kg ),: 50, None, 70)print(原始数据：n df)print(删除包含缺失值的行：n, df.dropna()print(删除包含缺失值的列：n, df.dropna(axis=i)print(删除少于3个非缺失值的行：n; df.dropna(thresh=3)print(删除库存列包含缺失值的行：n, df.dropna($ubscl=库存(kg )1)(详见教

9、材)沙【学生】观察、记录、理解【学生】教师演示完成后，学生按照教材提示和教师演示进行实际操作，并 对比程序运行结果(详见教材)小【教师】巡视课堂记录，对学生进行个别指导2) rillna()函数十【教师】多媒体出示了 fillna()函数的一般格式(详见教材)，并详细讲解 各部分表示的内容DataFrame.flllna(value=None, method=None. inplace=False)(1 ) value表示用于替换的数据，可以是单个数值，表示将所有的缺失值都替 换为value ；也可以是字典，字典的键为列标签，字典的值为替换的数据，表示将指 定列的缺失值替换为字典的值。(2 )

10、 method表示替换方式，如果是pad或ffill,表示使用每列第一个 缺失值前面的非缺失值替换该列的所有缺失值；如果是backfill或bfill”，表 示使用每列最后一个缺失值后面的非缺失值替换该列的所有缺失值。(3 ) inplace同样表示是否在原数据上替换。此处需要特别注意的是，value参数和method参数不能同时使用。【教师】按照教材步骤逐步分析并进行演示例3-3 (详见教材)的程序编写步骤：import pandas as pddf = pd.DaiaFramc（商品苹果丁香蕉丁梨1,单价（元）：5,5,4,销量（kg ） ,: 100, None, None,库存（kg

11、）: 50. None, 70J）prin【（原始数据：n, df）prim（使用 120 替换所有缺失值：n.df.tillna（l20）print（使用120、60分别替换销量、库存列的缺失值：n；df.fillna（销量（kg ） ,：120,库存（kg），: 601）prints使用每列第一个缺失值前面的非缺失值替换该列的所有缺失值：n df.fillna（method-ffiir）prime使用每列最后一个缺失值后面的非缺失值替换该列的所有缺失值：n df.fillna（method=bfill）（详见教材）小【学生】观察、记录、理解【学生】教师演示完成后，学生按照教材提示和教师演示

12、进行实际操作，并 对比程序运行结果（详见教材）小【教师】巡视课堂记录，对学生进行个别指导计【教师】提出学习任务：对比程序结果，进行程序分析。【学生】观察、记录、理解、分析+【教师】总结学生的分析，并讲解新知第3次替换时，销量列的第一个缺失值前面的数据为10（）,所以该列使用100 替换所有缺失值，库存列同理使用50替换缺失值.第4次替换时，销量列最后一个 缺失值后面没有数据，所以该列不进行替换，而库存列的最后一个缺失值后面的数 据为70 ,所以该列使用70替换所有缺失值.【学生】聆听、思考、理解、记忆课堂实践（10 min ）【教师】提出以下问题让学生进行实践练习：已知原始数据如图所示。通过课

13、堂实践， 加深学生对数据 缺失值处理的理 解原蛤数据：商品 单价（元 消里kg） 反存（kg。苹果5160.050.01 番蕉5NaNNaN2 梨4NaN 70.0将销量列的缺失值替换为“100”,将库存列的缺失值替换为50【学生】聆听、思考、编写程序【教师】巡视课堂，对学生进行个别指导第二节课问题导入(8 min )【教师】提出问题我们已经学习了数据缺失值出路的相关知识，那么数据的重复值应该如何处理 呢？【学生】聆听、思考、回答问题通过提问的方 法，引导学生主动 思考，激发学生的 学习兴趣传授新知(20 min)【教师】总结学生的回答，并引入新知，讲解重复值及异常值的处理重复值的处理小【教师

14、】请同学们扫描二维码学习数据缺失值的处理，并回答以下问题：什么是重复值？小【学生】扫描二维码、思考、回答问题小【教师】总结学生的回答，并讲解新知重装值是指数据集中重夏的数据，它会导致数据的方差变小，数据的分布发生较 大变化。1 .检查重复值【教师】多媒体出示了 duplicated。函数的一般格式(详见教材)，并详细 讲解各部分表示的内容DataFrame.duplicated(subset=None, keep-first)(1 ) subset表示要检查重复值的列标签，可以是单个列标签或列标签列表，默 认检查所有列.(2 ) keep表示检查方式，如果取first”,除包含重复值第一行外，

15、其他包含 重复值的行标记为True ；如果取Iasi,除包含重复值的最后一行外，其他包含重 复值的行标记为True ；如果取False，所有包含重复值的行标记为True ；默认为first.该函数返回一个由布尔值组成的Series对象，它的行索引或标签不变，数据则为 标记的布尔值。同样,duplicated。函数也可以结合sum。函数，统计数据的重复值个数。【教师】按照教材步骤逐步分析并进行演示例3-4 (详见教材)的程序编写步 骤：import pandas as pddf = pd.DataFrame(r商品？苹果丁香蕉丁梨丁香蕉1单价(元)：4,5,4,5,销量(kg)，: 100, 1

16、20,105, 120,库存(kg ) ： 50. 60, 70. 60)print(原始数据：n df)print(检查所有列的重复值：n, df.duplicatedO)prinld检查单价列的重复值，标记除包含重复值的第一行外其他包含重复值的行通过教师讲解 和课堂讨论，使学 生了解数据清洗 的相关知识包括 重复值和异常值 的处理方法什么是异常值？为 True ： n df.duplicaledC单价（元）prin（检直单价列的重复值，标记除包含重复值的最后一行外其他包含重复值的 行为 True ： n, df.duplicated（单价（元）keep=last）print。检查单价列的重

17、复值，标记所有包含重复值的行为True : i亡df.duplicatedC 单价（元）keep=False）（详见教材）+【学生】观察、记录、理解沙【学生】教师演示完成后，学生按照教材提示和教师演示进行实际操作，并 对比程序运行结果（详见教材）注【教师】巡视课堂记录，对学生进行个别指导2.删除重复值小【教师】多媒体出示了 drop_duplicates（）函数的一般格式（详见教材），并 详细讲解各部分表示的内容DalaFrame.drop_duplicates（subset=None.keep-first,inplace=False,ignorc_index=False）该函数的使用方法与d

18、uplicated。函数类似，用于删除检查重复值时标记为Tine 的行。其中，ignore_index表示是否忽略原行索引或标签，如果为True则重新设置从 0开始的整数索引，如果为False则保留原行索引或标签，默认为False.十【教师】按照教材步骤逐步分析并进行演示例3-5 （详见教材）的程序编写步 骤：import pandas as jxldf = pd.DaiaFramcC商品苹果丁香蕉,梨香蕉1单价（元）：4. 5, 4.51，销量（kg）: 100,120, 105, 120,库存（kg ） ,: 50, 60, 70, 60J）prinlC原始数据：n, df）print。删

19、除单价列除包含重复值的第一行外其他包含重复值的行：n; df.drop_duplicales（单价（元）prime删除单价列除包含重复值的最后一行外其他包含重复值的行：n; df.drop_duplicates（单价（元），keep=last）priniC删除除完全重复的第一行外其他完全重复的行：n. df.drop_duplicates（）prin（删除所有完全重复的行：n, df.drop_duplicates（keep=False）printC删除所有完全重复的行，并重新设置连续行索引： df.drop_duplicalcs（kccp=False, ignore_indcx=Truc）（

20、详磁材）【学生】观察、记录、理解【学生】教师演示完成后，学生按照教材提示和教师演示进行实际操作，井 对比程序运行结果（详见教材）【教师】巡视课堂记录，对学生进行个别指导异常值的处理+【教师】提出问题小【学生】观察、记录、理解、分析、回答问题+【教师】总结学生的回答，并讲解异常值的概念异常值是指超出或低于正常范围的值，如年龄为负数、身高大于3 m等，它会导 致分析结果产生偏差甚至错误.小【教师】提出问题如何检杳异常值？【学生】观察、记录、理解、分析、回答问题小【教师】总结学生的回答，并讲解异常值的检查方法检查异常值通常可以使用箱形图，它真实、直观地呈现了数据的分布情况，且对 数据没有件可限制。箱

21、形图通过上限和下限作为数据分布的边界，俗可高于上限或低 于下限的数据都可以认为是异常值，如图所示。【教师】提出问题，请同学们分小组练习：1 .原始数据原始数据:商品 单价元(kg) 原存(kg。茄萄6100: 50通过课堂实训I ,课堂实践1 苹果5126: 60使学生能够了解(12 min)2 西瓜4110；70更多关于数据清3 偏衢6100，50洗的知识.练习要求直找并删除原始数据中的重复值【学生】聆听、结组、思考、讨论、写代码、展示程序代码及运行结果【教师】聆听学生的回答课堂小结 (3 min )【教师】简要总结本节课的要点本节课学习了数据清洗的相关知识，包括缺失值，重复值，异常值的检查与处理， 等相关内容，希望大家在课下多加练习，巩固所学知识。【学生】总结回顾知识点总结知识点矶 固学生对相关知 识的印象作业布置(2 min)【教师】布置课后作业(1 )完成课后本章考核3”的习题.(2 )预习数据合并的内容。【学生】完成课后任务通过课后作业 复习巩固学到的 知识，提高理论接 收能力教学反思在这节课中学生能在互动环节深入沟通，效果不错。教师多与学生进行深入的沟通和交流，可以发 现学生学习中存在的问题并及时纠正，使其掌握科学有效的学习方法，提高学习的质量和效率.