Python数据分析与可视化教案4.4 数据的交叉与透视.docx

《Python数据分析与可视化教案4.4 数据的交叉与透视.docx》由会员分享，可在线阅读，更多相关《Python数据分析与可视化教案4.4 数据的交叉与透视.docx（9页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、课 题4.4数据的交叉与透视课 型讲练授课班级大数据授课时数2教学目标1 .理解频数交叉表与数据透视表的区别。2 .能够绘制频数交叉表。3 .能够绘制数据透视表。教学重点1 .能够绘制频数交叉表。2 .能够绘制数据透视表。教学难点1.理解频数交叉表与数据透视表的区别。学情分析数据的交叉透视分析是数据分析的一种常用的方法，这种方法类似于 Excel的数据透视表，其中区别在于pandas的交叉透视分析既有交叉的频数 统计还有函数统计。数据交叉透视分析是数据分析中常用方法之一，通过交叉透视分析可以用来判断 不同字段之间是否存在相互关联。一、频数交叉表频数交叉表是一种用于计算分组频率的表格，频数交叉表

2、只统计行与列字段交叉 出现的频数，因为表格统计的内容是有限的，所以行字段和列字段的取值不能过多， 一般都是字符型分类字段。比方判断分析性别与商品类别之间是否存在关联，就可以 把性别与商品类别可以分别作为行字段和列字段，进而统计交叉字段出现的频数，并 判断不同性别选择不同商品时是否存在明显差异。比方一共有20个客户，其中男性和女性客户各占10个，而使用A手机和B手 机各占10个客户，如果仅仅分析性别或商品类别的话，看不出明显的规律。但是如 果将两个字段进行交叉分析的话，就可以进一步统计不同性别选择不同商品类别的频 数，将各个频数绘制在表格中，如表4-*所示。表4-*不同性别选择不同商品结果AB小

3、计男2810女8210小计101020从表4-*可以看出，购买A手机的客户中，女性客户明显多于男性客户，而B手 机的客户中，男性客户明显多于女性客户，而这些规律是无法仅通过一个字段看出的, 只有通过字段的交叉统计才能看出。如果要把数值型字段作为交叉表的行字段或列字段，可以先将数值型字段通过分 段函数转化成分类型字段，进而再进行统计分析，比方直接绘制年龄和商品类别的交 叉表意义不大，因为年龄的取值过多。此时，可以对年龄进行分段，再制作年龄段和 商品类别的交叉表。频数交叉表一般格式如表4-*所示。表4-*频数交叉表结果行字段行字段二行字段二列字段列字段二和频数和频数列字段二和频数和频数pandas

4、提供了 crosstab函数用来制作频数交叉表，crosstab函数的一般用法为：pd.crosstab(index,columns,margins)其中，index表示交叉表行字段。columns表示交叉表列字段。margins表示汇总 (Total)功能的开关，设为True后结果会出现名为“ALL”的行和列，默认为False。例如代码如下：import pandas as pdpd.set_option(display.unicode.east_asian_width,True)diet =性别1,1,1,0,0,0,0,商品类别:0,0,0,0,0,1,1data = pd.DataFr

5、ame(dict)data性别1=data性别replace（0:男,1:女） #将性别中的0替换为男,将1替 换为女data商品类别=data商品类别.replace（0:，商品A:，商品B1） #将商品类别 中的。替换为商品A,将1替换为商品Bprint（初始数据为:n;data）result_crosstab_l = pd.crosstab（index=data 性另,columns=data商品类另 U）print（频数交叉表的结果为果”,result_crosstab_l）result_crosstab_2 = pd.crosstab（index=data性另,columns=dat

6、a商品类另,margins=True）print（添加汇总行与汇总列后频数交叉表的结果为:n”,result_crosstab_2）输出结果如图4-*所示。Run:4-4C:UsersliliangAnaconda3python.exe C:/Users/liliang/PycharmProjects/sjfx/4-4.py 初始数据为：性别商品类别0男商品A三1女商品A.2女商品A1 3女商品A4女商品A5 女商品B男商品B6 男商品B男商品B7 男商品B频数交叉表的结果为：商品类别商品A商品B性别女41男14添加汇总行与汇总列后频数交叉表的结果为：商品类别商品A商品B All性别女415男

7、145All5510Process finished with exit code 0图4-*频数交叉表例如结果二、数据透视表频数交叉表只能统计行与列字段交叉出现的频数，而如果还要再统计行与列字段 以外的第3个字段，就需要用到数据透视表。pandas中的数据透视表类似于Excel中 的数据透视表，需要找到行字段、列字段以及统计字段，再确定统计方法就可以绘制 数据透视表。比方年份与地区可以分别作为行字段和列字段，进而再统计销售金额的 各种指标，就可以制作数据透视表。数据透视表结果如表4-*所示。表4-*函数交叉表结果pandas提供了制作数据透视表的函数pivot table, pivot ta

8、ble函数的一般用法为:行字段行字段二行字段二列字段列字段二和和统计字段的统计指标统计字段的统计指标列字段二和统计字段的统计指标和统计字段的统计指标pd.pivot_table（data,index,columns,values,aggfunc,margins）各个参数的作用如下：data表示待分析的DataFrame。index表示数据透视表的行字段。columns表示数据透视表的列字段。values表示数据透视表的统计字段。aggfunc表示统计指标。如np.sum表示计算总和，叩.mean表示计算平均数，使 用前需要导入numpyomargins表示汇总（Total）功能的开关，设为Tr

9、ue后结果集中会出现名为“ALL” 的行和列。默认为False。例如代码如下：import numpy as npdata销售金额=np.arange（ll,l,-l）print（初始数据为:n ”,data）result_pivot_l = pd.pivot_table（data二data,index=性另 i,columns=，商品类另小，values=销 售金额:aggfunc = np.sum）print（数据透视表1的结果为:nresult_pivot_l）result_pivot_2 = pd.pivot_table（data=data,index=性别；columns=商品类别，

10、values=1 销 售 金 额aggfunc=np.mean,margins=True）print（数据透视表 2 的结果为:n”,result_pivot_2）输出结果如图4-*所示。Run:4-4AC:UsersliliangAnaconda3python.exe C:/Users/liliang/PycharmProjects/sjfx/4-4.py初始数据为：性别商品类别销售金额=50男商品A11丑1女商品A102女商品A93女商品A84女商品A75女商品B66男商品B57男商品B48男商品B39男商品B2数据透视表1的结果为：商品类别商品A商品B 性别 女346男1114数据透视表

11、2的结果为：商品类别商品A商品B All 性别女8.56.08男1103.55All9.04.06Process finished with exit code 0图4-*数据透视表例如结果【结果分析】从结果可以看出，购买商品A的男性客户的平均销售金额明显大于女性客户，而购买商品B的女性客户平均销售金额明显大于男性客户。任务实训任务 1：利用 read excel 导入 supermarket.xlsx （supermarket.xlsx 存放在 c:data 路 径中)中的“销售统计”工作表(第1张工作表)，导入时将“客户ID”列设为索引， 完成：(1)从“订单ID”列中提取年份，并将结果存

12、放到新列“年”中。(2)制作数据交叉表，统计不同年份的不同省份的频数，并统计汇总结果。(3)从“产品ID”中提取产品类别，如从“办公用-用品-10002717”提取出“用 品”，并将结果存放到新列“产品类别”中。将“销售金额”进行分段，销售金额75% 分位数以上的数据命名为“优质客户”，销售金额75%分位数以下的数据命名为“一 般客户”。(4)制作数据交叉表，统计不同年份的不同客户的频数，并统计汇总结果。任务1 (1)具体代码如下：pd.set_option(,display.max_columns,None)pd.seLoptionCdisplay. width,None)pd.set_op

13、tion(,True)datal = pd.read_excel(,c:datasupermarket.xlsx,index_col=/1 ID)print(导入的数据为:n”,data 1 .head()datal年=datal J订单 ID.str.split(,-expand=True) 1 print(生成新列年的结果为:n”,datal. head。)输出结果如图4-*所示。Run:0 4-4图4-*任务1 (1)输出结果 个C:UsersliliangAnaconda3python.exe C:/Users/liliang/PycharmProjects/sjfx/4-4.py导入

14、的数据为：订单ID产品ID产品名称客户姓名 省城市单价数量的售金额折扣折扣金额*方客户ID14485US-2018-1357144 办公用-用品-10002717Fiskars 剪刀，蓝色曾惠 浙江 杭州 6521300.478.010165CN-2018-1973789 办公用-信封-10004832 GlobeWeis 搭扣信封，红色许安四川内江 6321260.0126.010165CN-2018-1973789办公用-装订-10001505 Cardinal孔加固材料，回收许安 四川 内江 162320.419.217170 US-2018-3017568 办公用-用品-1000374

15、6Kleencut 开信刀，工业宋良 江苏 住江 8043200.4192.015730CN-2017-2975416 办公用-器具-10003452 KitchenAid 搅拌机，黑色万兰广东汕头 459313770.01377.0生成新列年的结果为：订单ID产品ID产品名称客户姓名 省城市单价数M销售金颍折扣折扣金倾 年客户ID14485US-2018-1357144 办公用 用品-10002717Fiskars 剪刀，蓝色曾弟 浙江 杭州 65213。0.478.0 201810165 CN-2018-1973789 办公用-信封-10004832GlobeWeis 搭扣信封，红色许安

16、四川 内江 6321260.0126.0 201810165CN-2018-1973789 办公用-装订-10001505 Cardinal 孔加固材料，回收许安 四川 内江 162320.419.2 201817170US-2018-3017568 办公用-用品-10003746Kleencut 开信刀，工业宋良 江苏 镇江 8043200.4192.0 20181573。CN-2017-2975416 办公用器具-10003452 KitchenAid 搅拌机，黑色万兰广东汕头 459313770.01377.0 2017Process finished with exit code 0任

17、务1 (2)具体代码如下：crosstab_resultl = pd.crosstab(index = datal 1 省 columns = datal, 年 margins二True)print(crosstab_result 1)输出结果如图3-*所示。Run:4-4A年2015201620172018All省上海2411118云南047011I内蒙古1404220Ei北京02136吉林221813w四川416617天津01359安徽109111山东2817633山西00224广东1417830广西02046江苏114141342江西655420河北4271326河南0018018浙江4

18、116829海南00303湖北209213湖南215513甘肃631111福建821011贵州20136江宁49162251重庆024713陕西821516青海00011黑龙江813161249All9479175152500图4-*任务1（2）输出结果【结果分析】从结果中可以看出，江苏、辽宁、重庆、黑龙江等省份近三年的订 单有明显地上升。广东、甘肃、福建等省份地订单有下降地趋势。任务1 （3）具体代码如下：datal产品类另= datal产品 ID*.str.split（,-expand=True） 1 des = data 1销售金额describe。datal客户等级1=pd.cut（d

19、atal 销售金额1bins=0,des,75%,des,max,labels=, 一 般客户：优质 客户）print（生成新列产品类别和客户等级，的结果为:rT, datal.head。）输出结果如图4-*所示。WE新司,产品类别和,客户等级，的结果为：订华ID产品ID产品名称客户姓名省城市单价数量销售金额客户I。514485US-2018-1357144办公用-用品-10002717Fiskars 剪刀，色S浙江杭州65213010165CN-2018-1973789办公用-信封-10004832GlobeWeis搭扣信封，红色许安四川内江63212610165CN-2018-197378

20、9办公用装VI-10001505Cardinal孔加固材料，回收许安四川内江16232w17170US-2018-3017568办公用-用品-10003746Kleencut开信刀，工业宋R江苏慎江80432015730CN-2017-2975416办公用-器具-100。3452KitchenAid搅拌机，黑色万兰广东汕头45931377Processfinished with exit code 0Run:4-4折扣折扣金微年产品矣另客户等级0.478.02018用一般客户0.0126.02018优一般客户0.419.22018装iT一般客户0.4192.02018用;叙客户0.01377.

21、02017器1一锻客户图4-*任务1 (3)输出结果任务1 (4)具体代码如下：crosstab_result2 = pd.crosstab(index = data 1产品类另叫,columns = datal 客户等级margins=True)print(crosstab_result2)输出结果如图4-*所示。Run:4-4F5C:UsersliliangAnaconda3python.exe C:/Users/liliang/PycharmProjects/sjfx/4-4.py 客户等级一般客户优质客户All产品类别书架111324信封30030器具92231复印61824收纳318

22、39标签28028桌子178椅子181836用具22224用品35035 182139系固33033纸张26026美术20020装订49049设备101020配件28634All3 乃125 500Processfinished with exit code 0图4-*任务1 (4)输出结果【结果分析】从结果中可以看出，虽然优质客户的人数较少，但是“器具”、“复 印“、“椅子”、“ ”、“设备”等产品有至少一半订单来自于优质客户。任务2：将任务1的结果重新命名为data2,制作数据透视表，统计分析不同年份 的不同产品类别对应的平均销售金额。具体代码如下：data2 = data1result_

23、pivot = pd.pivot_table(data=data2,index=产品类别,columns=年，values=销售金额aggfunc=np.mean)print(round(result_pivot,0)输出结果如图4-*所示。Run:4-4 tC:UsersliliangAnaconda3python.exe C:/Users/liliang/PycharmProjects/sjfx/4-4.py年2015201620172018产品类别5s =5书架2450.0 2746.0 2091.0 2888.0丑信封660.0459.0358.0588.0w器具8373.0 7280

24、.0 5321.0 4266.0复印4034.0 2962.0 2483.0 2792.0收纳1467.01995.01350.01364.0标签141.0217.0209.0193.0桌子13601.0NaN4021.05670.0椅子5294.05449.02781.02575.0用具603.0354.0789.01028.0用品325.0400.0468.0341.0 3308.04418.02806.05298.0系固21440216,0178*0235,0纸张432.0292.0419.0707.0美术371.0369.0252.0389.0装订2030444.0276.0419.0

25、设备488.05718.02374.02522.0配件1390.01187.01019.01198.0Process finished with exit code 0图4-*任务2输出结果巩固训练利用 read_excel 导入 c:datascore.xls,完成：(1)将“area”列拆分成两个新列，将其中的省份生成新列“province,将其中 的城市生成新列“city”。(2)制作频数交叉表，统计不同省份不同性别的频数。(3)制作数据透视表，统计不同城市不同性别对应的数学的平均分。Run 4-3订单ID产品ID产品名称客户姓名省城市单价数量侑售金额折扣折扣金额客户1014485US-

26、2018-1357144办公用-用品-10002717Fiskars剪刀，监色四惠浙江杭州6521300.478.010165CN-2018-1973789办公用-信封-10004832GlobeWeis搭扣信封，红色许安四川内江6321260.0126.010165CN-2018-1973789办公用-装订-10001505Cardinal孔加固材料，回收许安四川内江162320.419.217170US-2018-3017568办公用-用品-10003746Kleencut开信刀,工业宋良江苏镇江8043200.4192.015730CN-2017-2975416办公用器具10003452

27、KitchenAid授拌机，黑色万兰广东汕头459313770.01377.0平均俏区金额最少的3个营的结果为：订单ID产品ID产品名称客户姓名省城市单价数量侑售金额折扣折扣金额客户1014485US-2018-1357144办公用-用品-10002717Fiskars剪刀，监色四惠浙江杭州6521300.478.010165CN-2018-1973789办公用-信封-10004832GlobeWeis搭扣信封，红色许安四川内江6321260.0126.010165CN-2018-1973789办公用-装订-10001505Cardinal孔加固材料，回收许安四川内江162320.419.21

28、7170US-2018-3017568办公用-用品-10003746Kleencut开信刀,工业宋良江苏镇江8043200.4192.015730CN-2017-2975416办公用器具10003452KitchenAid授拌机，黑色万兰广东汕头459313770.01377.0平均俏区金额最少的3个营的结果为：C:UsersliliangAnaconda3python.exe C:/Users/liliang/PycharmProjects/sjfx/4-3.py 导入的数据为：省辽宁271.2甘肃291.0西海300.0Name:伪包金额，dtype: float64折扣金陵总和排名前5的

29、客户名单的结果为：客户姓名俞明21017.0EVm15694.0芬聒14143.0白鹄9831.0赵蜂7945.0Name:折扣金额，dtype: float64Process finished with exit code 0图4-*任务1输出结果【结果分析】因为每个客户都有很多订单，所以要统计折扣金额排名前10的客 户名单，首先需要对数据按照客户进行分组，才能进行后续的统计分析。任务2：根据任务1的导入数据，重新命名为data2,将“销售金额”列进行分段 并生成新列，新列命名为“客户等级”。具体分段方法为：将销售金额的25%分位数、 50%分位数、75%分位数设为三个分段点，并以此将分为4

30、段，“D”、C”、B”、“A”。 输出前10个数据，查看分段的效果。具体代码如下：data2 = dataldes = data21销售金额.describe。cujbins =销售金额max。cutabels = D?C;B?Adata2r 客户等级1=pd.cut(data2销售金额bins=cut_bins,labels二cutabels) print(data2.head(l 0)输出结果如图4-*所示。Run:4-3C:UsersliliangAnaconda3python.exe C:/User$/liliang/PycharProjects/sjfx/4-3.py客户ID订单10

31、产品10产品名睡客户姓名告城市单价数倒营金腺折扣折扣金额客户等取14485US-2018-1357144办公用-用品-10002717Fiskars就刀，匕色H浙江杭州6521300.478.0D10165CN-2018-1973789办公用任封-10004832GlobeWeis塔扣信封，红色许安BJII内江6321260.0126.0D二10165CN 2018-1973789办公用-装订-10001505Cardinal孔加固材料，回收淳安四川内江162320.419.2DTT17170US-2018-3017568办公用-用品-10903746Kleencut开信刀，工业宋良江苏镇江8

32、043200.4192.0Ci15730CM-2017-2975416办公用-器具-10003452KitchenAid搅摔机，黑色万兰广东汕头459313770.01377.0B18325CN-2016-4497736技术-设冬-10001640柯尼卡打印机，红色南明江西景僚镇12379111330.011133.0A18325CN-2016-4497736办公用-装订-10001029Ibico订书机，实思俞明江西景德镇24024800.0480.0C18325CN-2016-4497736家具椅子1OO0CS78SAFCO扶手椅，可调俞明江西景彼模2165486600.08660.0A1

33、8325CN-2016-4497736办公用-版张-10001629Green Bar计划信息费,姿色副明江西11855900.0590.0B18325CN-2016-4497736办公用-系固-10004801Stockwell株皮筋，整包俞明江西7721540.01S4.6DProcess finished with exit code 0图4-*任务2输出结果巩固训练利用 read csv 导入 c:datascore.csv, 完成:按“class”(班级)分组，计算各班“math”列的平均数和中位数。60-74cut”。(2)将“math”列进行分段，成绩段分段方法为：0-59设为“不及格”, 为“合格”，75-89为“良好”,90-100为“优秀”,并将结果生成新列“math_