Python数据分析与可视化教案4.2 数据的统计与描述.docx

《Python数据分析与可视化教案4.2 数据的统计与描述.docx》由会员分享，可在线阅读，更多相关《Python数据分析与可视化教案4.2 数据的统计与描述.docx（6页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、课 题4.2数据的统计与描述课 型讲练授课班级大数据授课时数2教学目标1 .能够计算数值型字段的统计指标。2 .能够统计字符型字段的频数。3 .掌握describe函数的用法。教学重点1 .能够计算数值型字段的统计指标。2 .能够统计字符型字段的频数。教学难点1.掌握describe函数的用法。在进行数据分析时，首先需要判断分析的字段是数值型还是字符串型,学情分析学情分析因为不同类型的字段处理方法是不同的，这一点在使用describe函数时就 非常明显。数据的统计与描述可以用来概括和表示数据的状况，通过一些统计指标可以方便 地表示一组数据的集中趋势、离散程度、频数分布等特征。一、数值型字段的统

2、计与描述数值型字段是指该字段是用数值来描述的，如身高、体重、成绩等。数值型字段 的描述性统计主要包括计算最小值、最大值、均值、中位数、四分位数、极差、方差、 标准差等统计指标。1 .直接利用统计指标进行计算pandas提供了很多方法来计算数值型字段的各类指标，常用统计指标如表4-*所 Zjx O表4-*数值型数据统计指标方法名称说明方法名称说明mean均值max最大值median中位数min最小值mode众数PtP极差quantile四分位数std标准差sum总和cumsum累加和skew偏度kurt峰度其中，quantile表示四分位数，是指通过三个分割点将全部数据等分为四局部， 其中每局部

3、包含25%的数据，这三个分割点就是四分位数。中间的四分位数就是中位 数，而处在25%位置上的四分位数称为下四分位数，处在75%位置上的四分位数称为 上四分位数。skew表示偏度，是描述分布偏离对称性程度的一个特征数。当分布左右对称时, 偏度系数为0。当偏度系数大于。时，该分布为右偏。当偏度系数小于。时，该分布 为左偏。kurt表示峰度，是指用来反映频数分布曲线顶端尖峭或扁平程度的指标。峰度大 于。表示该数据分布与正态分布相比拟为陡峭，为尖顶峰；峰度小于0表示该数据分 布与正态分布相比拟为平坦，为平顶峰。cumsum表示累加和，是指对列数据进行累加，其结果也是一列数据。直接利用统计指标进行计算的

4、一般方法为：DataFramecolumn.统计指标 例如代码如下： import numpy as np import pandas as pdarr = np.arange( 1,17).reshape(4,4)data = pd.DataFrame(arr,columns=,a7b,/c,/d) print(初始数据为:nn,data)print。a 列的最大值=,dataa.max() print(Hb 列的平均值廿,datac.mean()print(nc列的标准差值二%.2F%(datac1.std()print,”)datae二datad.cumsum()printed列的累加和

5、结果为e列:n”,datad?e) 输出结果如图4-*所示。Run:4-2AC:UsersliliangAnaconda3python.exe C:/Users/liliang/PycharmProjects/sjfx/4-2.py初始数据为： abed=$01234U15678”.29101112W 313141516a列的最大值=13b列的平均值=9.0 c列的标准差值=5.16d列的累加和结果为e列：d e0441 81212 242 16 40Process finished with exit code 0图4-*统计指标计算例如结果2利用describe函数进行计算pandas提供

6、了 describe函数用来一次性计算数值型字段的八个统计指标,如表3-* 所示。表4-*数值型字段的describe函数统计结果方法名称说明count非空个数mean均值std标准差min最小值25%25%分位数50%50%分位数，即中位数75%75%分位数max最大值在调用describe函数计算统计指标时，还可以采用describe()i (i=0,l,2,)的方 法调用某个统计指标，如用describe。0调用第1个统计指标count, describe()U调用 第2个统计指标mean。同时，还可以利用指标名称来调用指标，如describeOHS%】 表示调用25%分位数，即调用下四

7、分位数。例如代码如下：des = dataa .describe。print(na列的describe函数计算结果:n”,round(des,2) #利用round函数保存所有2 位小数print(”a 列的平均值=desl)print(na 列的 25%分位数二”,des25%)输出结果如图4-*所示。Run:4-2 It=方C:UsersliliangAnaconda3python.exe C:/Users/1iliang/PycharmProjects/sjfx/4-2.py a列的describe函数计算结果：count4.00mean7.00丑X 二std5.16min1.0025%

8、4.0050%7.0075%10.00max13.00Name: a, dtype: float64a列的平均值=7.0a列的25%分位数=4.0Process finished with exit code 0图4-*统计指标计算例如结果二、分类型字段的统计与描述分类型字段是指该字段的具有分类作用，如省份名、城市名、商品类别等，分类 型字段统计与描述主要是频数统计。1 .利用value_counts函数进行统计分析pandas提供了 value_counts函数用来统计分类型字段的频数，value_counts函数的一般用法为：_value_counts(normalize,ascendin

9、g)其中，normalize表示是否按频率显示，True表示按频率显示，False表示按频数显示，默认为False,即默认按按频数显示。例如代码如下：data,f=A,；B7B,；C,print(初始数据为:n”,data)print(按频数统计f列降序的结果:n，dataf.value_counts(ascending=False)print(按频率统计f列升序的结果:n，data| T . value_counts(normalize=True,ascending=True)输出结果如图4-*所示。Run:4-2C:UsersliliangAnaconda3python.exe C:/Us

10、ers/liliang/PycharmProjects/sjfx/4-2.py初始数据为： a b c d e f5012344A共 1567gl2 B . 2 9 10 11 12 24 B3 13 14 15 16 40 C 按频数统计f列降序的结果：B 2A 1C 1Name: f, dtype: int64 技频率统Ilf列升序的结果：C 0.25A 0.25B 0.50Name: f, dtype: float64Process finished with exit code 0图4-* value_counts函数例如结果2 .利用describe函数进行统计分析pandas中de

11、scribe函数除了可以对数值型字段进行统计描述，还可以对分类型字 段进行统计描述。对于分类型字段，describe函数可以统计分类数目、最多频数类别 等结果，具体统计结果如表4-*所示。表4-*字符型数据describe函数统计结果例如代码如下：方法名称说明count表示非空数目。unique表示数据的种类。top表示出现最多的类型。freq表示出现最多的类型的数目。des二 dataf .describe()print(Hf列describe函数统计结果为:n”,des)print(4列的类别数量=H,desl)printCf列频数最多的类别为：s,该类别出现的次数为ddesltoplde

12、slfreq】) 输出结果如图3-*所示。Run:4-2AC:UsersliliangAnaconda3python.exe C:/Users/liliang/PycharmProjects/sjfx/4-2.py千列describe函数统计结果为：count 4力 unique3top b“ 看 freq2_ Name: f, dtype: objectf列的类别数量=3f列频数最多的类别为：b,该类别出现的次数为：2Process finished with exit code 0图4-* describe函数例如结果任务实训任务 1：利用 read_excel 导入 supermarke

13、t.xlsx (supermarket.xlsx 存放在 c:data 路 径中)中的“销售统计”工作表(第1张工作表)，导入时将“客户ID”列设为索引， 将导入数据命名为datal,完成：(1)直接计算“销售金额”列的平均值和中位数以及偏度，并根据这些统计指 标判断数据的大致分布。(2)通过describe函数生成“单价”列统计指标，再单独输出其平均值。任务1 (1)具体代码如下：pd.set_option(display.max_columns,None)pd.set_option(display. width,None)pd.set_option(,True)datal - pd.rea

14、d_excel(,c:datasupermarket.xlsx,index_col-r, ID)print。导入的数据为:n”,data l.head()mean 二 datal 销售金额1.mean()median = datal 销售金额1.median。skew = datal销售金额,.skew。print。销售金额的平均值二%.2An销售金额的中位数二%.2An销售金额的偏度 二 %.2fnn%(mean,median,skew) 输出结果如图3-*所示。Run:4-2导入的数据为:订单ID产品ID产品名称客户姓名省城市单价数量销售金额折扣折扣金额5客户ID 14485US-2018

15、-1357144办公用-用品-10002717Fiskars 剪刀，蓝色惠淅江杭州6521300.478.010165CN-2018-1973789办公用-信封-10004832GlobeWeis搭扣信封，红色许安四川内江6321260.0126.010165CN-2018-1973789办公用-装订-10001505Cardinal孔加固材料，回收许安四川内江162320.419.217170US-2018-3017568办公用-用品-10003746Kleencut开信刀，工业宋良江苏镇江8043200.4192.015737CN-2017-2975416办公用-器具-10003452Ki

16、tchenAid 搅拌机，黑色万兰广东汕头459313770.01377.0销售金额的平均值=1706.77销售金额的中位数-585.00销售金额的偏度=2.59图4-*任务1(1)输出结果【结果分析】销售金额的平均值远大于中位数，并且偏度为2. 59,远大于0,说 明数据是右偏的，即销售金额存在着大量的极大值，也就是说在数据中，有一些客户 贡献了极高的销售金额，这一点也比拟符合“帕累托法那么:“帕累托法那么”也叫“二 八法那么”，它是指在任何特定群体中，重要的因子通常只占少数，而不重要的因子却 占多数，因此只要能控制具有重要性的少数因子即能控制全局。即80%的价值是来自 20%的因子，其余的

17、20%的价值那么来自80%的因子。经济学家认为，20%的人掌握着80% 的财富。推而广之，在任何大系统中，约80%的结果是由该系统中约20%的变量产生 的。任务1(2)具体代码如下：des = data 1数量describe。print,数量，列的describe结果为：nn,round(des,2) #利用round函数保存所有2 位小数print。1数量冽的平均值=,desl)输出结果如图3-*所示。Run:4-2AC:UsersliliangAnaconda3python.exe C:/Users/liliang/PycharmProjects/sjfx/4-2.py数量列的descr

18、ibe结果为:count100.00二mean3.79“std2.18.min1.00W 25%2.0050%3.0075%5.00max14.00Name:数量，dtype: float64 数量列的平均值=3.79Process finished with exit code 0图3-*任务1 (2)输出结果任务2：根据任务1的导入数据，重新命名为data2,计算贡献所有销售金额的前 80%的订单笔数占总笔数的比例。具体代码如下：data2 二 dataldata2 = data2.reset_index()data2.sort_values(by=销售金额ascending二False,

19、inplace=True)data2订单销售金额占比1=data2销售金额data21销售金额sum() #计算订单成交额占比data2订单销售金额累计占比=data2订单销售金额占比cumsum() #计算订单成交额的累计 占比print。订单销售金额累计占比前5条数据为:n”,data2.head()key=data2ocdata2订单销售金额累计占比10.8.index0 #找到累计占比超过80%的第1个用户print。”)print。订单销售金额累计占比超过80%的临界数据的索引编号key)print,”)data2_80 = data2.1oc:keyprint(订单销售金额累计占比

20、接近80%的最后5条数为:n”,data2_80.tail()print。”)print(”销售金额累计占比超过80%订单笔数二,data2_80.shape0)result = data2_80.shape0/data2.shape0print(”销售金额累计占比超过80%订单笔数占总比数的比例=%.2f%”%(result* 100)#在输出语句中，%是格式符表示百分号输出结果如图4-*所示。Run:4-2Q -C:UsersliliangAnaconda3python.exe C:/Users/liliang/PycharmProject$/sjfx/4-2.py订单他彷金事累计占比前S

21、条数鬣为：客户ID订单ID产品ID产品名称客户姓名省城市单价数M创篦金麟折扣折扣金网订单销供金颗占比订单隹1；金策罩计占比5219825 CN-2017-2828982 办公用器具-10CO0297Hamilton Beach 炉灶，黑色苏附山东WS25285126400.012640.00.0748580.0740584915985 CN-2018-2396895 技术- -10004915思科充电器，全尺寸密荔吉林蛟河30464121840.012184.00.0713860.145444518325 CN-2016-4497736技术设名-10001640柯尼卡打印机，红色俞明江西景博犊

22、12379111330.011133.00.0652280.2106731520965 US-2017-2511714 办公用器具 10063582KitchenAid冰箱，黑色刘斯江苏徐州14777103390.46203.40.0605760.2712494114815 US-2017-3857264 办公用 2S具 100O4757Breville炉灶，黑色武杰江苏港用1571694260.45655.60.0552270.326476仃隼销隹金餐东计占比超过8OX的卷界数据的奉引编号二24订单循售金额累计占比接近80%的最后5条数为：客户】D订单ID产居ID产品名称售户姓名省城市单价数

23、量箱售金嵌折扣折扣金额订单稍售金额占比i丁单销售金额货it占比871S445 CN-2017-5552260 *具-用具-19001977Eldon亚聚，优质四川端阳322619320.41159.20.0113260.7668177213180 CN-2018-2187292 技术- -】。0。393三星信号增强as,全尺寸XM庆庆643319290.01929.00.0113020.7781194721265 US-2017-S956361 技术 -10004349诺亚充电器，芭色邮禹四川内江1781117810.41068.60.0104350.7885543312310 CN-2018

24、-3230180 家具-椅子-1O0OO374 Harbour Creations 椅热，可调宋栋河北*山348517400.01740.00.01619S0.7987492410600 US-2017-4150614 家具-书架-10004730Sauder书架，金88贾影浙江温岭410416400.4984.00.0096090.808357倒房金颜累计占比超过80X订单笔数=29的侯金徽累计占比超过80X订单望故占总比数的比例=29.00%Process finished with exit code 0图4-*任务2输出结果任务3：根据任务1的导入数据，重新命名为data3,完成：(1

25、)利用value_counts函数统计订单数量排名前5的客户姓名。(2)利用describe函数统计订单数量最多的省份，并统计次数。具体代码如下：data3 = datalresult = data3客户姓名.value_counts(ascending=False).head()print(订单数量排名前5的客户姓名:nresult)print,“)des = data3省.describe。print(订单数量最多的省份为:s，其频数为:十徒$在03水$/抵4) 输出结果如图4-*所示。Run:C:UsersliliangAnaconda3python.exe C:/Users/liliang/PycharmProjects/sjfx/4-2.py 订单数量排名前5的客户姓名：白鹄7贾彩7顾黎5俞明5程聪4Name:客户姓名，dtype: int64订单数量最多的省份为：上海，其频数为：11Process finished with exit code 0图4-*任务3输出结果巩固训练利用read_excel导入supermarket.xlsx中的“销售统计”工作表（第1张工作表）, 完成：（1）计算平均折扣。（2）计算“折扣金额”的中位数。（3）统计订单数量最多的城市，并统计次数。