教学课件3. 财务数据分析利器--Pandas库.pptx

《教学课件3. 财务数据分析利器--Pandas库.pptx》由会员分享，可在线阅读，更多相关《教学课件3. 财务数据分析利器--Pandas库.pptx（54页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、教材配套资源页完整PPT课件教学课件3. 财务数据分析利器-Pandas库1财务数据分析利器-Pandas库by 张敏 & 王宇韬第三章2在上一章，我们由浅入深地学习了如何获取各种财务数据，接下来我们就可以进行数据分析了。那么Python是如何实现数据分析的呢？本章将简单介绍Python数据分析的一大利器，也是一个基础模块pandas库的使用。pandas库是基于NumPy的一个开源Python库，被广泛用于快速分析数据，以及数据清洗和准备等工作。某种程度上可以把Pandas看作是Python版的Excel。如果是利用Anaconda安装的Python，那么Anaconda自带pandas库，

2、无须单独安装。Numpy是另一个重要的库，是Numerical Python的简称（Numpy库的相关知识点可以参考本书源代码文件夹中的“补充知识点：Numpy库基础.pdf”）。相较于Numpy来说，Pandas更擅长处理二维数据。Pandas主要有两种数据结构：Series和DataFrame。Series类似于通过Numpy产生的一维数组，不同的是Series对象不仅包含数值，还包含一组索引，其创建方式如下：3生成结果如下所示，它也是一个一维数据结构，并且对于每个元素都有一个行索引可以用来定位，比如可以通过s11来定位到第二个元素“王二”。Series单独使用相对较少，pandas主要采

3、用DataFrame数据结构。DataFrame是一种二维表格数据结构，直观一点的话可以将其看作一个Excel表格。4目 录023.1 DataFrame的创建0304第一讲 DataFrame的创建3.2 文件的读取和写入3.3 数据读取与筛选0105063.6 Pandas案例实战：财务数据获取进阶3.5 财务数据处理 - 案例实战3.4 数据表拼接3.1 DataFrame的创建有两种DataFrame常见的创建方法：通过列表创建、通过字典创建。3.1.1 通过列表创建DataFrame首先是通过列表创建，这个和通过Numpy创建二维数组比较类似。引入pandas库方式通常为import

4、 pandas as pd，然后调用DataFrame功能创建二维数组。将a打印输出，运行结果如下：6和之前通过Numpy生成的二维数组进行比较：可以看到通过pandas的DataFrame功能生成的二维数组更像我们在Excel中看到二维表格数据，它也有行索引和列索引，其中这里的索引序号都是从0开始的。73.1.2 通过字典创建DataFrame除了通过列表创建DataFrame，还可以通过字典来创建DataFrame并可以自定义列索引，这里默认字典键为列索引，代码如下：输出结果如下。可以看到列索引已经变成了这里字典里的键名了。8如果想让字典键变成行索引，可以通过from_dict的方式来将字

5、典转换成DataFrame，并同时设置orient参数为index，代码如下：其中orient参数指定字典键对应的方向，默认值为columns，如果不设置成index的话，则还是默认字典键为列索引，输出结果如下，此时的字典键已经是行索引了。9除了通过from_dict()函数设置orient参数外，我们还可以通过DataFrame的.T属性来对列表进行转置，演示代码如下：结果如下。可以看到通过.T同样可以对表格进行转置。此外注意，如果想改变原来的表格结构，需要进行重新赋值，写成b = b.T，这样就会改变原来b的表格结构了。10目 录023.1 DataFrame的创建0304第二讲 文件的读

6、取和写入3.2 文件的读取和写入3.3 数据读取与筛选0105063.6 Pandas案例实战：财务数据获取进阶3.5 财务数据处理 - 案例实战3.4 数据表拼接3.2 文件的读取和写入3.2.1 文件读取以下代码用于读取Excel数据：这里的Excel工作簿文件后缀名为xlsx，如果是2003版或更早版本的Excel工作簿，其后缀则为xls。这里使用的文件路径是相对路径，即代码所在的文件路径，也可以设置成绝对路径（相对路径和绝对路径的相关知识点参考3.2.2节补充知识点）。通过打印data我们便可以查看此时的表格，或者我们可以打印data.head()查看表格的前五行内容（如果写成head

7、(10)则可以查看前10行数据），代码如下：12打印结果如下：datescoreprice02018-09-037023.5512018-09-047524.4322018-09-056523.4132018-09-066022.8142018-09-077023.21第2行代码中的read_excel还可以设定参数，使用方式如下：133.2.2 文件写入以下代码可以将数据写入Excel工作簿。这里的文件存储路径使用的是相对路径，也可以根据需要写成绝对路径。运行之后将在代码所在文件夹生成一个名为“演示.xlsx”的文件，文件内容如下图3-1所示。14上图中，行索引信息保留在工作表的第1列中，如

8、果想在写入数据时不保留行索引信息，可以设置to_excel的参数。to_excel的常见参数有：sheet_name用于指定工作表名称；index指定是否写入行索引信息，默认为True，即保存行索引信息至输出文件的第1列，若设置为False，则忽略行索引信息；columns用于指定要写入的的列；encoding用于指定编码方式。例如，要将data中的第1列数据导入Excel工作簿并忽略索引信息，则代码如下：通过类似的方式，可以将data中的数据写入到CSV文件当中，代码如下：和to_excel类似，to_csv也可以设置index、columns、encoding等参数。注意，如果在导出CSV

9、文件事出现了中文乱码现象，且encoding参数设置成“utf-8”失效，则需要将encoding参数设置成“utf_8_sig”，代码如下：15目 录023.1 DataFrame的创建0304第三讲 数据读取与筛选3.2 文件的读取和写入3.3 数据读取与筛选0105063.6 Pandas案例实战：财务数据获取进阶3.5 财务数据处理 - 案例实战3.4 数据表拼接3.3 数据读取与筛选创建了DataFrame之后，就可以对其中的数据进行读取与编辑操作，本节就来讲解相应的方法。首先创建一个3行3列的DataFrame用于演示，行索引设定为r1、r2、r3，列索引设定为c1、c2、c3，代

10、码如下：打印输出结果如下：173.3.1 按照行列进行数据筛选(1) 按照列来选取数据先从简单的读取单列数据入手，代码如下：a 的打印输出结果如下：18(2) 按照行来选取数据可以根据行的序号来读取数据，代码如下：打印输出结果如下：而pandas推荐使用iloc方法来根据行序号读取数据，这样更直观，而且不会像data1:3可能会引起混淆。代码如下：19(3) 按照区块来选取如果想选取某几行的某几列数据，例如，获得c1和c3列的前2行数据，代码如下：其实就是把前面通过行和列读取数据的方法进行了整合，打印输出结果如下：在实战中，通常采用iloc和列读取混合的方式来读取特定的区块数据，代码如下：20

11、3.3.2 按照特定条件筛选通过在中括号里设定筛选条件可以过滤行。例如，读取c1列中数字大于1的行，代码如下：a的打印输出结果如下：21如果有多个筛选条件，可以通过“&”符号（表示“且”）或“|”（表示“或”）连接。例如，筛选c1列数字大于1且c2列中数字小于8的行，代码如下，注意在筛选条件两侧要加上小括号。打印输出结果如下：223.3.3 数据整体情况查看通过表格的shape属性，可以查看表格整体的行数和列数，在表格数据量较大的时候能快速了解表格的行数和列数运行结果如下，其中第一个数字为表格行数，第二个数字为表格列数。通过表格的describe()函数可以快速的查看表格每一列的数量、平均值、

12、标准差、最小值、25分位数、50分位数、75分位数、最大值等信息，代码如下：23c1c2c3count3.03.03.0mean4.05.06.0std3.03.03.0min1.02.03.025%2.53.54.550%4.05.06.075%5.56.57.5max7.08.09.0运行效果如下：通过value_counts()函数则可以快速的查看某一列都有什么数据，以及该数据出现的频次，代码如下：运行效果如下，可以看到c1列共有3种不同的数据，且每个出现的频次为1次。243.3.4 数据运算、排序与删除(1) 数据运算从已有的列中，通过数据运算创造新的一列，代码如下：输出结果如下：25

13、(2) 数据排序使用sort_values()函数可以根据列对数据进行排序。例如，要对c2列进行降序排序，代码如下：其中，参数by用于指定哪一列来排序；参数ascending为上升的意思，默认值为True，设置为False则表示降序排序。a的打印输出结果如下：使用sort_index()函数则可以根据行索引进行排序。按行索引进行升序排列的代码如下：26(3) 数据删除如果要删除数据表中的指定数据，就需要用到drop()函数。具体用法如下：drop()函数常用的几个参数解释如下：index用于指定要删除的行；columns用于指定要删除的列；inplace的默认值为False，表示该删除操作不改

14、变原表格，而是返回一个执行删除操作后的新DataFrame，如果设置为True，则会直接在原表格中进行删除操作。例如，删除c1列的数据，代码如下：删除多列的数据，例如，c1和c3列，可以通过列表的方式声明，代码如下：如果要删除行数据，例如，删去第1行和第3行的数据，代码如下27目 录023.1 DataFrame的创建0304第四讲 数据表拼接3.2 文件的读取和写入3.3 数据读取与筛选0105063.6 Pandas案例实战：财务数据获取进阶3.5 财务数据处理 - 案例实战3.4 数据表拼接3.4 数据表拼接Pandas库还提供了一些高级功能，其中的数据合并与重塑为两个数据表的拼接提供了

15、极大的便利。主要包括merge()函数、concat()函数、append()函数，其中merge和append笔者个人用得较多。下面用一个简单的例子进行演示。假设创建了如下两个DataFrame数据表，需要将它们合并：上述代码得到的df1和df2的内容如下表所示df1df2公司分数 公司股价0万科900万科201阿里951阿里1802百度852京东30293.4.1.merge()函数merge()函数可以根据一个或多个列将不同数据表格中的行连接起来，代码如下：运行代码后df3的内容如下表所示。公司分数股价0万科90201阿里95180可以看到，merge()函数直接根据相同的列名（“公司”

16、列）对数据表格进行了进行合并，而且默认选取的是两个表共有的列内容（万科、阿里），如果相同的列名不止一个，可以通过on参数指定按照哪一列进行合并，代码如下：30默认的合并其实是取交集（inner连接），即选取两表共有的内容，如果想取并集（outer连接），即选取两表所有的内容，可以设置how参数，代码如下：运行代码后，df3的内容如下表所示，可以看到所有数据都在，原来没有的内容则赋值为空值NaN。公司分数股价0万科90.020.01阿里95.0180.02百度85.0NaN3京东NaN30.0 如果想保留左表（df1）全部内容，而不太在意右表（df2），可以将how参数设置为left，代码如下：

17、31此时df3的内容如下表所示，完整保留了df1的内容（万科、阿里、百度）。公司分数股价0万科90.020.01阿里95.0180.02百度85.0NaN同理，如果想保留右表（df2）的全部内容，而不太在意左表（df1），可以将how参数设置为right。如果想根据行索引进行合并，可以设置left_index和right_index参数，代码如下：此时df3如下表所示，两张表按照它们的行索引进行了合并。公司_x分数公司_y股价0万科90万科201阿里95阿里1802百度85京东30323.4.2.concat()函数concat()函数是一种全连接（UNION ALL）方式，它不需要对齐，而是

18、直接进行合并，即不需要两表的某些列或者索引相同，只是把数据整合到一起。所以concat()函数没有how和on参数，而是通过axis参数指定连接的轴向。该参数默认为0，按行方向连接，即纵向拼接，代码如下：此时df3的内容如下表所示。公司分数股价0万科90.0NaN1阿里95.0NaN2百度85.0NaN0万科NaN20.01阿里NaN180.02京东NaN30.033此时行索引为原来两个表各自的索引，如果想重置索引，可以使用reset_index()函数将索引重置，或者在concat()函数中设置ignore_index=True，忽略原有索引，生成新的数字序列作为索引进行排序，代码如下：如果

19、想按列方向连接，即横向拼接，可以设置axis参数为1，代码如下：此时df3的内容如下表所示。公司分数公司股价0万科90万科201阿里95阿里1802百度85京东30343.4.3append()函数append()函数可以被认为是concat()函数的简化版，效果和pd.concat(df1,df2)类似，实现的也是纵向拼接，代码如下：append()函数还有个常用的功能，和列表.append()一样，可用于新增元素，代码如下：这里一定要设置ignore_index=True，用来忽略原索引，否则会报错（如果拼接的是DataFrame，不加这个也没事，只是行数字索引会使用各个拼接表的原数字索引

20、），此时df3的内容如下表所示。公司分数0万科901阿里952百度853腾讯9035目 录023.1 DataFrame的创建0304第五讲 财务数据处理 - 案例实战3.2 文件的读取和写入3.3 数据读取与筛选0105063.6 Pandas案例实战：财务数据获取进阶3.5 财务数据处理 - 案例实战3.4 数据表拼接3.5 财务数据处理 - 案例实战在2.2.1小节我们已经介绍了如何利用income接口获取利润表数据，这里我们结合刚刚讲到的有关DataFrame的知识点介绍一下如何不通过period的选择来筛选特定时期的数据。3.5.1获取年度数据以利润表为例我们已经通过下述代码获取了所

21、有贵州茅台的利润表数据（笔者写下面代码的时候是披露到了2020年年报）：37获取到的数据结果以表格的形式呈现，如下图3-2所示。结果显示，总共获取了88条数据，每一条/行数据对应了一张利润表，因此88行数据对应了贵州茅台发布过的88张季报/年报的利润表；每行数据包括65列，对应了利润表中65项数据。假如我们只需要获取某一年的利润表，比如2020年年报，相当于只获取“end_date”列取值为“20201231”的数据，根据3.3.2小节所讲，我们用如下代码进行选择：38我们还想只选取利润表特定项目的数据，即“营业总收入、营业总成本、净利润、息税前利润”这几列，我们只需找到这几个科目对应的字母代

22、码，然后根据3.3.1小节的知识点，进行列的选取：注意DataFrame进行列选取时要以列表形式输入参数。通过这两步就得到了以下结果，如下图：此外，也可以通过如下代码直接获取上述结果：393.5.2 获取多年数据以资产负债表为例假如需要获取多年数据，例如需要获取“贵州茅台”2016年-2020年总计5年的资产负债表数据，一般有2种方式。第一种是用参数period指定报告期，但因为它只能指定某一年，所以需要用for循环的方式对每年的数据分别获取，参考代码如下：40可以看到这里用到了我们在3.4.3小节提到的append函数，这个函数经常在涉及DataFrame的循环中用到，推荐读者熟练掌握。获取

23、结果如下图：第二种方式是用参数start_date（公告开始日期）和end_date（公告结束日期）进行时间范围的指定。公告日期指的是上市公司年报/季报发布的日期，通常在报告期之后几个月，例如上一年度的年报通常在本年3月4月才发布，那么只要我们把公告开始日期定为2016年1月，结束日期定为2021年5月，就能获取“贵州茅台”2016年3/4月到2021年3/4月发布的报告。参考代码如下：41获取结果前5项如下图：从结果可以看出，虽然这种方法的代码只需一句，但无法只获得年报数据并忽略季报数据，而我们大部分时候都只需要年报数据，这种方法还需要对数据进行后续的筛选。而且公告日期是不特定的，不同公司、

24、甚至同一家公司不同年份的年报公告日期都不一样，而报告期是特定的日子。因此，第二种方法在实际使用上不如第一种方法有效。423.5.3 获取多公司数据以现金流量表为例假如需要获取多家公司的数据，例如需要获取白酒行业几家代表性公司“贵州茅台”、“五粮液”、“泸州老窖”、“洋河股份”的现金流量表数据，参考代码如下：43获取结果如下图：44目 录023.1 DataFrame的创建0304第六讲 Pandas案例实战：财务数据获取进阶3.2 文件的读取和写入3.3 数据读取与筛选0105063.6 Pandas案例实战：财务数据获取进阶3.5 财务数据处理 - 案例实战3.4 数据表拼接3.6 Pand

25、as案例实战：财务数据获取进阶第二章我们学习了通过tushare获取报表数据，获取到的数据是DataFrame的格式。由于当时尚未学习pandas库的知识，无法对获取到的表格进行进一步处理，导致仍然存在一定问题，例如表格各索引还是英文代码，不利于查看；tushare会同时获取调整前后的报表，而我们只需要保留调整后的；没有把多年数据合并在同一张表中等等。如今学习了pandas处理数据的方法后，我们可以对上述问题一一进行改善。下面我们尝试批量获取“贵州茅台”、“五粮液”、“泸州老窖”2015年2019年5年的三张报表（总计75张表格），以公司为单位分别保存成三个excel文件（每个excel中分为

26、三个sheet，sheet1为利润表，sheet2为资产负债表，sheet3为现金流量表，每个sheet包含2015年2019年的数据）。463.6.1 列索引重命名函数在tushare官网上，我们可以找到每个接口对应的参数表，表里有对应的名称和对应中文描述，我们把该表格保存在本地excel文件中，命名为“重命名.xlsx”，表格大致内容如下（以利润表为例），见表3-9：名称描述ts_codeTS代码ann_date公告日期f_ann_date实际公告日期end_date报告期comp_type公司类型(1一般工商业2银行3保险4证券)basic_eps基本每股收益diluted_eps稀释每

27、股收益total_revenue营业总收入revenue营业收入int_income利息收入47由于我们一般用到利润表、资产负债表、现金流量表三张表，我们把三张表对应的重命名数据都保存下来。接下来我们可以定义一个重命名函数，可以自动把获取的报表列索引重命名为对应中文。其中dict()函数可以把a,A,b,B,c,C形式的列表转换为a:A,b:B,c:C形式的字典，而zip()函数可以把a,b,c,A,B,C形式的列表转换为a,A,b,B,c,C形式的列表。483.6.2 批量获取数据接下来调用tushare进行数据批量获取。首先定义需要获取数据的公司名称、股票代码、年份：批量获取报表的原始代码

28、为：49为了把5年的报表拼成一张报表，我们需要用到append函数，更新后的代码如下：503.6.3 数据格式整理首先每年获取到的报表可能有2份，一份是会计调整前，一份是会计调整后的，我们只需要调整后的报表，因此在每张获取的报表中我们选择最后一张表即可，例如：注意不可使用df_balance = df_balance1:2，因为遇到没有调整的年份时，只有一张报表，该代码就会出错。接下来要对获取的报表更改索引名称，代码示例为：51最后把同一家公司的所有数据保存在一个excel文件中。由于涉及到一个excel文件中含有多张sheet，不能简单地用to_excel()函数了，需要引入ExcelWri

29、ter函数。方法很简单，代码如下：再补充说明一个知识点，就是有的公司可能会因为有退市风险，所以名字中会带有“*ST”字样，例如2022年的“*ST皇台”，但是文件名中是不可以有“*”符号的，所以如果遇到带有“*ST”字样的内容，可以在writer = pd.ExcelWriter(compsi+.xlsx)代码上方添加如下2行处理代码把“*”代替为空字符：52 compsi = compsi.replace(*,)3.6.4 封装为函数将上述代码封装为一个函数，在之后的调用会更加方便：相关代码课参考财务数据分析利器-Pandas库文档53本课件制作整理者：郭迎春 仅可用于教学、学习、交流使用 如内容、图片、字体等有侵权，请联系删除。 54