财务大数据分析项目三 任务1 教学课件.pptx

《财务大数据分析项目三 任务1 教学课件.pptx》由会员分享，可在线阅读，更多相关《财务大数据分析项目三 任务1 教学课件.pptx（19页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、财务大数据分析任课老师：目录项目一 大数据基础项目二数据获取项目三 数据预处理项目四 大数据+财报数据分析项目五 大数据+资金分析项目六大数据+销售分析项目七大数据+费用分析 任务1 数据清洗 任务2 数据集成项目三数据预处理任务1 Python简介及安装【知识精讲】一、数据预处理概念及预处理流程方法（一）数据预处理的基本概念数据预处理（Data Preprocessing）是指在主要的处理以前对数据进行的一些处理。数据预处理包含数据清洗、数据集成、数据转换、数据归约等方法。这些数据处理技术在数据挖掘和数据分析之前使用，大大提高了数据挖掘模型的质量，减少了实际挖掘和分析所需要的时间。从数据准备

2、到数据分析会经过一系列的过程，如图3-1所示。图3-1 数据准备至数据分析过程图 （二）常见的数据预处理工具（1）专业图形化工具：比如Pentaho Data Integration-Kettle，IBM DataStage，Informatica等。Pentaho Data Integration-Kettle：PDI(Pentaho Data Integration，或者Kettle)是一款开源的ETL工具，可以用它来对数据进行抽取、清洗和转换操作，从而获得我们想要的数据。IBM DataStage：一种数据集成软件平台，能够帮助企业从散布在各个系统中的复杂异构信息中获得更多价值。Info

3、Sphere Information Server提供了一个统一的平台。Informatica：Informatica平台是一套完善的技术，可支持多项复杂的企业级数据集成计划，包括：企业数据集成、大数据管理 、数据质量、数据治理、主数据管理、数据安全和云数据集成等。（2）专业非图形化工具：Python、SQL、R。（3）简单图形化工具:Tableau Prep、Alteryx、Right Data、OpenRefine（前身为Google refine）、Data Wrangler、Trifacta Wrangler。Trifacta Wrangler和Excel、OpenRefine不同，是

4、一种对多种数据类型进行清洗的半自动化工具，数据类型包括文本和数值数据、二进制数据等。二、数据清洗的基本概念及操作遵循数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性、处理无效值和缺失值等。数据清洗（Data Cleaning）是对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性，如图3-2所示。图3-2 数据清洗04数据清洗从名字上也看得出来就是把“脏”的“洗掉”，指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性、处理无效值和缺失值等。因为数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽

5、取而来而且包含历史数据，这样就避免不了有的数据是错误数据，有的数据相互之间有冲突，这些错误的或有冲突的数据显然是我们不想要的，称为“脏数据。我们要按照一定的规则把“脏数据”“洗掉”，这就是数据清洗。清洗与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成的。（一）数据清洗的重要性数据清洗占了数据分析师80%的工作时间。脏数据是怎么来的原因是多种多样的，最根本的原因就是数据的来源多样，使得数据的标准、格式、统计方法不一样。其次就是录入和计算数据的代码有错误，这也都是不可避免的。例如：录入错误、数据源多样性、不同人员录入、技术原因瑕疵、来源数据标准不一致、计算代码错误等。（二）数据清洗的常

6、见问题与处理顺序数据清洗的常见问题与处理顺序如图3-3所示。（三）数据清洗设计IPO模型数据清洗不是一次性工作，需要多次、多环节进行。因此，要做好数据清洗、保证数据质量，那么首先需要对整个数据处理的流程进行设计或了解，在了解了数据流程后再在相应的环节设计数据清洗的流程，如图3-4所示。（四）数据清洗设计1.何时何地做清洗大致可以遵守以下法则：（1）少量数据：先合并、联接再清洗。（2）大数据源接入：先按照统一标准清洗，再接入。（3）每个数据计算层：先清洗再计算。（4）分析结果发现数据问题：向前溯源，新增、修订清洗规则。以上为大致规则，具体数据还要具体对待。数据清洗时的数据流程如图3-5所示。数据

7、清洗时的数据流程2.如何做清洗清洗流程如图3-6所示。【任务要求】（1）针对一家全国连锁的零售超市企业，我们拟进行客户分布分析主题的数据分析，并在分析前对这些数据进行预处理清洗。为进行客户分布分析，将客户ID字段进行切分，切分出分析该主题所需要的客户名称和客户编号数据。（2）针对一家全国连锁的零售超市企业，我们拟进行受欢迎商品主题的数据分析，并在分析前对这些数据进行预处理清洗。【任务实施】在分析云平台中操作实施小结01数据清洗的概念02数据清洗规则03数据清洗操作任务任务一数据课后讨论请每位同学查阅资料，就下面四个内容展开讨论：1、数据清洗是数据分析的前提吗？2、数据清洗的规则都有哪些？任务一数据