数据分析与软件应用第一讲数据分析概述.ppt

数据分析与处理数据分析与处理数据分析与处理数据分析与处理王明芳南京农业大学工学院数据分析与处理数据分析与处理2023/2/172主要内容主要内容Who Who？When When？HowHow？WhatWhat？数据分析与处理数据分析与处理数据分析与处理数据分析与处理WhyWhy？数据分析与处理数据分析与处理2023/2/173开场白开场白为什么要学这门课？看几个例子个人：这一个月的钱都花到哪里去了？（谁动了我的钱？）集体：一个公司的利润是从哪里得来的？某支股票的波动受到了哪些影响？国家：08年奥运会能带给我们什么？2010年上海世博会数据分析与处理数据分析与处理2023/2/174数学建模的例子大学生数学建模艾滋病疗法的评价及疗效的预测艾滋病疗法的评价及疗效的预测同时服用3种药物（zidovudine,lamivudine,indinavir）的300多名病人每隔几周测试的CD4和HIV的浓度。第1列是病人编号，第2列是测试CD4的时刻（周），第3列是测得的CD4（乘以0.2个/ml），第4列是测试HIV的时刻（周），第5列是测得的HIV（单位不详）。PtIDCD4Date CD4CountRNADate VLoad23424017805.523424422843.923424812684.723424251712542342440994052342501405.32342546242.423425911093.72342523122232.6数据分析与处理数据分析与处理2023/2/175研究生数学建模的例子2008-第五届全国研究生数学建模竞赛试题A题：汶川地震唐家山堰塞湖泄洪问题B题：城市道路交通信号实时控制问题C题：货运列车的编组调度问题D题：中央空调系统节能设计问题数据分析与处理数据分析与处理2023/2/176工欲善其事，必先厉其器教学目的：通过本课程的学习，让学生会应用多种统计分析方法进行数据分析，通过和不同的学科知识相结合，对所考虑具体问题给出合理的推断。数据分析与处理数据分析与处理2023/2/177这门课都讲什么？问题一信息、数据、知识的差别是什么？信息、数据、知识的差别是什么？数据分析与处理数据分析与处理2023/2/178课程内容第一讲数据分析概论第二讲SPSS统计软件基本操作第三讲数据文件整理第四讲统计分析概述第五讲均值比较分析数据分析与处理数据分析与处理2023/2/179第六讲方差分析第七讲数据相关分析第八讲时间序列分析第九讲多变量分析数据分析与处理数据分析与处理2023/2/1710课程相关资料书籍：书籍：应用多元统计分析朱建平科学出版社应用统计葛新泉社会科学出版社基于spss的数据分析薛薇中国人民大学出版统计学实验冯力东北财大出版数据分析与处理数据分析与处理2023/2/1711相关软件SpssExcel数据分析与处理数据分析与处理开始实干！2023/2/1712数据分析与处理数据分析与处理社会研究的四个社会研究的四个社会研究的四个社会研究的四个阶阶段段段段准备阶段准备阶段调查阶段调查阶段总结阶段总结阶段研究阶段研究阶段资资料料分析定性分析定性分析定量分析定量分析社会统计分析与SPSS应用数据分析与处理数据分析与处理第一步，数据从哪里来？2023/2/1714获取数据初步知识介绍数据分析与处理数据分析与处理获取数据的原则：获取数据的原则：及时原则准确原则全面原则适用原则经济原则2023/2/1715数据分析与处理数据分析与处理获取数据的步骤获取数据的步骤1.分析问题2.确定属性变量3.数据的缺失处理4.数据属性变量的初步筛选2023/2/1716数据分析与处理数据分析与处理获取数据的手段获取数据的手段网络查询年鉴实验数据问卷调查2023/2/1717数据分析与处理数据分析与处理资料量化工作流程料量化工作流程图分类分类 编码编码 录入录入数据清理数据清理数据分析与处理数据分析与处理一、分一、分类1 1确定分确定分确定分确定分类标类标志志志志(变变量量量量)2 2分分分分类类原原原原则则（）互斥性原（）互斥性原（）互斥性原（）互斥性原则则企企业业按所有制性按所有制性质质划分：划分：国有国有 集体集体 私私营营 外外资资 合合资资 三三资资企企业业数据分析与处理数据分析与处理一、分一、分类1 1确定分确定分确定分确定分类变类变量量量量2 2分分分分类类原原原原则则（）完（）完（）完（）完备备性原性原性原性原则则按文化程度分按文化程度分类类 小学及以下小学及以下 初中初中 高中高中 大学及以上大学及以上数据分析与处理数据分析与处理1 1编码编码原原原原则则第一，不重。第一，不重。第一，不重。第一，不重。第二，不漏。第二，不漏。第二，不漏。第二，不漏。第三，第三，第三，第三，对对于无回答和不适用也于无回答和不适用也于无回答和不适用也于无回答和不适用也应给应给予予予予编码编码。2 2具体方法：填空具体方法：填空具体方法：填空具体方法：填空题题、单选题单选题和多和多和多和多选题选题二二、编码数据分析与处理数据分析与处理5.5.您的文化程度是：您的文化程度是：您的文化程度是：您的文化程度是：(1)(1)小学及以下小学及以下小学及以下小学及以下(2)(2)初中初中初中初中(3)(3)高中或中专高中或中专高中或中专高中或中专(4)(4)大专大专大专大专(5)(5)本科及以上本科及以上本科及以上本科及以上6.6.您的年龄：您的年龄：您的年龄：您的年龄：_周岁周岁周岁周岁数据分析与处理数据分析与处理6.6.您个人拥有下列哪些物品（可选多项）？您个人拥有下列哪些物品（可选多项）？您个人拥有下列哪些物品（可选多项）？您个人拥有下列哪些物品（可选多项）？（1 1）个人电脑个人电脑个人电脑个人电脑（2 2）手机手机手机手机（3 3）呼机）呼机）呼机）呼机（4 4）相机相机相机相机（5 5）收录机（）收录机（）收录机（）收录机（500500元以上）元以上）元以上）元以上）（6 6）首饰珠宝（）首饰珠宝（）首饰珠宝（）首饰珠宝（500500元以上）元以上）元以上）元以上）（7 7）名牌服装鞋帽（）名牌服装鞋帽（）名牌服装鞋帽（）名牌服装鞋帽（500500元以上）元以上）元以上）元以上）（8 8）名牌自行车（）名牌自行车（）名牌自行车（）名牌自行车（500500元以上）元以上）元以上）元以上）数据分析与处理数据分析与处理7.7.您业余时间主要从事哪些活动：（依经常程度选择三项）您业余时间主要从事哪些活动：（依经常程度选择三项）您业余时间主要从事哪些活动：（依经常程度选择三项）您业余时间主要从事哪些活动：（依经常程度选择三项）（1 1）看书籍报刊）看书籍报刊）看书籍报刊）看书籍报刊 （2 2）看电视）看电视）看电视）看电视 （3 3）再学习）再学习）再学习）再学习 （4 4）做家务）做家务）做家务）做家务 （5 5）逛街、购物）逛街、购物）逛街、购物）逛街、购物（6 6）聊天）聊天）聊天）聊天（7 7）休闲健身）休闲健身）休闲健身）休闲健身（8 8）其他）其他）其他）其他_数据分析与处理数据分析与处理3 3制作编码手册制作编码手册制作编码手册制作编码手册二二、编码编码数据分析与处理数据分析与处理数据分析与处理数据分析与处理三、录入三、录入1 1使用编码表（使用编码表（使用编码表（使用编码表（codesheetcodesheet）数据分析与处理数据分析与处理No.Q1Q2Q3Q4Q22Q23Q2411115321722134421632200021042274521751195424663115324672952216数据分析与处理数据分析与处理例例 编码表编码表数据分析与处理数据分析与处理三、录入三、录入1使用编码表（code sheet）2直接输入数据直接输入数据3 3在调查的同时输入资料在调查的同时输入资料4 4使用光学扫描仪使用光学扫描仪数据分析与处理数据分析与处理四、数据清理四、数据清理1 1编码编码幅度幅度幅度幅度检查检查数据分析与处理数据分析与处理四、数据清理四、数据清理2 2列列列列联联式式式式检查检查数据分析与处理数据分析与处理第二步，资料分析？2023/2/1734数据预处理初步知识介绍数据分析与处理数据分析与处理数据清洗数据集成数据转换数据消减数据分析与处理数据分析与处理噪声数据噪声数据是指数据中存在着错误、或异常（偏离期望值）的数据；不完整数据不完整数据是指感兴趣的属性没有值；不一致数据不一致数据则是指数据内涵出现不一致情况（如：作为关键字的同一部门编码出现不同值）。数据清洗数据清洗是指消除数据中所存在的噪声以及纠正其不一致的错误；数据集成数据集成是指将来自多个数据源的数据合并到一起构成一个完整的数据集；数据转换数据转换是指将一种格式的数据转换为另一种格式的数据；数据消减数据消减是指通过删除冗余特征或聚类消除多余数据。数据分析与处理数据分析与处理数据清洗数据清洗遗漏数据处理：忽略该条记录手工填补遗漏值利用缺省值填补遗漏值利用均值填补遗漏值利用同类别均值填补遗漏值利用最可能的值填补遗漏值数据分析与处理数据分析与处理统计分析统计分析1.数据的整理和清扫2.数据的初步统计（均值，方差，相关系数）3.假设检验（不同类别的数值是否具有一致性）2023/2/1738数据分析与处理数据分析与处理Q&A