大数据技术及数据分析课程培训-师伟51.ppt

《大数据技术及数据分析课程培训-师伟51.ppt》由会员分享，可在线阅读，更多相关《大数据技术及数据分析课程培训-师伟51.ppt（51页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据技术及数据分析大数据技术及数据分析主讲人：师伟主讲人：师伟2021/9/271课程收益n学习数理统计的理念n熟悉常见的处理套路n掌握常用软件的使用n解决学员的具体问题2021/9/272目录n数理统计常识n数理统计技术2021/9/273目录n数理统计常识l量化的重要性l统计基础知识l数据挖掘简介n数理统计技术2021/9/274案例2021/9/275案例n记者在短时间内发生这么多起跳楼的事件，如果站在理论角度上，发生率算不算高？n樊富珉按卫生部统计，目前中国自杀率大概是十万分之十六左右。而富士康40多万人，约十万分之二三左右，大学生我们也做过统计，大概十万分之二到三左右。如 果从全国

2、的自杀率来比的话，应该还是低的 2021/9/276案例n世界银行发展委员会25日通过了发达国家向发展中国家转移投票权的改革方案，这一改革从一个侧面反映了世界经济版图的变化n本次改革中，发达国家向发展中国家共转移了3.13个百分点的投票权。中国在世行的投票权从目前的2.77%提高到4.42%，成为世界银行第三大股东国，仅次于美国和日本n世界银行规则：任何重要的决议必须由85%以上的表决权决定名次国家改革后投票权改革前投票权1美国15.85%15.85%2日本6.84%7.62%3中国4.42%2.77%4德国4.00%4.35%5法国3.75%4.17%5英国3.75%4.17%7印度2.91

3、%2.77%8俄罗斯2.77%2.77%8沙特2.77%2.77%10意大利2.64%2.71%2021/9/277案例n在一次海难中，统计数据为l头等舱乘客319人，200人幸存l二等舱乘客269人，117人幸存l三等舱乘客699人，172人幸存n从以上数据你可以发现什么？2021/9/278目录n数理统计常识l量化的重要性l统计基础知识l数据挖掘简介n数理统计技术2021/9/279误差（波动）n偶然误差l可减小但不可消除n系统误差l可消除2021/9/2710抽样样本大小AQL0.0100.0150.0250.0400.0650.10.150.250.400.651.01.52.54.0

4、6.510抽样数收/退收/退收/退收/退收/退收/退收/退收/退收/退收/退收/退收/退收/退收/退收/退收/退1820/191530/1162550/11/2265080/11/22/35190130/11/22/33/491150200/11/22/33/45/6151280320/11/22/33/45/67/8281500500/11/22/33/45/67/810/115011200800/11/22/33/45/67/810/1114/15120132001250/11/22/33/45/67/810/1114/1521/223201100002000/11/22/33/45/67

5、/810/1114/1521/2210001350003150/11/22/33/45/67/810/1114/1521/22350011500005000/11/22/33/45/67/810/1114/1521/221500015000008000/11/22/33/45/67/810/1114/1521/2250000112500/11/22/33/45/67/810/1114/1521/222021/9/2711连续数据和离散数据n连续数据l定量l信息含量大n离散数据l定性l信息含量小2021/9/2712判断数据属性1.销售订单准确度2.数据输入准确度3.销售地区4.用通规测量得到的

6、孔径5.用卡尺测量得到的孔径 6.客户热线对话时间7.空调制冷剂的重量8.一批顾客中不满意的人数9.一批顾客中不满意的比例2021/9/2713数据的居中程度和离散程度n主要的居中指标l平均值数据集的平均值l中位数数据排序后得到的中间数l众数数据集中最频繁出现的值n主要的离散指标l极差数据集中最大值与最小值的差值l方差与平均值间距的平方和的平均值l标准偏差 方差的平方根2021/9/2714正态曲线n大多数（但不是所有）数据符合正态分布2021/9/2715目录n数理统计常识l量化的重要性l统计基础知识l数据挖掘简介n数理统计技术2021/9/2716数据挖掘简介n数据挖掘（Data Mini

7、ng）的概念l从数据库数据中揭示出隐含的、未知的并有潜在价值的信息l决策支持，基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析企业的数据，做出归纳性的推理，从中挖掘出潜在的模式，帮助做出正确的决策2021/9/2717数据挖掘主要动作n分类n估值 n预测n关联 n聚集n可视化描述2021/9/2718案例n第一次战役 1950年10月26日1950年11月02日n第二次战役 1950年11月25日1950年12月02日n第三次战役 1950年12月31日1951年01月08日2021/9/2719案例n丰田大规模召回事件引起全球强烈反响，引发丰田信誉危机2021

8、/9/2720目录n数理统计常识n数理统计技术l基础动作l图表操作l典型工具和应用2021/9/2721基础动作n搜集n整理n分析n评估n展示2021/9/2722目录n数理统计常识n数理统计技术l基础动作l图表操作l典型工具和应用2021/9/2723图表类型n数字型n逻辑型2021/9/2724图表的注意事项n选取适当的图表类型n数量图表应写清单位n引用资料应说明出处n不要妄图表达过多的信息n图例一般控制在五个以下n尽量简单明了、利于理解2021/9/2725动态图表2021/9/2726报告制作原则n提案型报告n说明型报告2021/9/2727文档制作原则n逻辑清晰n方案多选n文字精炼n

9、内容可视n恰当修饰n体积小巧n制作迅速2021/9/2728报告的需求管理n报告的客户l谁在看报告？l希望看什么？l希望的频率？l希望的详略？n相关的技巧l买点和卖点l金字塔原理2021/9/2729报告的素材准则n中肯n可比n准确n时效n可靠n清晰2021/9/2730素材组织的FAB技巧nFeature特点nAdvantage优点nBenefit利益BenefitAdvantageFeature客户关注点 2021/9/2731目录n数理统计常识n数理统计技术l基础动作l图表操作l典型工具和应用2021/9/2732规范处理数据和数据有效性n数据处理的良好习惯nExcel数据有效性2021

10、/9/2733层别法、聚类和表格维度n层别法、聚类n一维表和二维表2021/9/2734数据透视表2021/9/2735n将数据按顺序等距分组，体现各组内频数的柱状图n轮廓符合正态分布曲线说明处于稳定状态n通过异常轮廓形状分析可定位异常的原因直方图2021/9/2736案例n174n185n189n196n208n190n178n184n190n205n184n185n194n191n205n205n207n207n207n206n210n209n217n214n214n206n209n2102021/9/2737n表现各项目频度降序排列及累积比例n二八原则n大问题优先柏拉图2021/9/27

11、38ABC分析法nA类l070%，主要影响因素nB类l7090%，次要影响因素nC类l90100%，一般影响因素nABC的划分不是绝对的2021/9/2739练习n张女士结婚五年以来与丈夫发生纠纷如下l不做家务 28次l深夜不归 5次l不良嗜好 5次l没送礼物 1次l胡乱花钱 3次l婆媳关系 50次l异性交往 8次n请制作柏拉图并用ABC法分析2021/9/2740散布图、关联规则和预测n研究两个特性之的内在关系n坐标轴分别表示结果特性和原因特性n使得解决问题时找出强相关的原因2021/9/2741常见类型n正相关强lX的增加导致Y的明显增加n正相关弱lX的增加导致Y的略微增加因变量自变量强正

12、相关弱正相关因变量自变量2021/9/2742常见类型n负相关强lX的增加导致Y的明显减少n负相关弱lX的增加导致Y的略微减少因变量自变量强负相关自变量弱负相关因变量2021/9/2743常见类型n无相关lY的变化与X的变化毫无关系n曲线关系lX与Y之间无线性关系但符合某种曲线变化规律曲线相关因变量自变量不相关自变量因变量2021/9/2744预测nForecast法n趋势线法2021/9/2745单变量求解2021/9/2746规划求解2021/9/2747矩阵数据分析法n矩阵数据分析法（Matrix Data Analysis Chart）n用于排定优先级、做多目标决策n量化表示各元素的关

13、系，更准确地整理和分析结果2021/9/2748案例易于控制易于使用网络性能软件兼容便于维护总分权重 易于控制041319.00 26.2%易于使用0.2500.20.33 0.251.03 3.0%网络性能1503312.00 34.9%软件兼容0.33 30.33 00.33 4.00 11.6%便于维护140.33 308.33 24.2%总分之和34.37 2021/9/2749练习单价面积地段户型发展商物业教育总分权重单价0面积0地段0户型0发展商0物业0教育02021/9/2750中兴通讯管理体系总监中兴通讯最佳兼职讲师中兴通讯学院资深讲师中兴通讯学院质量课程经理深圳质量协会十大金牌讲师中国质量协会第六届学术教育委员会委员JOLIESAISA TOURPPT制作：by小鱼扫扫 一一 扫扫 师师 伟伟 老老 师师 公公 众众 号号2021/9/2751