大数据技术及数据分析课程培训-师伟ppt课件.ppt

《大数据技术及数据分析课程培训-师伟ppt课件.ppt》由会员分享，可在线阅读，更多相关《大数据技术及数据分析课程培训-师伟ppt课件.ppt（51页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据技术及数据分析大数据技术及数据分析主讲人：师伟主讲人：师伟1为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能课程收益n学习数理统计的理念n熟悉常见的处理套路n掌握常用软件的使用n解决学员的具体问题2为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能目录n数理统计常识n数理统计技术3为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能目录n数理统计常识l量化的重要性l统计基础知识l数据挖掘简介n数理统计技术4为深

2、入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能案例5为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能案例n记者在短时间内发生这么多起跳楼的事件，如果站在理论角度上，发生率算不算高？n樊富珉按卫生部统计，目前中国自杀率大概是十万分之十六左右。而富士康40多万人，约十万分之二三左右，大学生我们也做过统计，大概十万分之二到三左右。如 果从全国的自杀率来比的话，应该还是低的 6为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人

3、功能案例n世界银行发展委员会25日通过了发达国家向发展中国家转移投票权的改革方案，这一改革从一个侧面反映了世界经济版图的变化n本次改革中，发达国家向发展中国家共转移了3.13个百分点的投票权。中国在世行的投票权从目前的2.77%提高到4.42%，成为世界银行第三大股东国，仅次于美国和日本n世界银行规则：任何重要的决议必须由85%以上的表决权决定7为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能案例n在一次海难中，统计数据为l头等舱乘客319人，200人幸存l二等舱乘客269人，117人幸存l三等舱乘客699人，172人幸存n从以上数

4、据你可以发现什么？8为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能目录n数理统计常识l量化的重要性l统计基础知识l数据挖掘简介n数理统计技术9为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能误差（波动）n偶然误差l可减小但不可消除n系统误差l可消除10为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能抽样11为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育

5、人功能连续数据和离散数据n连续数据l定量l信息含量大n离散数据l定性l信息含量小12为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能判断数据属性1.销售订单准确度2.数据输入准确度3.销售地区4.用通规测量得到的孔径5.用卡尺测量得到的孔径 6.客户热线对话时间7.空调制冷剂的重量8.一批顾客中不满意的人数9.一批顾客中不满意的比例13为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据的居中程度和离散程度n主要的居中指标l平均值数据集的平均值l中位数数据排序后得到的中间

6、数l众数数据集中最频繁出现的值n主要的离散指标l极差数据集中最大值与最小值的差值l方差与平均值间距的平方和的平均值l标准偏差 方差的平方根14为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能正态曲线n大多数（但不是所有）数据符合正态分布15为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能目录n数理统计常识l量化的重要性l统计基础知识l数据挖掘简介n数理统计技术16为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能

7、数据挖掘简介n数据挖掘（Data Mining）的概念l从数据库数据中揭示出隐含的、未知的并有潜在价值的信息l决策支持，基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析企业的数据，做出归纳性的推理，从中挖掘出潜在的模式，帮助做出正确的决策17为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据挖掘主要动作n分类n估值 n预测n关联 n聚集n可视化描述18为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能案例n第一次战役 1950年10月26日

8、1950年11月02日n第二次战役 1950年11月25日1950年12月02日n第三次战役 1950年12月31日1951年01月08日19为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能案例n丰田大规模召回事件引起全球强烈反响，引发丰田信誉危机20为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能目录n数理统计常识n数理统计技术l基础动作l图表操作l典型工具和应用21为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育

9、人功能基础动作n搜集n整理n分析n评估n展示22为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能目录n数理统计常识n数理统计技术l基础动作l图表操作l典型工具和应用23为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能图表类型n数字型n逻辑型24为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能图表的注意事项n选取适当的图表类型n数量图表应写清单位n引用资料应说明出处n不要妄图表达过多的信息n图例一般控制在五个以下

10、n尽量简单明了、利于理解25为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能动态图表26为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能报告制作原则n提案型报告n说明型报告27为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能文档制作原则n逻辑清晰n方案多选n文字精炼n内容可视n恰当修饰n体积小巧n制作迅速28为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育

11、人功能报告的需求管理n报告的客户l谁在看报告？l希望看什么？l希望的频率？l希望的详略？n相关的技巧l买点和卖点l金字塔原理29为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能报告的素材准则n中肯n可比n准确n时效n可靠n清晰30为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能素材组织的FAB技巧nFeature特点nAdvantage优点nBenefit利益BenefitAdvantageFeature客户关注点 31为深入学习习近平新时代中国特色社会主义思想和党的十九

12、大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能目录n数理统计常识n数理统计技术l基础动作l图表操作l典型工具和应用32为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能规范处理数据和数据有效性n数据处理的良好习惯nExcel数据有效性33为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能层别法、聚类和表格维度n层别法、聚类n一维表和二维表34为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能数据透视表35

13、为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能n将数据按顺序等距分组，体现各组内频数的柱状图n轮廓符合正态分布曲线说明处于稳定状态n通过异常轮廓形状分析可定位异常的原因直方图36为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能案例n174n185n189n196n208n190n178n184n190n205n184n185n194n191n205n205n207n207n207n206n210n209n217n214n214n206n209n21037为深入学习习近平

14、新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能n表现各项目频度降序排列及累积比例n二八原则n大问题优先柏拉图38为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能ABC分析法nA类l070%，主要影响因素nB类l7090%，次要影响因素nC类l90100%，一般影响因素nABC的划分不是绝对的39为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能练习n张女士结婚五年以来与丈夫发生纠纷如下l不做家务 28次l深夜不归 5次l不良嗜

15、好 5次l没送礼物 1次l胡乱花钱 3次l婆媳关系 50次l异性交往 8次n请制作柏拉图并用ABC法分析40为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能散布图、关联规则和预测n研究两个特性之的内在关系n坐标轴分别表示结果特性和原因特性n使得解决问题时找出强相关的原因41为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能常见类型n正相关强lX的增加导致Y的明显增加n正相关弱lX的增加导致Y的略微增加因变量自变量强正相关弱正相关因变量自变量42为深入学习习近平新时代中国特色

16、社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能常见类型n负相关强lX的增加导致Y的明显减少n负相关弱lX的增加导致Y的略微减少因变量自变量强负相关自变量弱负相关因变量43为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能常见类型n无相关lY的变化与X的变化毫无关系n曲线关系lX与Y之间无线性关系但符合某种曲线变化规律曲线相关因变量自变量不相关自变量因变量44为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能预测nForecast法n趋势线法4

17、5为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能单变量求解46为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能规划求解47为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能矩阵数据分析法n矩阵数据分析法（Matrix Data Analysis Chart）n用于排定优先级、做多目标决策n量化表示各元素的关系，更准确地整理和分析结果48为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能案例49为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能练习50为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能中兴通讯管理体系总监中兴通讯最佳兼职讲师中兴通讯学院资深讲师中兴通讯学院质量课程经理深圳质量协会十大金牌讲师中国质量协会第六届学术教育委员会委员JOLIESAISA TOURPPT制作：by小鱼扫扫 一一 扫扫 师师 伟伟 老老 师师 公公 众众 号号51