A31-大数据分析与数据挖掘能力提升实战(5天)(共13页).docx

精选优质文档-倾情为你奉上大数据分析与数据挖掘能力提升实战【课程目标】本课程为综合课程，包含基本的数据分析，到高级的数据挖掘，数据建模，以及大数据在市场营销方面的应用，帮助企业的相关人员提升数据分析的综合能力，解决业务问题和企业决策问题。本课程从实际的业务需求出发（特别是市场营销领域的业务），结合行业的典型应用特点，围绕实际的商业问题，对数据分析及数据挖掘技术进行了全面的介绍（从数据收集与处理，到数据分析与挖掘，再到数据可视化和报告撰写），通过大量的操作演练，帮助学员掌握数据分析和数据挖掘的思路、方法、表达、工具，从大量的企业经营数据中进行分析，挖掘客户行为特点，帮助运营团队深入理解业务运作，以达到提升学员的数据综合分析能力，支撑运营决策的目的。通过本课程的学习，达到如下目的：1、 了解大数据的核心理念，以及大数据思维。2、 掌握数据分析的基础知识，掌握数据分析的基本过程。3、 学会数据分析的框架和思路，掌握常用数据分析方法来分析问题。4、 掌握数据挖掘，数据建模，以及模型优化，能够解决商业问题。5、 掌握常用分析和挖掘工具，学习使用Excel、SPSS、Modeler工具来做数据分析、数据挖掘，以及数据预处理和建模。【授课时间】5天时间【授课对象】市场营销部、业务支撑、经营分析部、网管/网优中心、数据分析部等对业务数据分析有要求的相关人员。【学员要求】1、 每个学员自备一台便携机(必须)。2、 便携机中事先安装好Excel 2010版本及以上（常规分析）。3、 便携机中事先安装好IBM SPSS Statistics v19版本及以上（数据挖掘）。4、 便携机中事先安装好IBM SPSS Modeler v19版本及以上（数据预处理和建模）。注：讲师可以提供试用版本软件及分析数据源。【授课方式】数据分析/挖掘基础 + 思路分解 + 方法讲解 + 实际业务问题分析 + 工具操作采用互动式教学，围绕业务问题，展开数据分析过程，全过程演练操作，让学员在分析、分享、讲授、总结、自我实践过程中获得能力提升。不空谈理论，不空谈方法，以业务分析为核心，以解决问题为目的。一切不以解决业务问题的数据分析/挖掘都是耍流氓！【课程大纲】第一部分：解构大数据1、 大数据时代已经来临2、 大数据的三层理解Ø 理论层：以数据为基础Ø 技术层：以平台为手段Ø 应用层：以应用为导向3、 大数据的4V特征4、 大数据的核心价值Ø 发现业务运行规律Ø 预测事物未来5、 大数据在各行业是如何应用的Ø 医疗卫生Ø 政治军事Ø 行政执法Ø 金融银行Ø 6、 数据分析的核心理念Ø 数据变化意味着业务变化Ø 数据间关系意味着因素间的关系7、 大数据战略Ø 大数据成为企业的核心资产Ø 大数据成为业务创新的核心引擎Ø 从数据化运营到运营数据8、 大数据的思维变革Ø 定量思维Ø 相关思维Ø 实验思维Ø 9、 大数据的商业模式分析10、 大数据的人才培养第二部分：数据分析篇问题：数据分析是神马?数据分析基本过程？1、 数据分析面临的常见问题2、 认识数据分析Ø 什么是数据分析Ø 数据分析的三大作用Ø 数据分析的三大类别案例：喜欢赚“差价”的营业员3、 数据分析的六步曲Ø 明确目的Ø 收集数据Ø 处理数据（预处理）Ø 分析数据Ø 呈现数据（可视化）Ø 撰写报告案例：终端精准营销项目过程讨论4、 数据分析师需要什么样的能力Ø 懂业务、懂管理、懂分析、懂工具、懂呈现5、 大数据应用系统的四层结构Ø 数据基础层、数据模型层、业务模型层、业务应用层6、 数据分析方法的层次Ø 基本分析法（对比/分组/结构/趋势/）Ø 综合分析法（交叉/综合评价/杜邦/漏斗/）Ø 高级分析法（相关/方差/验证/回归/时序/）Ø 数据挖掘法（聚类/分类/关联/RFM模型/）7、 基本分析方法及其适用场景Ø 对比分析（查看数据差距）演练：按性别、省份、产品进行分类统计Ø 分组分析（查看数据分布）演练：银行信用卡月消费分析（银行）演练：呼叫中心接听电话效率分析（呼叫中心）演练：客服中心科学排班人数需求分析（客服中心）演练：客户年龄分布分析案例：排班后面隐藏的猫腻Ø 结构分析（评估事物构成）案例：用户市场占比结构分析案例：物流费用占比结构分析（物流）Ø 趋势分析（发现变化规律）案例：破解零售店销售规律8、 综合分析方法及其适用场景Ø 交叉分析（两维分析）演练：用户性别+地域分布分析Ø 综合评价法（多维指标归一）演练：人才选拔评价分析（HR）案例：南京丈母娘选女婿分析表格Ø 杜邦分析法（关键因素分析-财务数据分析）案例：电信市场占有率分析演练：服务水平提升分析（呼叫中心）案例：销售额的影响因素分析（零售店/电商）Ø 漏斗分析法（关键流程环节分析-流失率与转化率分析）演练：终端销售流程分析（电信营业厅）案例：业务办理流程优化分析（银行营业厅）案例：物流配送效率分析（物流）Ø 矩阵分析法（产品策略分析-象限图分析法）案例：工作安排评估案例：HR人员考核与管理案例：波士顿产品策略分析9、 最合适的分析方法才是硬道理。10、 数据分析思路（如何细化业务问题）案例：利用5W2H来分析产品销售情况第三部分：概率与数理统计篇1、 数据统计指标Ø 集中程度：平均数/中位数/众数Ø 离散程度：全距/四分位距/标准差/四分位Ø 分布形态：偏度/峰度Ø 正确理解各指标的含义案例：如何用Excel计算统计指标案例：如何用Excel画直方图2、 概率论基本知识Ø 随机事件与概率Ø 古典概率与条件概率Ø 全概率公式与贝叶斯公司Ø 概率分布函数Ø 数学期望与方差Ø 大数定律与中心极限定理3、 参数检验分析Ø 假设检验概述Ø 假设检验步骤Ø 样本T检验（单样本、两独立样本、两配对样本）及适用场景案例：电信运营商ARPU值评估分析（单样本）案例：营销活动前后分析（两配对样本）案例：吸烟与胆固醇升高的分析（两独立样本）4、 非参数检验分析Ø 非参数检验概述Ø 样本检验（单样本、两独立样本、两相关样本）案例：产品合格率检验（单样本-二项分布）案例：训练新方法有效性检验（两配对样本-符号/秩检验）案例：促销方式效果检验(多相关样本-Friedman检验)案例：客户满意度差异检验(多相关样本-Cochran Q检验)第四部分：高级数据分析本篇包含三大内容：影响因素分析，数值预测模型。1、 相关分析（衡量变量间的的相关性）问题：营销费用会影响销售额吗？影响程度大吗？Ø 什么是相关关系Ø 相关系数：衡量相关程度的指标Ø 相关分析的步骤与计算公式Ø 相关分析应用场景演练：体重与腰围的关系演练：营销费用与销售额的关系2、 方差分析问题：哪些才是影响销量的关键因素？Ø 方差分析解决什么问题Ø 方差分析种类：单因素/双因素可重复/双因素无重复Ø 方差分析的应用场景Ø 如何解决方差分析结果演练：产品摆放位置与销量有关吗？（单因素方差分析）案例：2015年大学生工资与父母职业的关系3、 回归分析（预测）问题：如何预测未来的销售量（定量分析）？Ø 回归分析的基本原理和应用场景Ø 回归分析的种类（一元/多元、线性/曲线）Ø 回归分析的几种常用方法Ø 回归分析的五个步骤与结果解读Ø 回归预测结果评估（如何评估预测质量，如何选择最佳回归模型）演练：散点图找推广费用与销售额的关系（一元线性回归）演练：推广费用、办公费用与销售额的关系（多元线性回归）演练：最佳选择的预测销售额的回归模型（一元曲线回归）Ø 回归分析（带分类变量）案例：汽车销量的季度预测演练：工龄、性别与终端销量的关系讨论：终端销售预测分析（营业厅）4、 时序分析（预测）问题：随着时间变化，未来的销量变化趋势如何？Ø 时序分析的应用场景（基于时间的变化规律）Ø 移动平均的预测原理Ø 指数平滑的预测原理案例：销售额的时序预测及评估演练：产品销量预测及评估第五部分：建立预测模型与模型优化（Excel工具）本篇包含内容：数值预测建模、模型优化，季节性预测模型、S曲线预测模型。1、 常见预测模型类别Ø 数值预测Ø 分类预测2、 回归分析建模Ø 寻找最佳回归拟合线来判断和预测Ø 模型优化七步法（因素、异常值、相互作用、非线性关系）案例：汽车销量预测分析案例：工龄、性别与销量的回归分析3、 季节性预测模型Ø 季节性预测模型的参数Ø 常用季节性预测模型（相加模型、相乘模型）案例：美国航空旅客里程的季节性趋势分析案例：产品销售季节性趋势预测分析4、 新产品销量预测与S曲线Ø 如何评估销量增长的拐点Ø 常用模型（珀尔曲线、龚铂兹曲线）案例：预测IPad产品的销售增长拐点，以及销量上限5、 规划求解与自定义模型案例：大数据下的产品定价方法案例：如何对客流量进行建模及模型优化第五部分：数据挖掘篇（SPSS工具使用）1、 数据挖掘概述2、 数据挖掘的标准流程Ø 商业理解Ø 数据准备Ø 数据理解Ø 模型建立Ø 模型评估Ø 模型应用案例：通信客户流失分析及预警模型3、 聚类分析（市场细分与客户细分）问题：如何实现客户细分，开发符合细分市场的新产品？Ø 聚类分析及其作用Ø 聚类分析的种类Ø 层次聚类：发现多个类别Ø R型聚类与Q型聚类的区别演练：中国省市经济发展情况分析（Q型聚类）演练：裁判评分的标准衡量（R型聚类）Ø K均值聚类演练：宝洁公司如何选择新产品试销区域？演练：如何评选优秀员工？4、 分类分析案例：美国零售商（Target）如何预测少女怀孕问题：如何提取客户流失者、拖欠货款者的特征？如何预测其流失的概率？Ø 分类与聚类Ø 决策树分类的原理Ø 如何评估分类性能演练：识别银行欠货风险，提取欠货者的特征5、 关联分析案例：啤酒与尿布、飓风与蛋挞问题：购买面包的人是否也会购买牛奶？他们同时购买哪些产品？Ø 关联分析解决什么样的问题Ø 如何提取关联规则Ø 关联规则的应用场景案例：超市商品交叉销售与布局优化（关联分析）6、 RFM模型问题：如何评估客户的价值？如何针对不同客户采取不同的营销策略？Ø RFM模型介绍Ø RFM的客户细分框架理解演练：淘宝客户选择促销客户的方式演练：结合响应模型，宜家IKE实现最大化营销利润第六部分：数据挖掘实战篇（Modeler工具实操）1、 数据挖掘处理的一般过程Ø 数据源à数据理解à数据准备à探索分析à数据建模à模型评估2、 数据读入3、 数据集成Ø 变量合并（增加变量）Ø 数据追加（添加记录）4、 数据理解Ø 取值范围限定Ø 重复数据处理Ø 缺失值处理Ø 无效值处理Ø 离群点和极端值的修正Ø 数据质量评估5、 数据准备：数据处理Ø 数据筛选：数据抽样/选择（减少样本数量）Ø 数据精简：数据分段/离散化（减少变量的取值）Ø 数据平衡：正反样本比例均衡Ø 其它：排序、分类汇总6、 数据准备：变量处理Ø 变量变换：原变量值更新Ø 变量派生：生成新的变量Ø 变量精简：降维，减少变量个数7、 基本分析Ø 单变量：数据基本描述分析Ø 双变量：相关分析、方差分析、卡方检验（列联检验）Ø 变量精简：特征选择、因子分析案例：通信基本费用与开通月数的相关分析案例：开通月数对客户流失的影响分析案例：套餐类型对对客户流失的影响分析8、 特征选择Ø 特征选择方法：选择重要变量，剔除不重要的变量Ø 从变量本身考虑Ø 从输入变量与目标变量的相关性考虑9、 因子分析（主成分分析）Ø 因子分析的原理Ø 因子个数如何选择Ø 如何解读因子含义案例：提取影响电信客户流失的主成分分析10、 常见分类预测模型Ø 分类预测基本过程Ø 如何评估分类模型的性能（查准率、查全率）11、 决策树分类Ø 决策树分类原理Ø 决策树构建的三个关键问题Ø 决策树算法案例：识别银行欠货风险，提取欠货者的特征案例：客户流失预警与客户挽留模型12、 神经网络Ø 神经网络概述Ø 神经元工作原理Ø BP反向传播网络（MLP）Ø 径向基函数网络（RBF）13、 支持向量机14、 贝叶斯分类实战：电信客户流失分析与预警模型结束：课程总结与问题答疑。专心-专注-专业