chap8大数据在电子商务中的应用ppt课件.pptx

《chap8大数据在电子商务中的应用ppt课件.pptx》由会员分享，可在线阅读，更多相关《chap8大数据在电子商务中的应用ppt课件.pptx（32页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、在此输入您的封面副标题chap8 大数据在电子商务中的应用大数据在电子商务中的应用第八章DATA STATISTICAL ANALYSISTOOL AND PLATFORM12345大数据时代的商业数据如何获得数据数据统计分析工具与平台数据可视化商务数据分析与挖掘BUSINESS DATA IN THE AGE OF BIG DATAHOW TO GET THE DATADATA ANALYSISBUSINESS DATA ANALYSIS AND MINING主目录案例8-1数据驱动的企业运营机制酷特云蓝的智能之路阅读p185页案例8-1，思考以下问题：1.搜索百度百科，学习工业4.0内容，

2、登录酷特智能官网对照学习。2.前沿技术和最新的客户服务模式共同成长，酷特采用了什么技术？3.酷特是如何解决工业化的大批大量和智能时代的个性化定制这对矛盾的？4.应用大数据库是如何实现数据驱动的？Part 1大数据时代的商业数据BUSINESS DATA IN THE AGE OF BIG DATA8.1.1 大数据的概念大数据通常用来形容一个公司创造的大量非结构化和半结构化数据。大数据有四个层面特点，也可将其归纳为4个“V”：数据体量巨大（Volume）数据类型繁多（Variety）价值密度低（Value）处理速度快（Velocity）数据类型繁多：数据库中结构性数据、非结构数据（文本数据、图

3、片、视频、音频）、半结构数据（XML、JSON数据和传感数据）、元数据。图8-1 大数据的不同类型8.1.2 电子商务中的大数据商业特征图8-2 大数据的商业特征 客户定位通过对客户已有购买的数据的分析，洞察客户的购物习惯、兴趣爱好和购买意愿，并可以对客户群体进行细分。通过用户画像了解用户，猜测用户对产品的需求或者潜在需求。精细化地定位人群特征，挖掘潜在的用户群体，使媒体网站、广告主、企业及广告公司可以充分认知群体用户的差异化特征。根据划分的客户群的差异化特征，帮助商家找到营销机会、运营方向。8.1.2 电子商务中的大数据商业特征图8-2 大数据的商业特征 营销策划精准的广告信息的及时推送信息

4、的个性化展示 物流管理将供应链领域的销售网点体系、条形码扫描设备、射频识别阅读仪、用于车辆和手机的全球定位系统以及用于管理交通、库房和其他运作的软件体系等数据相关联。从多种渠道获取大量非结构性数据，进行研究，提升物流速度和针对性。8.1.2 电子商务中的大数据商业特征图8-2 大数据的商业特征 流程管理更好地根据市场需求与企业要求调整企业流程。企业分析过程中可以掌握流程在组织、结构及技术方面存在的不足，明确潜在的改进领域。企业利用数据仓库将业务流程设计的数据逐一联系起来，从而实现按尽可能低的成本、最快的速度支持业务活动。8.1.2 电子商务中的大数据商业特征图8-2 大数据的商业特征 风险控制

5、通过研究客户需求在一定程度上降低因市场变化、产品滞销等原因导致跌价或不能及时卖出产品的影响。及时发现市场疲软、产品产销不对路、商品更新换代、客户偏好变化等影响销售的因素，从而很好地管控风险。通过市场数据和客户数据的结合研究，企业能够更好地控制生产投入、控制采购、按时产出，加强保管。Part 2如何获得数据HOW TO GET THE DATA采集来源单一存储、管理和分析数据量相对较小以处理器为中心8.2.1 电子商务中的大数据搜集和处理方法02010304传统数据采集方法的不足大数据技术数据采集的方法系统日志采集方法网络数据采集方法其他数据采集方法与企业或研究机构合作使用特定系统接口等大数据的

6、数据处理流程从大量的、复杂的、无序的数据中抽取出有价值、有意义的数据，剔除无效的、异常的、偶然的“脏数据”，提高数据的质量。8.2.1电子商务中的大数据搜集和处理方法大数据的并行处理MapReduce突出优势是具有扩展性和可用性，特别适用于海量的结构化、半结构化及非结构化数据的混合处理。MapReduce具有更强的并行处理能力，将传统的查询、分解及数据分析进行分布式处理，将处理任务分配到不同的处理结点，。MapReduce的工作原理是先分后合的数据处理方式。MapReduce与传统的分布式并行计算环境MPI区别：商务环节MapReduceMPI设计目的用于互联网服务用于科学计算使用廉价PC多使

7、用专用并行机耦合度低耦合度高结点式效率高结点式效率低有容错机制无备份使用方式以架构形式提出，系统自动选择计算结点，分布处理对用户透明提供结点间信息沟通的工具，构架不固定，计算结点由开发者制定对文件系统的支持支持分布式文件系统，通过MAP/REDUCEHANSHU实现分布并行计算不支持分布文件系统，数据库中存储有高级语言通过调用标准函数传递消息实现并行计算案例8-2 阿里与线下Mall的共荣共进JUMP计划阅读p190页案例8-2，思考以下问题：1.阿里为客户提供导购信息，客户的体验和选择为阿里积累数据。杭州商业街的运营模式是如何搜集信息的？请用图表达出来。2.搜索网络信息，阿里和杭州商业街是如

8、何打造O2O运营模式的？3.智能技术和传感技术在为客户服务模式中共同运用，分析比较一下客户的体验和商家的运营效率。8.2.2 客户评价信息的收集和处理客户评价信息的收集和处理研究发现，大约70%的消费者在购买前阅读产品评论，近 63% 的人表示他们更有可能从具有产品评级和评论的网站上购买。积极的用户评价能够推动客户获取，吸引潜在客户尝试商品。用户评价收集方法：调查电子邮件表格探索性客户访谈网络舆情监测等客户评价信息的处理：判断哪些客户是因为需求购买，哪些客户是因为广告购买，哪些客户是因为价格购买，哪些客户是因为口碑购买，以此优化营销配置，使之尽可能带来高的回报。8.2.3 大数据处理优化销售和

9、营销把数据仓库的数据和分析直接结合，通过相关的分析技术和工具，直接挑选出具有商业价值的数据，之后通过商务智能（BI）迅速将其商业价值扩大化。加强网站安全性的维护和宣传，降低消费者风险知觉。精细化用户评论板块，提高信息含量，吸引用户发表评论信息，维护高信誉度评论者的活跃度。提升网络购物服务实体性的短板。挖掘意见领袖网络互动推动力。案例8-3 大众点评网发展历程阅读p191页案例8-3，思考以下问题：1.大众点评网和客户的互动模式是什么？请用图表达出来。2.搜集大众点评网的同类型服务，比较网上评论和实际体验的差异。3.如何在大数据框架下，对大众点评网的客户评价进行挖掘？可采用的工具是什么Part

10、3数据统计分析工具与平台DATA STATISTICAL ANALYSISTOOL AND PLATFORM8.3.1 数据分析与挖掘工具Excel数据分析 数据分析概述 数据分析工具Excel Excel数据透视表功能 Excel条件格式 Excel函数 Excel画图数学及统计分析 微积分 线性代数 描述性统计 抽样估计 假设检验 方差和相关分析SPSS数据分析 SPSS基础操作 T检验 方差分析 卡方检验 相关分析 回归分析 神经网络商业智能可视化分析 Tableau基础操作 实例分析 Power BI数据处理 可视化报表 Power ServiceR数据分析 R基础知识 R基本语句结构

11、及循环 R数据清洗 文本对象处理 R画图R数据挖掘 线性回归 逻辑回归 梯度下降 聚类 关联规则 主成分分析8.3.2 大数据分析处理数据库管理与应用 数据库基础知识 MySQL数据类型 操作MySQL数据库 创建、修改、删除表 SQL语句增删改查Hadoop大数据平台 大数据技术生态系统概述 Linux系统运维 Hadoop集群部署及应用 HDFS指令实践 MapReduse数据处理 Scala和Spark搭建大数据仓库应用 Hive原理和应用场景 HiveQL数据查询、函数 Hbase表设计及数据查询Python爬虫探索 Python基础知识 语言高级特性 网络爬虫技术Python机器学习

12、 Numpy、Pandas和Matplotlib数据清洗和集合 时间序列数据分析和数值预测型回归 集成学习、KNN、聚类算法实现Part 4数据可视化DATA ANALYSIS8.4.1 大数据分析及可视化工具在大数据时代，数据可视化工具必须具有以下特性：实时性简单操作更丰富的展现多种数据集成支持方式工具内容Excel快速分析数据的理想工具，也能创建供内部使用的数据图，但是Excel在颜色、线条和样式上可选择的范围有限，这也意味着用Excel很难制作出能符合专业出版物和网站需要的数据图RR语言是主要用于统计分析、绘图的语言和操作环境。虽然R主要用于统计分析或者开发统计相关的软件，但也能用作矩阵

13、计算。其分析速度可比美GNUOctave甚至商业软件MATLABProcessing提出假设，然后进行测试，观察假设是否成立，可以证明假设的正确或者错误PolyMaps是一个地图库，主要面向数据可视化用户。PolyMaps在地图风格化方面有独到之处，类似CSS样式表的选择器Gephi是进行社会图谱数据可视化分析的工具，能处理大规模数据集。Gephi是一个可视化的网络探索平台，用于构建动态的、分层的数据图表TableauPublic是一款桌面可视化工具，用户可以创建自己的数据可视化，并将交互性数据可视化发布到网页上GeoCommons可以使用户构建交互可视化应用来解决问题，即使他们没有任何传统地

14、图使用经验。可以将社会化数据或者GeoCommons保存的超5万份开源数据在地图上可视化，创造带交互的可视化分析作品，并将作品嵌入网站、博客或分享到社交网络上表8-2 主要可视化软件工具8.4.2 电商数据可视化030201将指标图形化将指标关系图形化借助已有的场景来表现。构建场景来表现。将指标值图形化0103050601010204开店阶段通过市场分析掌握类目行情走势，查看该类目下的大数据测款阶段关键字实时排名和类目实时排名，及时了解自己的排名，调整运营方式，不断优化排名，提高曝光率通过查看商品/店铺排行榜，选出畅销商品，借助商品/店铺成长指数，快速发掘潜力宝贝选款阶段成熟运营阶段查看全站的

15、整体GMV和销量走势，深度分析全站市场的发展空间，充分掌握市场变动环境，合理制定最优的运营策略初始运营阶段多维度分析商品，包括：商品销量，同类产品数，30天坑产，深度分析活动商品信息，价格以及排名等，深挖竞品sku销量走势，全方位监控竞品爆款阶段查看店铺和商品成交时段分布，分析SKU成交量占比，深入挖掘流量变化，有利于分时段出价推广8.4.2 电商数据可视化实例01实例一：多多情报通（原名多多参谋）。多多情报通提供给拼多多商家从开店、选款、测款、运营多个阶段的数据功能支持，功能种类齐全。图8-7 多多情报通多维分析8.4.2 电商数据可视化实例02实例二：iOS手机及平板分布如图8-8所示。当

16、展示使用不同类型的手机和平板用户占比时，直接用总的苹果图形为背景来划分用户比例，让用户第一眼就可以直观地看到这些图是在描述苹果设备的，直观而清晰。图8-8 苹果产品比例图8.4.2 电商数据可视化实例03实例三：某购物网用户的网购调查数据采用了可视化的设计，如图8-9所示。图中采用男性和女性的图形，这样让分类一目了然。再结合了颜色可视化（男性为蓝色，女性为粉色），使用不同的比例用不同长度的条形显示。这些可视化方法的组合使用大大加强了数据的可理解性。图8-9 男生女生购买偏好Part 5商务数据分析与挖掘BUSINESS DATA ANALYSIS AND MINING8.5.1 大数据分析和数

17、据挖掘 数据处理流程数据采集数据清洗数据变换数据集成 数据挖掘从大量的数据中通过算法搜索隐藏于其中信息是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值信息的非平凡过程。数据挖掘是通过分析每个数据，从大量数据中寻找其规律的技术，主要有数据准备、规律寻找和规律表示三个步骤。数据挖掘利用了来自如下一些领域的思想：来自统计学的抽样、估计和假设检验；人工智能、模式识别和机器学习的搜索算法、建模技术和学习理论。8.5.1 大数据分析和数据挖掘 数据分析与数据挖掘的区别两者的主要区别：“数据分析”的重点是观察数据，而“数据挖掘”的重点是从数据中发现“知识规则”KDD。项 目数 据 分 析数 据

18、挖 掘重点及目标观察数据从数据中发现“知识规则产生报告表发现模式人工参与多（人智）设置好后，机器学习，自动完成（机智）得出结论人的智力活动产生发现的知识规则，可以直接应用到预测对文件系统的支持不能建立数学模型，需要人工建模直接完成了数学建模8.5.2 商务数据分析实例案例8-4 2020年我国粮食安全分析数据来源与数据处理数据来源国家统计局官网中国海关总署的数据查询页面利用Python爬取热搜神器搜索有关“粮”关键词的新浪微博热搜话题、最近上榜时间、历史最高排名、搜索量等相关数据中国农业农村部官网数据查询数据处理填充缺失值删除无关信息剔除与分析无关的数据使用工具数据采集工具：Python及八爪鱼采集器。可视化工具：Tableau及Python。可视化报告设计：PDF文件。图表选择 路径地图 折线图 哑铃图火 柴图 词云图 桑基图 热力图还原研究设计如下：8.5.3 商务数据挖掘实例案例8-5 深度学习的第三方网站虚假评论识别步骤如下：采集评论数据评论数据的清洗与预处理评论数据的标注评论数据的文本分析评论数据的特征提取模型构建感谢聆听