大数据时代下统计学面临的挑战及建议.docx

《大数据时代下统计学面临的挑战及建议.docx》由会员分享，可在线阅读，更多相关《大数据时代下统计学面临的挑战及建议.docx（6页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据时代下统计学面临的挑战及建议 摘要：传统的统计学是因数据而生的，也是以研究数据为根本目的，传统统计学有其独特的数据收集、整理与分析的方法体系，也确实为我们研究数据带来了便利，但是不得不思考的是在数据爆炸的信息时代，尤其是“大数据”概念产生以后，传统的统计学如果不改变，又将如何应对大数据分析带来的挑战，该文将从零售行业的角度分析大数据为传统统计学带来的诸多挑战。 关键词：总体数据;相关性;个性化营销;定制服务 随着科技的发展，大数据已经成为信息时代的一场技术革命。大数据是指传统数据库管理工具难以处理的大量的、多样化的数据。当前普遍认为大数据有3个特点：第一，数据量非常大；第二，数据增长速度

2、非常快；第三，数据类型越来越多样化1。零售业作为传统的线下实体经营行业，积累了大量的消费者以及管理层的数据，如果依靠传统的统计学模型对这些数据进行分析，很难得出可以用于企业经营管理的有效信息，加上年轻一代消费者越来越追求个性化，所以传统统计学所采用的根据部分样本推断总体的分析方法已经无法满足市场的个性化需求，因此，传统统计学要想跟上时展的步伐，就必须做出与之相适应的改变。 1零售行业里大数据与传统统计学的区别 维克多•迈克尔在大数据时代一书中提出了大数据思维的3个最显著的变化:一是样本等于总体。这与过去基于样本进行统计分析的思维截然不同；二是不再追求精确性。在大数据中往往存在“噪音

3、”和罕见事件，这样的数据影响了结果的精确性；三是相关分析比因果分析更重要，在大数据时代我们将注意力更多地放在“是什么”而不是“为什么”2。大数据的以上特性在零售行业同样适用，零售行业的大数据与传统统计学的区别有以下3点。第一，大数据收集总体数据，而传统统计学多采用抽样的方式收集部分数据。传统统计学在做统计分析时首先针对某一个问题提出假设，然后确定需要调查对象的总体，由于数据采集存在一定的难度，所以统计分析采取从总体中随机抽样选取一部分数据作为分析的对象，如此的话对随机抽样的方法与数据采集的准确性要求是非常高的。而大数据收集的是数据“总体”，在进行分析的时候不会人为进行假设，排除了人的干扰因素，

4、仅仅从数据本身出发进行数据分析。在零售行业如果能运用大数据思维分析数据，从产生数据的顾客行为本身出发，针对不同顾客做出个性化营销，而不是人为假设的话，管理层就可以根据数据进行预测，避免了主观的经验与直觉的判断。沃尔玛作为零售行业的巨头，运用大数据分析得出的著名的啤酒与尿布理论可以证明这一点。第二，大数据注重个体行为的研究，统计学用样本数据推断总体行为。传统的统计学采用抽样调查的方式对样本数据进行分析，用样本推断总体，那些在图表上反映出来的异常数据被排除在外。大数据包容一切数据，其中包括各种结构化、半结构化、非结构化甚至是异构数据。对于零售行业而言，顾客的总体行为表现是没有意义的，因为每个顾客的

5、需求不同，在不同的时间和地点需要的商品都不同，只有根据每位顾客的不同行为进行个性化服务才能让线下的零售行业有优势可言。美国高档连锁一百零一货Nordstorm最近开始采用线下实体店客流分析服务供应商EuclidAnalytics公司的客流监测解决方案EuclidZero，基于用户连接Wifi行为来获取店内顾客手机的Mac物理地址并进行线下追踪，由此可以通过单个顾客在一百零一货店里的行动路线和滞留时间，从而用于改善商品罗列与室内动线以及顾客个性化偏好与推荐服务3。第三，大数据注重数据之间的相关性，而传统统计学更加关注数据分析的结果。从社会发展的角度来看，大数据对数据的关联性分析更有助于零售行业管

6、理层做出决策。对于传统零售行业而言，线下的用户体验是非常重要的，如果能根据用户行为数据分析出哪些商品放在一起能促进购买力，那么零售行业将会有更大的利润空间，相比之下，统计学进行的结果分析显得没有那么重要。 2大数据在零售行业的优势 迈克尔•舍恩伯格说：大数据发展的核心动力就是人类测量、记录和分析数据的渴望。第一，大数据收集的数据是多样化的、非标准化的，而统计学收集的数据都是标准化、结构化的，统计学无法对非结构化的数据进行分析与测量。但是在零售行业仅仅对标准化的数据进行分析做出的判断已无法满足行业的需求，通过对用户在商品前滞留的时间以及与货架上商品的互动行为产生的数据进行分析，从而调

7、整货架的位置才是主流。第二，大数据可以实时、快速监测与收集数据，而统计学收集数据时间长、难度高。大数据收集与处理数据的能力对于零售行业的供应链管理十分有效。零售市场可以利用大数据对库存和员工行为进行监测，从而为管理层做决策提供依据。沃尔玛为了提高大数据成果在不同部门之间的高效利用，并增加存货管理和供应链管理的投入回报率，其开发了RetialLink工具。供应商使用该工具可以预先知道不同店铺商品销售和库存情况，从而能够在沃尔玛发出指令前自行补货，极大地减少商品断货，提高供应链的库存水平4。 3传统统计学面对大数据挑战要做出改变 大数据的出现给我们的生活带来了巨大的改变，甚至不同国家的政府都将大数

8、据作为国家的战略资源。相比之下，传统统计学面临着大数据的巨大挑战，如果能根据自身优势做出改变，传统统计学仍然具有存在的价值。第一，改变数据的收集方式。统计学收集数据时前期要做大量的准备工作，需要耗费大量的人力物力成本，所以想要更加高效收集数据，就必须做出改变。由于大数据是基于互联网收集数据的，所以对于不使用互联网的地区和群体来说，大数据就显得很无力，而传统统计学可以在此基础上发挥自身优势，在以往的数据收集方式上进行创新。第二，传统统计学在数据的分析思维上也要进行改变。传统统计学不光要打破只能分析标准化数据的魔咒，更要着重分析问题的本质，而不是一味注重结果分析，虽然“是什么”很重要，但是一直以来

9、探寻事物内在本质才是不断推动人类社会进步的动力所在，所以统计学也要学会知道“为什么”。 4结语 信息技术的发展是无法想象的，我们无法通过今天来预测未来10年信息行业的发展。只有追上时代的脚步，做出顺应时代潮流的改变，才能免遭淘汰，对于传统统计学也是一样，停留在原地不动是不明智的，改变才是世界的本质。而所有技术的变革都将反馈给人类的生活，让人们和社会从中受益。 作者:吴兴蔚 单位:河北省张家口市蔚县第一中学 第6页 共6页第 6 页 共 6 页第 6 页 共 6 页第 6 页 共 6 页第 6 页 共 6 页第 6 页 共 6 页第 6 页 共 6 页第 6 页 共 6 页第 6 页 共 6 页第 6 页 共 6 页第 6 页 共 6 页