大数据时代统计学挑战与机遇.docx

《大数据时代统计学挑战与机遇.docx》由会员分享，可在线阅读，更多相关《大数据时代统计学挑战与机遇.docx（6页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据时代统计学挑战与机遇 摘要：文章主要讨论大数据时代统计学的建设发展问题。根据大数据对统计学的影响，分析我国统计学的发展现状，提出健全和完善统计学科的新思路，积极应对大数据时代对统计学科建设面临的新挑战与新机遇。 关键词：大数据；统计学；学科建设 近年来大数据蕴藏的价值已经得到普遍认可1-3，其意义在于通过数据采集、导入与预处理、统计分析、数据挖掘，发现其内在规律，创造新价值。统计学是搜集、分析及解释大数据的方法论5。大数据作为统计学研究重点对象，为统计学科提供了发展平台，促进统计理论、思想及方法不断完善，并对数据采集、处理和分析等问题带来了新挑战和新机遇。 一、大数据对统计学的影响 1.

2、处理大数据发展创新的技术手段。大数据的海量化导致数据存储和处理分析的危机，它的多样性使得研究的数据类型发生了改变。有些行业的数据涉及上一百零一个参数，其复杂性不仅体现在数据样本本身，更体现在多源异构、多实体和多空间之间的交互动态性，难以用传统的方法描述与度量。缺乏先进的统计分析方法是从大数据中获得最大价值的主要障碍。因此，如何发展统计理论和方法，迅速有效地处理海量数据，是解决挖掘大数据价值的关键技术。2.揭示大数据蕴藏价值的思想方法。迄今为止，人们对事物的研究主要依赖抽样数据、局部数据和片面数据，产生的结果可能是片面或者肤浅的，甚至是错误的。文献1指出了大数据时代的三个重要思维方式：从样本数据

3、到全体数据；从数据结构精确性到其混杂性；从变量因果关系到相关关系。传统的统计理论及方法很难用来描述巨大的全体数据、复杂的数据结构及高维变量之间的关系等，有时其计算过程及存储量很难实现。对非结构化数据，有效的统计模型也需要新的探索和尝试。3.运用大数据精确管理的思维习惯。大数据除了容量大以外，其整合与分析可以让我们发现新的知识和价值。通过大数据获得知识、商机和社会服务的能力不仅可以应用于学术研究，也可以应用于普通的机构、企业和政府部门等，使得更多人参与社会管理。目前，我们尚缺乏收集、整理、运用数据精确管理事物的意识，对“大概”“差不多”模棱两可的思维习惯提出严峻挑战2。大数据的影响，不仅可以改变

4、我们对事物的思维方式，还可以增加探求知识的方式方法。在大数据时代背景下，我们可以用更宽泛的统计思维方式，分析挖掘数据中隐含的知识，揭示事物的众多层面。 二、我国统计学发展现状 目前，我国统计学科建设的发展与大数据时代的需要还存在许多不相适应的地方：1.统计学体系不够完善。11012年统计学首次从经济学中独立成为一级学科。19101年统计学纳入理学，成为与数、理、化、生、经等并列的学科类。2022年成为一级学科，授理学学位或经济学学位5，6。这样，统计学就完全从数学和经济学中独立出来，成了名副其实的一级学科。统计学上升为一级学科，有利于统计学科的发展，更有利于我国经济与社会的发展。但统计一级学科

5、确立后，大部分挂靠在高校的数学学院或经济学院之下，作为一般学科建设发展，使得统计学发展受到一定的限制。2.学科建设滞后于时展。从我国统计学发展历史来看，经历了两门统计学的特殊时期：数理统计与经济统计。在数理统计教学中，注重理论上的学习和推导，与实际运用脱离较远；在社会经济统计教学中，注重实践运用与分析，但缺乏精确推导与理论支撑，导致数理统计越来越理论化，社会统计越来越指标化。更有人主张经济统计属于经济学分支，数理统计属于数学分支，导致统计理论与应用被人为割裂开来，严重阻碍统计学的发展，使得我国统计学发展远远落后于发达国家。3.统计人才培养质量亟待提高。目前，统计人才队伍和科研成果还较弱。尤其西

6、部地区各高校，统计学科的师资力量和人才培养环节非常薄弱，科研成果较少，有些科研团队的建设尚处于筹备中，导致能申请上国家自然科学基金面上项目或重点项目的教师不多。另外，有些高校只有统计学硕士点而无统计学博士点，不利于统计人才的培养。可以说，统计人才队伍是制约和影响统计学发展的关键因素。 三、健全完善大数据下统计学体系的几点思考 1.研究对象。统计学研究对象主要是数据，其来源分成两大类：一类是物理世界，大都是实验和传感数据，采集和处理数据均事先设计好。另一类是与人类活动密切相关的数据如互联网大数据，该数据大都随机产生，具有多源异构、交互、时效、突发和噪声等特性，并且许多数据是重复的或者没有价值，比

7、科学实验数据分析更困难，这是统计研究的重难点。2.培养目标。统计学建设既需要培养理论功底扎实的统计“理论家”，又需要培养灵活运用统计的“实践家”，推动统计学在大数据时代中的发展7。大数据时代下对统计人才有以下要求：（1）具有扎实的数学、经济学以及统计学基础；（2）具有数据采集与处理和计算机应用的基本能力；（3）具有创新、分析和解决问题的能力；（4）具有大数据智慧应用的意识和能力8。2022年3月28日，教育部公布了477所本科院校批准开设“数据科学与大数据技术”专业，405所高职院所设立“大数据技术与应用”专业，这意味着统计学作为支撑学科培养任务更繁重、目标对象更广泛。3.内容体系。大数据时代

8、统计不仅要成为一级学科，而且要有完善的学科体系。统计学科内容体系可分为理论、应用及技术工具三大部分。理论内容主要涉及各种统计方法的数学论证及推导，可以让学生对各种统计模型和理论有较深刻的认识。统计应用实践主要是针对不同专业的特征，旨在让学生将统计模型运用到该研究领域6，7。统计分析技术工具主要包括SAS、SPSS、MINTAB、MATHCAD等高性能统计分析软件，目的让学生能够进行数据处理、分析及建模，准确得出决策依据。4.评价标准。由于理论和应用统计学的研究对象不同，评价标准也应不同。统计学理论家应重点关注统计方法原理研究的深入程度。应用统计学家应考查数据抽样方式与处理是否符合该领域的特点和规律、所选数据指标体系的合理性以及推断方法的准确性等8，9。在大数据时代，统计学仍然是数据分析的灵魂10。统计学是数据的科学，其生命力在于政治、经济、文化、科学等各个领域的应用。为此，各高校有责任和义务使收集、处理、运用统计知识成为学生的一种意识、一种习惯、一种文化，这是大数据时代的必然选择。 第6页 共6页第 6 页 共 6 页第 6 页 共 6 页第 6 页 共 6 页第 6 页 共 6 页第 6 页 共 6 页第 6 页 共 6 页第 6 页 共 6 页第 6 页 共 6 页第 6 页 共 6 页第 6 页 共 6 页