基于大数据处理的管理模式创新研究绪论,信息管理论文.docx

基于大数据处理的管理模式创新研究绪论,信息管理论文本篇论文目录导航：【题目】【第一章】 基于大数据处理的管理形式创新研究绪论【第二章】【第三章】【第四章】【第五章】【总结/以下为参考文献】 第 1 章 绪论 1.1 选题背景 大数据概念于近两、三年真正兴起，并逐步为人们所知到和重视，但早在 20 世纪 60 年代，企业在大型机上部署财务、银行等关键应用系统的时候，依靠磁盘、磁带和光盘等存储介质存储其大量数据时， 大数据 一词便已经产生，到 20 世界 90 年代数据仓库之父比尔 恩门又再次提及 大数据 一词1. 随着新兴信息技术的不断涌现和大量基于信息和网络的应用的出现，无论在教育、医疗还是环境等方面都有着数据的存在，除了传统的短信 信息产生的数据，网络聊天数据之外，公共交通电子化、办公管理网络化等很多方面都有这数据的存在，我们的生活、工作、社会发展的方方面面都伴随着数据的影响。 伴随着信息技术的不断发展，移动网络、大型局域网络的普及、手机、平板电脑等各类移动终端应用的广泛化，移动计算、物联网、云计算等一系列新兴信息技术的飞速发展下，各类虚拟服务、社交网络、协同创作等新型应用形式不断扩展着人类利用信息并创造信息的领域和方式方法，随着 第三次工业革命 设想的提出和随之产生的 创客 运动，全面基于网络和信息的全新的创造和生产形式即将到来，人们正一步步走向 大数据 时代。 根据国际数据公司IDC的统计和研究，全球被开创建立和复制的数据量将根据摩尔定律增长，其详细增长情况如此图 1.1 所示。伴随着宏大的数据量，随着而来的是数据的多样性和复杂度的急剧增加，而仅 15%的数据为构造化数据就足以讲明问题。面临这些已经到来或即将到来的困难，IT 专业人士们用 Big Data 这一曾被提及过的词来形容这些问题。 大数据 这个词从(科学杂志发表文章 Big Data:Science in the Petabyte Era 开场广泛传播1,到 2018 年 5 月，EMC 在以 云计算相遇大数据 为主题的 EMC World 2018会议中提出了 Big Data 的概念，至此，大数据开场风行，根据相关统计，在2018 年 6 月 IDC 的研究报告(从混沌中提取价值之后， 大数据 这一本文关键词语在 google 中的搜索量不断上升1,毫无疑问，大数据时代已经到来。 1.2 本文研究意义和目的 伴随着 第二次工业革命 的日薄西山， 第三次工业革命 的呼声越来越大，创客运动和新的商业体系所带来的信息量和数据量也越来越大， 大数据 的时代随之到来，基于 Hadoop 等的方案为大数据存储和处理提供了高效、安全且经济的可靠保障，在云计算等技术的迅速发展下，其隐含的宏大的社会、经济、科研价值，已引起各行各业的高度重视，怎样有效组织和应用大数据，是人们在关注社会经济和科学研究的时候所必须去考虑和研究的，故此，大数据与新型管理形式的结合也有重要意义： 1有利于企业在新时期管理上的变革 怎样将数据转换成产品将是将来公司和人们所研究的主流方向，成功将属于能将此变为现实的人们。在大数据时代下，怎样共享数据、怎样收集整合数据，分析出完好数据，以得出最可靠的结果，以便企业从中获取最有价值的信息，进而改善经营管理。 传统的层级管理形式随着 第三次工业革命 的进行将要逐步向扁平化的趋势改变，逐层收集，逐层汇总，逐层分析上报的信息系统将不能知足管理上改革的要求，随着信息技术的发展，管理形式也在不断变革，其管理复杂度正不断加大，华而不实大量的信息分享和汇总分析是必然的，那么为了解决这一大数据的问题， 大数据 处理无疑给了我们一条很好的出路。通过云计算及相关技术， 弹性 、 通用 和 积木化 的技术思想得以应用，使得系统平台能够提供延展性更好的服务，在企业由于规模的变大，管理和业务模块的变化时，系统平台能够给予良好的支撑。 2为企业融入 大数据 时代提供技术支撑 随着社会信息化的发展，大型局域网络、移动网络的普及，每个人所拥有的终端越来越多，随着个人电脑和手机移动终端的普及，平板电脑的使用数量的逐步增加，以及各种智能终端产生的数据信息， 大数据 时代，即使只是一个简单的数据分享也会给人们造成很大的困扰。在新工业革命的新的管理理念下，最基本的便是数据的及时分享、通过信息网络及时的汇总和分析信息得出结论，使得管理愈加快速且具有效率，但是大量的数据处理使会得基础设施的成本变高，系统维护也会越发困难，数据的储存也是很难解决的一点，面对这些困难，云计算这一基于大数据处理的技术给了我们很好的解决方案。由于大量硬件资源集中而成的超级计算机的存在，企业在实现管理和服务创意上能够有无尽的资源能够驱动，通过信息的及时分享，及对海量数据信息的分析，企业或机构能够通过对信息的挖掘获取其最大价值，进而制定相关对策，这点正是扁平化管理形式的关键所在，即决策来源与更多更广泛的人而不再是集中的那么几个人，以使之更有效率。 3有利于信息系统构架的转变 当代企业所需面对的用户和数据量与日俱增，即使只是一个小企业，它所需面对的业务系统的并发访问流量、数据存储和管理压力或者是系统构建的复杂度都将会远远超过以前，大数据问题日益凸显出来。多数企业在信息系统构建初期并不会有太长远的规划，随着业务流程的改变，业务目的的转变，企业规模的扩大，信息技术的进步，原来的系统往往无法知足企业发展的需求，这就注定企业需要一种全新的，能够提供大存储能力，大规模处理能力和大规模通信，能够实现多形式的海量数据实时分享的平台的支持5,使之能够使用与快速变化的功能目的、系统环境和应用配置。 不同的系统构建往往是针对不同的应用，故而没有一种构造会始终是最优的选择，而在大数据处理技术中，云计算平台提供了一种组织机制，在这种机制下信息系统构造能够快速做出调整，最大程度地发挥出信息系统的资源并具体表现出出其价值所在。 4加快企业进行 第三次工业革命 的进程 大数据时代，企业所拥有的大数据规模和其对数据的解释处理能力将是企业竞争力的一个重要具体表现出。随着时代的发展，为了面对数量庞大到可能无法估量，数据构造越来越复杂，数据关联度越来越高的大数据时代，企业必须去发展合适的管理形式去适应日益强烈的全球化竞争。信息传播的速度越来越迅速，要高效、低成本的去发展，传统的层级管理显然无法适应。为了决策的精准和迅速，对于现有数据的整合和分析成了关键所在，通过新的管理形式共享信息，以最短的时间、最低的消耗得到最好的结果，使业务的各个流程构成无缝的连接，让错误的概率降到最低。通过对数据的分析来优化整个运营的经过，通过的数据的优化和挖掘来得到最有用的东西，根据这些来进行决策，进而得以降低成本获得效益，使公司能在竞争剧烈的市场得以生存发展。以数据为基础，以人为本的全新管理形式将使企业在新的工业革命时代拥有一席之地。 本课题研究将有利于企业在全新的由信息驱动的商业形式之中通过各种形式节约成本、提高效益，通过应用新的大数据处理技术对的传统的层级管理形式进行改进，得出一种全新的适应时代的管理形式，使信息的价值得到最高的具体表现出，在营销、人力、绩效等各个方面结合，使企业在大数据时代蓬勃发展。 1.3 研究现在状况 1.3.1 国外研究现在状况 早于 20 世纪 90 年代，大数据Big Data一词就被数据仓库之父比尔 恩门所提及，到 2008 年末，(大数据计算：商务、科学和社会领域的革命性突破的发布，使得研究者和业界高管意识到大数据真正重要的是其新用处和带来的新见解，而非数据本身1.至 2018 年 5 月，在以 云计算相遇大数据 为主题的 EMC World 2018会议中 EMC 提出了 Big Data 的概念。 麦肯锡全球研究院MGI在(大数据：下一个创新、竞争和生产力的前沿的研究报告中指出大数据正在成为与物质和人力资源同等重要的生产要素，它逐步在各行各业得到了具体表现出，数据的存储容量和数据的规模正在迅速增长，大数据时代已经到来2.随着信息处理和分析技术，信息存储技术及云计算技术的发展，使得信息技术的使用成本降低，数据对于业务增长的价值得到更多的具体表现出，大数据在商业上的应用成为了可能。 面对新的竞争形势，各大 IT 业巨头，如微软、谷歌、IBM、ORACLE、亚马逊、惠普等也为了能够在竞争中脱颖而出而大力发展大数据技术。Face book于 2018 年推出的新型数据处理平台 PUMA 通过对数据的各个处理环节的分别优化和区分，成功的将数据分析周期从之前 2 天降低到 10 秒以内，使效率显着提高2. 美国奥巴马于 2020 年 3 月公布了 大数据研究和发展计划 ,其内容牵涉到国家科学基金、能源部、国防部、国家卫生研究院地质勘探局等联邦部门。该计划中，大数据的收集、组织和分析工具及技术将得到改善，总投资将超过两亿美金，这一举动表示清楚大数据正式上升到了战略高度。大数据将在各个领域和各个层面得到重视，推动其在世界各国的发展2. 1.3.2 国内研究现在状况 第十五届亚太知识发现与数据挖掘PAKDD会议于 2018 年 5 月在深圳举办，会议牵涉到人工智能、知识发现、数据挖掘等相很多方面，期间对于各个方面进行分析讨论3.2018 年 11 月，由 CSDN 独家承办的大数据技术会议在北京成功举行，包括百度、淘宝、新浪等业界知名专家介入，集 Hadoop、NoSQL、数据仓库、商业智能、数据分析与挖掘及与计算构架等热门话题，共同讨论大数据的抉择问题3. 2020 年，我们国家先后成立了大数据专家委员会和中国通信学会大数据专家委员会，它们对于推动我们国家大数据应用的研究和发展有着重要意义。同年 11月，召开了 Hadoop 与大数据技术大会，会议以大数据分享与开放技术为主题展开讨论，华而不实牵涉的到的内容有大数据的作用力和变换反对、大数据特性与数据态、大数据安全及隐私、关于大数据计算的基本形式、大数据基本范式、IT 构架面对大数据的挑战、怎样应用大数据及大数据相关产业链等问题。 为了更好的搜集大数据信息，展示大数据现在状况，促进大数据的研究和发展，大会还成立了大数据分享联盟3.2020 年 12 月中国大数据技术会议在北京举行，以 应用驱动的构架与技术 为主题，研究大数据技术与应用的深度结合，并以此作为产业界、科技界与部门密切合作的新平台来推动我们国家大数据的研究3. 当前，我们国家对于数据挖掘及相关算法的研究比拟注重，对各行各业，各个方面的实际应用及理论研究方面正在加强，在 IT 等新兴领域的发展较为快速，如华为、阿里巴巴、百度等大公司对相关技术的推动起到了很大的作用。其他行业包括金融业、电信业、网络相关行业、零售业、制造业、医疗保健、制药业及科学领域也都有所发展，其单位集中在部分高等院校、研究所和公司。 1.4 研究内容 基于研究研究目的，本论文的研究内容主要有一下几点见图 1.2： 第一，收集国内外关于大数据的理论和技术方式方法的相关资料，系统的了解大数据的起源、基本特征和大数据所带来的挑战和机遇，对于研究背景做出阐述。查阅大量相关研究资料，并做系统的分析整理，了解大数据的研究现在状况和关键性技术的发展情况，分析大数据所有待解决的问题，得出对课题研究有利用价值的信息。 第二，对于以上大数据所引起的管理变革中所牵涉的关键性技术进行技术需求分析，例如大数据存储，大数据安全和隐私保卫等，提出可用于解决这些问题的技术类型，如云计算技术的详细施行技术方案，对于这些技术做系统概述。 第三，深入理解杰里米。里夫金所突出的 第三次工业革命 的理论体系，结合管理科学和信息管理科学的理论来研究新工业革命下可行的新的管理形式，这是本课题的一个重点所在，从各种不同的管理角度入手分析大数据所带来的管理变革，系统的分析管理形式变革的详细表现。 第四，提出基于大数据处理的管理模的详细框架，对于框架类容进行详细分析，联合上面提出的可行性技术方案，解决实际中可能碰到的问题，对于框架进行层次上的设计，并详细分析。 第五，对于基于大数据处理的新管理形式下很关键性的信息处理进行框架设计，即结合大数据处理的相关技术构建信息处理平台的详细方案，借助云平台搭建系统构造，解决实际问题。 1.5 论文的组织构造 在论文构造布置上共分为五章，组织布置如下见图 1.3： 第一章，介绍了本论文的研究现在状况和研究背景，表示清楚了课题研究的意义和目的，在这里基础上说明了论文研究的内容，最后列出了论文的组织构造。 第二章，对于大数据进行讲明，分析其特点，然后对于大数据关键性技术中的海量数据存储和数据安全保卫进行分析。 第三章，具体了解大数据所带来的管理变革，根据对资料的收集和现实情况的分析，得出了大数据情况下的各方面管理的变革，以及进而所需面对的挑战。 第四章，根据对于 第三次工业革命 深层理解结合管理科学及信息管理科学，分析管理变革演进经过，将大数据时代的诸多管理变革与相关大数据连接起来，分别对其进行可行性技术的大概设计，将大数据处理落实在实处。从实际出发，对于整个形式进行研究分析。 第五章， 对于基于大数据处理的管理形式下信息处理模块进行设计，构架基于云平台的系统架构。