自然辩证法与大数据发展(共8页).docx

《自然辩证法与大数据发展(共8页).docx》由会员分享，可在线阅读，更多相关《自然辩证法与大数据发展(共8页).docx（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、精选优质文档-倾情为你奉上课 程 报 告课程名称： 自然辩证法概论 报告题目： 自然辩证法与大数据发展 学 院： 信息工程与自动化学院 专 业： 计算机技术 年 级： 15级 学生姓名： 王军峰 学生学号： 指导教师： 樊勇 日 期： 2016.4.25 教 务 处 制 自然辩证法与大数据发展摘 要19世纪马克思和恩格斯创立的自然辩证法，是人类自然观、自然科学方法论和科学技术观发展中的划时代变革；而随着云时代的来临，大数据(Big data)也吸引了越来越多的关注，这有可能成为一次改变人们生活、工作与思维的大变革。本文主要阐述了辩证法在大数据发展中所起的指导作用。首先介绍自然辩证法和大数据技术

2、；之后，结合自然辩证法的观点阐述了大数据的数理哲学基础，说明了大数据中体现的辩证法思想，用自然辩证法关于量变到质变的原理去指导大数据的研究并促进其健康发展；最后指出大数据的发展离不开辩证法的指导。关键词：自然辩证法；计算机学科；大数据引言自然辩证法研究的是人与自然界的关系，人们认识自然改造自然的一般规律，以及科学技术发生与发展的一般规律。在这里，我们主要谈的是在比较系统的学习了自然辩证法的课程后，结合我们自己的学科知识，对自然辩证法在学科学习中的理论意义和实践操作中的指导作用作了简要的说明。而作为计算机专业，计算机是一门非常重要的大的学科，也最能体现出科技方法论的指导作用。大数据作为计算机新兴

3、的行业，将带来新一轮的无法预测的技术革命，这次革命不仅表现在技术方法上，同时也体现在理论思想上的革命。在这里，我们希望通过对自然辩证法，特别是其中的科学技术方法论和大数据的飞速发展相结合，从一个侧面阐明了自然辩证法对自然科学学科学习的指导意义，进一步阐明哲学对一般科学的指导意义。1 自然辩证法的实践指导意义1.1 自然辩证法简介自然辩证法是马克思主义哲学体系中的一个重要分支学科，是关于自然界和科学技术发展的一般规律以及人类认识自然、改造自然的一般方法的科学理论体系。自然辩证法属于哲学门类，它研究的是自然界和科学技术发展的一般规律以及认识自然和改造自然的一般方法，而不是自然界发展的某一具体规律、

4、科学技术某一学科发展的特殊规律以及科学技术中具体学科的特殊研究方法。自然观是人们对自然界的总体看法和根本观点。它吸取了历史上自然观的精华，摒弃了旧自然观的糟粕。研究和认识自然界存在和演化的科学图景及自然界存在和演化的特征和规律，并研究和认识人与自然的辩证关系。科学技术观是关于科学技术及其发展的以及科学技术与社会的关系的总看法、总观点。马克思、恩格斯把科学和技术作为一种社会想象来考察，科学技术发展到现在发生了深刻的变化，其成果已广泛渗透到社会生产和生活的各个领域。科学技术方法论是人们对自己从事科学技术研究所用的认识和实践方法的哲学概括。科学技术方法论是关学技术研究中常用的一般方法的理论，是科学研

5、究和工程术研究一般方法的性质、特点、内在联系和发展变化的理体系。科学技术方法论对社会认识实践具有重要的自导义，唯物辩证主义的认识论和方法论系统阐述了我们在实中所用的方法、技术和逻辑过程。1.2 自然辩证法的实践指导意义恩格斯指出：“一个名族想要站在科学的最高峰，就一刻不能没有理论思维。”在科学技术迅猛发展的今天，哲学对科学技术的发展作用越来越大、越来越明显。我们要促进科学技术的发展，并通过他的发展来推动经济的发展、社会的进度，需要一个正确的哲学理论来指导我们进行研究，自然辩证法为我们提供这一整套理论，要求我们要用系统的观点来研究问题、解决问题。2 大数据简介2.1 大数据的概念与理解最近几年，

6、大数据一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。它已经上过纽约时报、华尔街日报的专栏封面，进入美国白宫官网的新闻，现身在国内一些互联网主题的讲座沙龙中，甚至被嗅觉灵敏的国金证券、国泰君安、银河证券等写进了投资推荐报告。 这个词很火，但是不了解的人可能感觉很虚，就像以前吵起来的很多名词，每个人都有自己不同的见解。维基百科是这样定义大数据的：大数据，或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息；在总数据量相同的情况下，与个别分析独立的小型数据集相

7、比，将各个小型数据集合并后进行分析可得出许多额外的信息和数据关系性，可用来察觉商业趋势、判定研究质量、避免疾病扩散、打击犯罪或测定实时交通路况等；这样的用途正是大型数据集盛行的原因。作为一个计算机专业的学生，我是这样理解大数据的：大数据是指从客观存在的全量超大规模、多源异构、实时变化的微观数据中，利用自然语言处理、信息检索、机器学习等技术抽取知识，转化为智慧的方法学；它既是一种技术，又是一种方法学。2.2 大数据的发展最早提出大数据概念的学科是天文学和基因学，这两个学科从诞生之日起就依赖于基于海量数据的分析方法。大数据可以说是计算机和互联网结合的产物，计算机实现了数据的数字化;互联网实现了数据

8、的网络化；两者结合才赋予了大数据生命力。随着互联网如同空气、水、电一样无处不在地渗透入我们的工作和生活，加上移动互联网、物联网、可穿戴联网设备的普及，各种结构化和非结构化的数据正在以指数级别的加速度产生。据说目前世界上90%的数据是互联网出现以后迅速产生的。现如今，许多企业的计算机系统已经被所有类型的信息所吞没，而这些企业也在努力通过大数据分析计划以便能够从海量大数据中分析出宝贵的商业见解，大数据技术应运而生。2.3 大数据的特点大数据一般指在10TB(1TB=1024GB)规模以上的数据量，大数据同过去的海量数据有所区别，其基本特征可以用4个V来总结(Vol-ume、Variety、Valu

9、e和Veloc-ity)，即： 第一，数据体量巨大，从TB级别，跃升到PB级别；第二，数据类型繁多，如网络日志、视频、图片、地理位置信息等等。第三，密度低，商业价值高，以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。第四，处理速度快，1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。2.4 大数据的相关技术大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模数据库、数据挖掘电网、互联网和可扩展的。2.5

10、大数据的处理具体的大数据处理方法确实有很多，整个处理流程可以概括为四步，分别是采集、导入和预处理、统计和分析，最后是数据挖掘。(1) 采集大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。(2) 导入虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集

11、群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。(3) 统计分析统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。(4) 数据挖掘与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是

12、在现有数据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。整个大数据处理的普遍流程至少应该满足这四个方面的步骤，才能算得上是一个比较完整的大数据处理2.6 大数据的影响大数据时代到来，认同这一判断的人越来越多。那么大数据意味着什么，他到底会改变什么？仅仅从技术角度回答，已不足以解惑。大数据只是宾语，离开了人这个主语，它再大也没有意义。我们需要把大数据放在人的背景中加以透视，理解它作为时代变革力量的所以然。(

13、1) 变革价值的力量未来十年，决定中国是不是有大智慧的核心意义标准，就是国民幸福。一体现在民生上，通过大数据让有意义的事变得澄明，看我们在人与人关系上，做得是否比以前更有意义；二体现在生态上，通过大数据让有意义的事变得澄明，看我们在天与人关系上，做得是否比以前更有意义。总之，让我们从前10年的意义混沌时代，进入未来10年意义澄明时代。(2) 变革经济的力量生产者是有价值的，消费者是价值的意义所在。有意义的才有价值，消费者不认同的，就卖不出去，就实现不了价值；只有消费者认同的，才卖得出去，才实现得了价值。大数据帮助我们从消费者这个源头识别意义，从而帮助生产者实现价值。这就是启动内需的原理。(3)

14、 变革组织的力量随着具有语义网特征的数据基础设施和数据资源发展起来，组织的变革就越来越显得不可避免。大数据将推动网络结构产生无组织的组织力量。最先反映这种结构特点的，是各种各样去中心化的Web2.0应用，如微信、微博等。 大数据之所以成为时代变革力量，在于它通过追随意义而获得智慧。3 大数据中的自然辩证法3.1 大数据的数理哲学基础人类的生存、发展方式可以归结为：获取信息，处理信息，而这就是智力。智力的进步，归根结底就是信息技术的进步。人类历史上经历过四次信息革命：语言的创造，文字的创造，电信通讯的创造，电子计算机与互联网的创造语言让人认识世界，建立相互关系；但其限制和缺点是无法突破个体的时空

15、界限。文字的出现实现了人类思想的远距离和世代相袭传递，人类联合因此扩大；它虽然突破了空间上的限制，但需要耗费太长的时间。电信通讯的创造突破了空间的限制，为电子计算机与互联网创造奠定了基础。 电子计算机与互联网的创造，是一次伟大而空前的大综合，其特点是：所有信息全部归结为数据表达形式0和1。只要有了0和1，加上逻辑关系，就可以构成全部世界。而世界本来就是这样构成的，已经出现的读脑机、脑电波指挥的电脑、智能机器人和人脑插入的芯片等等，都说明大脑的认知方式与世界事物同构。 大数据的出现促使我们认识到，人类的认识和实践，就是一部数据搜索、处理、挖掘和创新的历史。大数据方法揭示了因果关系是常规性的，终极

16、的关系应从事物之间的相关性、同构性中寻找。数据反映的是具有同构关系的两个序列的关系信息，一个对象的运动轨迹，通过另一个序列的载体编码来表达。认识者获得的不是对象本身的绝对映像，而是离开了对象，从对象中抽象出来的、关于对象运动轨迹的数据。从这一角度看，同构关系是大数据的数理哲学基础。3.2 由量变到质变现在，当数据的积累量足够大的时候到来时，我们不在关注数据的海量化生产和存储这种表面现象，我们更加要关注的是由数据量变带来的质变，这种质变表现在以下3个方面：(1) 数据思维大数据时代带给我们的是一种全新的思维方式，思维方式的改变在下一代成为社会生产中流砥柱的时候就会带来产业的颠覆性变革。在处理大数

17、据的时候，我们应该：(1) 分析全面的数据而非随机抽样;(2) 重视数据的复杂性，弱化精确性;(3) 关注数据的相关性，而非因果关系。历来的商业变革都是由思维方式的转变开始的，旧的经济体制和传统的商业理念面临新的商业思维逻辑的时候，如果大脑不能与时俱进，吸收并转变为顺应潮流的新思维，通过新思维重新组织企业组织的战略、结构、文化和各种策略，那么貌似强大的体魄反而变成了企业前进的累赘。这种新思维颠覆巨头的案例最先发生在信息技术的传统领域，然后渗透到传统的商业领域：黑莓(Blackberry)、摩托罗拉、诺基亚、柯达、雅虎等案例比比皆是。当然，这些企业的没落并不是因为没有数据思维，但他们都是被新互联

18、网思维淘汰的昔日巨人。数据思维是最新的思想，其影响力还没有发展到导致巨头轰然倒塌。但是，如果不给予足够的重视，下一波没落王国的名单中，可能就会有你。(2) 数据资产大数据时代，我们需要更加全面的数据来提高分析(预测)的准确度，因此我们就需要更多廉价、便捷、自动的数据生产工具。除了我们在互联网虚拟世界使用浏览器、软件有意或者无意留下的各种个人信息数据之外，我们正在用手机、智能手表、智能手环、智能项链等各种可穿戴数码产品生产数据;我们家里的路由器、电视机、空调、冰箱、饮水机、吸尘器、智能玩具等也开始越来越智能并且具备了联网功能，这些家用电器在更好地服务我们的同时，也在生产大量的数据;甚至我们出去逛

19、街，商户的路由器，运营商的WLAN和3G，无处不在的摄像头电子眼，百货大楼的自助屏幕，银行的ATM，加油站以及遍布各个便利店的刷卡机都在收集和生产数据。在互联网领域，我们喜欢说入口这个词，入口对应的直接意义是流量，而流量在互联网领域就意味着金钱，这种流量变现可能是广告，可能是游戏，也可能是电商。在大数据时代，入口这个词还有更深刻的意义，那就是数据生产的源头，用户通过某个APP或者硬件产品满足某种需求的同事，也会留下一系列相关的数据，这些数据的合理使用可以让拥有这部分数据的企业获得更大的商业利益!所以，在大数据时代，意识到数据也是资产的公司都已经开始在各个数据生产的源头进行布局，可能是一个解决刚

20、兴需求的WEB网站，也可能是一个单纯的工具APP，还可能是一个可穿戴的数码产品。(3) 数据变现有了数据资产，就要通过分析来挖掘资产的价值，然后变现为用户价值、股东价值甚至社会价值。大数据分析的核心目的就是预测，在海量数据的基础上，通过机器学习相关的各种技术和数学建模来预测事情发生的可能性并采取相应措施。预测股价、预测机票价格、预测流感等等。预测事情发生的可能性继续往下延伸，就可以通过适当的干预，来引导事情向着期望的方向发展。比如亚马逊和所有的电商一样，都会基于对用户的喜好及消费能力分析来推荐商品，引导用户提高消费金额; Google等互联网巨头也会通过各种技术手段来试图向不同的用户展现不同的

21、广告，并称之为精准营销，由此来提高点击率(公司收入)；网游公司也会在运营工程中通过玩家行为数据的分析来及时调整游戏关卡及计费点等设计。结语一些革命性的信息技术有助于人们了解“意识”的本质，用平常的心理从技术的角度认识“物质和意识的关系”将会使我们更好的立足于这个发展的潮流之中。大数据的发展并不是一帆风顺的，面对大数据时代的来临，有些人叹息抱怨，害怕数据量的剧增对于现有IT架构的冲击；有些人积极主动，探寻应对海量数据的应对与解决之道；还有一些人，则是顺势而为，抓住时代发展的商业机会，成为富有活力的创新者。对于我们身处这个行业的计算机人员来说，我们更应该成为后两种人，做好准备，迎接这个时代的来临！专心-专注-专业