2017年度公需科目大数据时代讲义.doc
《2017年度公需科目大数据时代讲义.doc》由会员分享,可在线阅读,更多相关《2017年度公需科目大数据时代讲义.doc(32页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、-大数据时代的互联网信息安全 讲 义第一章 认识大数据的基本常识 大数据时代悄然而至我们每天坐在电脑前在网上搜索、购物、发信息、发图片,用手机打电话、发彩信很多人都在不经意中制造和使用着数据。因此,产生的数据量正在以惊人的速度增长数据已经渗透到生活和工作的方方面面,成为时代的特征。大数据时代已经悄然来临。在这样的背景下,人们逐渐认识到大数据给自己带来的作用。这就让人们需要一个巨大容量的存储设备。所以,大数据产生的一个显著标志就是:为了满足市场的要求,数据存储设备的容量越来越多,处理数据的速度越来越快。数据暴涨的不仅是人数,更有因人数剧增而产生的一些技术性数据。事实上,今天的全球互联网巨头都已经
2、意识到大数据时代数据的重要意义。包括易安信、惠普、IBM、微软在内的全球IT巨头纷纷通过收购大数据相关厂商来实现技术整合,这足以看出它们对大数据的重视。 大数据产生的背景大数据之所以会进入主流大众的视野,我们分析得知,缘于三种趋势的合力。第一,随着互联网的发展,许多高端消费公司为了提供更先进的、更完美的服务,加大了对大数据的应用。可以看出,大家都在利用大数据产生利益,反过来,利用大数据的人就变成了催生大数据时代到来的力量之一。第二,人们在无形中纷纷为大数据投资。第三,商业用户和其他以数据为核心的消费产品,也开始期待以一种同样便捷的方式来获得大数据的使用体验。所以,商业用户也成为了推动大数据发展
3、的动力之一。一切都可以数据化凡事皆可量化。只要我们能够找到观察问题的方式,并从一个新的角度去衡量它,不管从这个新的角度衡量它到底精准度如何,只要它能我们知道得比以前更多,那么它就是一种可行的量化方法。实际上,对那些看似不可量化的东西,人们总能找到相对简单的量化方法。在大数据时代,数据在以我们无法想象的速度增长着,有些问题是无法实现非常精确的计算的,而费米分解就为我们提供了很好的思路。我们要避免陷入不确定性及“无法”分析的泥潭,为了避免被显而易见的不确定性压倒,应该从知道的事情开始提问。评测我们已了解的事物的数量,是量化那些似乎根本不可量化的事物的重要步骤。在未来的世界里,一切都可以数据化。一切
4、都保存在互联网的数据库中,当你有一天需要的时候,数据库服务商能够将这些数据调出来给你,对其进行数字化。统计学:解析大数据的工具统计学的概念最早出现在古希腊的亚里士多德时期,最初的用途是计算各个城邦王国的经济和居民状况等社会经济问题。现在,统计学被广泛应用于国家管理、企业运营、科学研究各个不同领域。以统计学在社会中的作用来看,其发展经历了三个阶段。1.城邦政情古希腊亚里士多德撰写的“城邦政情”是最早应用统计学方法的记录。2.政治算术政治算术的特点是,统计方法与数学计算、推理方法开始结合,分析社会经济问题的方式,更加注重运用定量分析方法。3.大数据时代随着计算机和现代检测技术的发展,提取数据越来越
5、容易。大数据用于形容那些数量庞大到无法用人工,甚至用简单的计算机软件进行处理的海量数据。检测技术还可以越来越成为方便地统计温度、压力、温度、亮度、粉尘颗粒等信息,从而积累大量的数据,用于分析人们在不同条件下的行为变化。大数据现在也成为另一种概念,也就是用大量的数据信息进行统计,从看似没有关联的事物中获取有价值的规律。大数据时代,我们离不开统计学,否则,大数据时代的建立和数据的实际运用就是一场空谈。数据大小怎么算 人们发现,大数据的主要特点为数据量大(Volume)、数据类别复杂(Variety)、数据处理速度快(Velocity)以及数据真实性高(Veracity),合起来被称为4V。大数据中
6、的数据量非常大,而且这庞大的数据中,不仅仅包括结构化数据,如数字、符号等数据,还包括非结构化数据,如文本、图像、声音、视频等数据。第二章 数据的收集管理和使用收据数据不是最要紧的大数据时代,不管你用与不用,数据就零零碎碎地散放在那里。但是,要想使用大数据,首先要做的是收集大量数据,但收集数据并非仅是把收集过来的数据放到硬盘里那么简单,更重要的是对数据进行分类、存放及管理。数据的价值在于使用,不是存储。人们发现,大数据的真正价值是将数据用于形成主动收集数据的良性循环中,以带动更多的数据进入自循环中,并应用于各个行业。“活”做数据收集所谓“活”做数据收集,就是指用户不要局限于只收集自己用户产生的数
7、据,还要把“别人”的数据收集过来进行综合分析。前面提到过,数据收集,一方面是“自己用”用其他外面的数据来增加自己手上数据的精准度,为我所用;而另一方面是“给别人用”把我的数据贡献给很需要我的数据的人,从而提高他的数据的精准度。做大数据收集,有时候需要更多的灵活变通。“活”做数据收集,就是要跳出既定思维的框架,从相关联的行业和业务中去收集能够为现在所用的数据,找到能够更好地佐证企业现有业务决策和发展的数据。而“活”做数据收集的一大好处,就是能够规避现有数据框架的弊端,更好地反映用户的实际需求和市场的实际情况。“活”看数据指标“活”看数据指标就是指企业不要局限于已有的数据框架,而应该结合用户需求的
8、不同场景来灵活应用收集到的“活”数据。我们不仅要灵活第收集数据,而且还要注意到,数据收集只是第一步,如果不让数据“活”起来,仅仅是把收集的数据简单地堆砌在一起,是没有意义的。“活”用数据,就是你是否看出这个数据本身的局限是什么。一方面,是数据为用户体验改善了什么;另一方面,企业在使用数据时,对活数据的运用解决了什么问题,或者创造了什么机会,要牢牢记住,活用数据很重要。“活”的数据是活用数据的精髓所在。企业能够基于场景和相关的“活”数据将数据应用发挥出最大的价值,那么新的商业模式的开创也就会在不远的将来成为可能。数据的存放与管理就数据的收集而言,最重要的不是看我们收集了什么数据,而是要思考这些数
9、据如何使用以及搜集这些数据到底能够起到社么样的作用。用一句话来说,就是收集数据不是目的,收集起来的数据如何产生价值才是最终的目标。不贵哦,如何收集在未来具有价值的数据的确是一个难题,当中就需要一些经验的判断了。数据存储下来以后,数量和广度都很大,就需要对之进行完善的管理。数据管理的内容包括很多方面,比如,数据的来源、如何让数据不丢失、如何保护数据的安全、如何让数据准确和稳定以及如何更好地运用数据,这些都是数据运营中的管。但是“管”并没有一个标准可循。大数据管理到底是怎么做?目前还没有准确答案。数据管理,是大数据行业的脏活、苦活和累活,是最悲催和最难解决的事情。如果没这些背景做铺垫,人们对很多公
10、司在做的所谓的大数据的运营就持有怀疑态度了。注意数据分类的维度在观察与分析数据中,我们要从中抽象出来,更好地将数据进行归类和整理,从而更加清晰地识别出数据的价值。权威的数据公司从数据分类的角度讲数据分为以下四种。1.按照是够可可以再生的标准来看,可以分为不可再生数据和可再生数据。不可再生数据通常就是最原始的数据。可再生数据就是通过其他数据可以生成的数据,原则上,指标类数据的衍生数据都是可再生的只要原始的不可再生数据还在,就可以通过重新运算来获得。对于不可再生的数据而言,已有的数据要严格保护,想要但是是还没有的数据就要及早收集。对于可再生数据而言,要及早做好业务的预判和数据处理的规划,这样一来,
11、数据在需要的时候就能够快速地获得应用,人们把这一数据称为数据中间层。2.按照数据所处的存储层次来看,可以分为基础层、中间层和应用层。基础层通常与原始数据基本一致,也就是仅仅存储最基本的数据,不做汇总,以尽量避免失真,从而用作其他数据研究的基础;中间层是基于基础层加工的数据,通常被认为是数据仓库层,这些数据会根据不同的业务需求,按照不同的主体来进行存放;应用层则是针对具体数据的应用,比如作为解决具体问题的数据分析和数据挖掘的应用层的数据。在存储层这个层面上,最大的问题就是数据的冗余和管理的混乱。尤其是对于一些拥有海量数据的大公司而言,数据的冗余问题尤为严重,由此造成了大量的浪费。3.按照数据业务
12、归属来看,可以分为各个数据主体对于数据的分类则主要根据业务特点进行归类,并没有一个特别的硬性规定。总体的原则就是让数据的存储空间更少,分析及挖掘的过程更简单、快捷。4.按照是否隐私来区分,可以分为隐私数据和非隐私数据顾名思义,隐私数据就是需要有严格的保密措施来保护的数据,否则会对用户的隐私造成威胁。用户的交易记录属于隐私类数据,对于一家有着良好数据管理机制的公司而言,通常的管理方法是对数据的隐私级别进行分层,数据从安全的角度可以进行两种类型、四个层次的数据分层。两种类型就是企业级别和用户级别。企业级别的数据包括交易额、利润、某大型活动的成交额等;个人级别的素具就像是刚才提到的身份证号码、密码、
13、用户名、手机号码等。四个层次是对数据进行分类,分别由公开数据、内部数据、保密数据、机密数据。如何应用存储的数据从使用数据的角度来说,电商行业就有很多值得其他行业借鉴的地方,可以让数据能够真正地使用起来,并且产生实际的商业价值。建立标签,简单地说就是通过数据的分析来对用户的偏好进行描述,建立标签通常有以下三种方法。第一是通过业务规则结合数据分析来建立标签,这一类型的标签和业务人员的经验紧密结合。第二是通过模型来建立标签。第三是通过模型的组合来生成新的标签。标签的应用是指在电商网站的首页或者具体的类目网页,进行标签的使用。标签的使用,最核心的就是数据中间层和前台业务层的对接,并且能够让运营人员非常
14、方便地进行商品的设置。这里涉及两个核心点:一是中间层和业务层的对接;二是中间层的易用性。对于数据从业者来说,让数据变得超级简单是一个非常重要的使命,所以界面的设计和后台的管理等内容都非常重要,否则可能会失去标签系统的价值。第三章 看看大数据的价值在哪里数据中蕴藏着宝藏在大数据时代,我们都认为信息是个好东西,但是在大数据时代,信息爆发式增长,给存储、管理和分析信息的人带来巨大的压力。在大数据时代,无论是个人、企业还是政府,都面临着如何管理和利用信息的难题。与此同时,随着数据数量的汇集,数据的管理和分析工作变得格外很总要。数据的价值正在成为企业成长的重要动力,它不仅提供了更多的商业机会,也是企业运
15、运营情况及财务状况的中药分析依据。数据的分类估值在大数据时代,每做一件事情我们都要知道确切的目的是什么。从自我的角度考虑,当我们给数据分类之后,就能更容易理解大数据存在的价值。从数据角度来说,估值就是通过不同的维度去思考数据的价值。只有基于对数据的分类和对数据价值的不同人事,才能去对数据做筛选。数据座位一种资产,不同数据含金量必然不同,自然就会产生不同的价值。对于数据而言,不同的场景也会产生不同的价值,有些数据可能会变成一个运营指标,能够让我们更好地对业务进行决策。数据作为一种资产,不同的数据含金量必然不同,自然会产生不同的价值。而且,就同一组数据而言,在不同的环境下甚至会呈现出不同的价值。认
16、清数据的五大价值1.识别与串联价值识别的价值,肯定是唯一能够锁定目标的数据。2.描述价值用来描述数据最好的一种方式就是分析数据的框架,在复杂的数据中抽象出核心的点,让使用者能够在极短的时间里看到经营状况,同样,又能让使用者看到更多他想看的细节数据。分析数据的框架是对一个数据分析师的基本要求基于对数据的理解,对数据进行分类和有逻辑的展示。通常,优秀的数据分析师都具备非常好的数据框架分析能力。3.时间价值数据的时间价值是大数据运用最直接的体现,通过对时间的分析,能够很好地归纳出一个用户对于一种场景的偏好。4.预测价值数据的预测价值分成两个部分。第一个部分是对于某一个单品进行预测。第二部分是数据对于
17、经营状况的预测,即对公司的正题运营进行预测,并能够用预测的结论指导公司的经营策略。5.产出数据的价值从数据的价值来说,很多数据本身并没有特别的含义,但是在几个数据组合在一起活着对部分数据进行整合之后就产生了新的价值。第四章 大数据时代的管理者顶尖企业的数据管理模式企业的规模越来越大,管理者页越来越无法仅凭直觉和经验进行管理与决策。所以,我们需要用数据,而非用感觉来管理,因为人的感觉很可能出现偏差,一定要运用数据,运用数量比的方法观察去也运营、进行市场预测,以及对人员进行有效的管理和评估。只有这样,我们才能够把握未来的发展机遇。管理者必备的刷数据运用能力1.用数据明确方向目标可以理解为“目的”的
18、数量化标准。目标是员工的努力方向。2.用数量化复制成功3.用数量化思维打造执行力第五章 大数据的管理工具数据下的PDCA管理循环PDCA循环是管理学中著名的理论模型,由计划(plan)、执行(do)、检查(check)和改进(action)四个步骤构成。1.计划2.执行执行就是具体运作,实现计划中的内容。3.检查对计划执行情况进行及时的检查和总结,尤其是要用数据进行描述。4.改进对检查的结果进行处理,认可或者否定。用数据预测未来并规避风险现代企业管理要求我们必须在东台变化中作出决策。需要根据形势变化进行及时的调整,因此,对未来即将发生的情况掌握越多,就越能够提前做好防范。数据在其中往往发挥着不
19、可忽视的作用。运用数据预测用于推动销售人员了解自己的业务,判断客户对自己的接受程度,找出距离目标的差距,提前采取行动。数据预测对于企业的运营有着非常重要的意义。一方面,企业可以根据预测有计划第安排运营;另一方面,也可以推动员工清晰地梳理自己的业务,树立良好的工作意识,预测包括很多方面,比如,未来的生产能力与原料供应是都充分、人员状况、销售状况等等。在绩效管理中引入商务智能商务智能本质上是关于把组织的业务数据转化成容易理解、价值较高的信息,并将正确的信息在正确的时间以正确的方式分配给正确的人。商务智能一般由数据仓库、数据查询和报表、数据挖掘、在线分析、预算和预测等部分组成。换言之,商务智能是站在
20、今天的角度回顾过去、展望未来,将过去的信息转变成今天的知识进而转变成明天的财富。商务智能将给企业带来以下好处。1. 信息共享2. 灵活性和适应性3. 及时有效4. 控制企业增长5. 创造新的增长6. 降低成本第六章 大数据下的商业运行将信息变成一种企业竞争优势随着计算机技术的发展,人民对所谓的“信息技术”的关注往往会偏重于其中的“技术”部分。我们看到,在信息技术刚刚兴起的时候,那些较早应用信息技术的企业能更快地发展并超越他人,从事相关技术开发的企业更成为当下最强大的实体。有人断言,过去的20年是信息技术的时代,接下来20年的主题仍会是信息技术。企业能够更快地处理数据,而公共数据资源和内部数据资
21、源一体化将带来独特的洞见,使他们能够远远超越竞争对手。响应潮流,企业缑剑大数据战略过去几年,大数据一直致力于以较低的成本采集、存储和分析数据,而未来几年,数据的访问将会加快。成功运用大数据的企业在大数据世界中添加了一个更为重要的因素:大数据所有者。养企业一定要学会“养数据”“用数据”更多的是一种方法论,而“养数据”则是一种数据战略,是基于深入业务理解的更高层次的商业决策。“养数据”还有一个重要的含义,就是要决定收集哪些数据。“养数据”通常有两类:一类是网站自身免疫的数据,要用户主动提供的;另一类是公司拥有的,但没有进行收集的数据。若要收集公司没有的数据,在“养数据”时通常需要花费更多的精力和技
22、巧。用数据更多的是一种方法论,而“养数据”则是一种数据战略,是基于深入业务理解的更高层次的商业决策,数据养的时间越早,积累的数据也就越多。养数据同样也是一种管理和商业艺术,在养之前可能谁也不确定最终会出现什么后果,但一旦养成,数据就会产生非常大的商业价值。第七章 商业典范的大数据应用数据改写引擎巨头商业模式运算资源为企业开展大数据行动铺平了道路。当然,企业依然可以继续投资监理以私有云为形式的自有基础设施,而且很多企业还会这样做。但是如果企业想尽快利用额外的、可扩展的运算资源,他们还可以方便、快捷地在亚马逊系统上使用多个服务器。通过数据建立创新体系创新是企业发展的核心竞争力。但是,如果没有精确的
23、数据作为指导,创新就无的放矢。运用科学的工具进行创新的代表是“科学管理之父”泰勒。泰勒摸索了一整套制定流程的方法:1. 进行动作分析,详细分析劳动过程中公认的动作状况。2. 对生产过程进行分析,主要对工艺路线和切削用量进行分析。3. 对不同劳动条件、劳动环境和劳动过程的工作情况,也进行了初步的科学研究,发现好的劳动换可以提升劳动效率,并对此提出了一些合理的改进建议。4. 以新的作业方法和作业标准培训新工人,在他们从刚参加工作时就第八章 了解数据库营销数据库营销的特点所谓数据库营销,就是通过手机和积累会员(用户或者消费者)信息,经过分析筛选后有针对性地使用电子邮件、短信、电话、信件等方式进行客户
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 年度 科目 数据 时代 时期 讲义
限制150内