2022年大数据应用与实践 .pdf

《2022年大数据应用与实践 .pdf》由会员分享，可在线阅读，更多相关《2022年大数据应用与实践 .pdf（11页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1 大数据应用与实践（8）胡经国本文根据有关文献和资料编写而成，供读者参考。本文在篇章结构、内容和文字上对原文献作了一些修改和补充，并且添加了一些小标题，特此说明。十七、确保大数据业务成功的七个步骤1、关于大数据的三个重要事实对于大数据有以下三个重要的事实。、大数据并不是新趋势自 20 世纪 90 年代，亚马逊、微软和谷歌就开始进行大数据工作。几十年来，很多公司都一直在挖掘数据。可能由于当时只有资金雄厚的大型公司，才能够进行大数据研究；但是大数据确实早已存在。现在，基于廉价的计算和存储能力以及新工具和技术，几乎每个人都可以使用高级数据挖掘技术和算法了。很多人认为，大数据只是商业智能（BI）的新

2、名称。虽然这两者有相似之处，但是大数据已超出了BI 的范畴。、大数据的“大”是相对的现在，各行业各组织确实正面对创纪录水平的数据增长。据IDC 称，我们每秒创造超过 58 TB 数据。到 2020年，将拥有超过35ZB 的存储数据。然而，大数据并不一定是巨大的；大数据并不在于其规模，而在于需要如何处理它。拥有 100 TB 数据的小公司可能也存在大数据问题。因为，他们需要提取、分析数据，并且据以作出决策。、大数据处理的数据的定义是广泛的它可以包含结构化和非结构化数据。对于一些公司来说，最重要的是大数据的元数据，或者是关于数据的数据。麦肯锡将大数据定义为：“其规模超出传统数据库软件的捕捉、存储、

3、管理和分析能力的数据集”。然而，这些数据集需要大量运行在数百甚至数千台服务器（云）中的并行软件（系统）来处理。2、大数据业务成功必须遵循的七个步骤以下是确保大数据业务成功必须遵循的七个步骤。、承认存在问题这往往是最难的一个步骤。以前，我们拒绝承认我们的网络已不再受防火墙和代理服务器设置的保护；而我们不得不为员工远程访问开放基础设施并拥名师资料总结-精品资料欢迎下载-名师精心整理-第 1 页，共 11 页 -2 抱互联网。对于大数据，IT 领导者需要评估其数据情况：、你的数据集是否让你不堪重负？、你不知道所有数据的位置？、你（或者企业领导者）没有从你的数据中得到所需的信息？、企业领导没有基于数据

4、来做决策？、有可能提高 IT 在企业政策和战略决策中的相关性？如果你像大多数公司一样，部分或者所有这些问题的答案都是肯定的，那么是时候控制你的数据，并从中挖掘出情报以提供给领导层做决策。、认识到大数据带来的大机会我们总是被告知，要紧密联系业务。“业务技术”这一说法已存在多年；但是我们总是很难看到最新的软件和流程，如何直接影响收入或者全球经济增长。而大数据却可以。为什么？因为，信息就是力量。企业领导需要从数据中挖掘出信息，来帮助企业竞争和发展。员工、客户和市场产生的大量数据，让整个企业（从销售到营销部门）都不堪重负。而大数据能够为你提供简洁而且实时的价值信息，帮助增加收入。、制定大数据计划与任何

5、计划一样，你开始就应该想到结果。企业需要知道什么？他们需要回答的问题是什么？在你开始使用Hadoop 前，解决这些问题，并且签订联合协议。然后，按照下列步骤操作（每个步骤可能需要数周或者数月）：、隔离属于大数据的部分数据。、分离产品大数据和公司大数据。例如，人力资源分析需要的员工数据与电子商务平台的客户或产品搜索数据，需要分离。、认识和了解你的数据的波峰和波谷。、了解哪些技术允许实时（或接近实时）大数据处理。、确定关键的解决方案/供应商。、从小事做起，评估与发展先做一个项目。让你可以快速展示成果和 ROI。然后，转移到下一个大数据项目。、继续分析、调整和输入大数据是灵活的，需要随着数据、情报和

6、企业要求的变化进行调整。、利用分布式系统大数据要求我们，转换对系统和基础设施的想法。正如虚拟化从根本上改变了我们利用服务器和应用程序的方式，分布式系统和处理使我们能够管理大数据。因为，分布式架构允许我们将问题分解成很多小任务；然后将这些任务分配到多个系统。好消息是，我们拥有越来越多的架构框架可以利用，包括：Cassandra、Hadoop、VMware、Red Hat 等。分布式系统并不新鲜，但是大数据名师资料总结-精品资料欢迎下载-名师精心整理-第 2 页，共 11 页 -3 将其提升到全新的水平。分布式方法包括：、多租户架构；、分布式数据库；、虚拟化；、多线程；、多核心 CPU；、并行处理

7、；、分布式文件系统；、分布式负载均衡；、RAID 算法。、从分布式到分散式、采用分散式方法的必要性对大多数公司来说，这是真正的范式转变。这也是大数据和云计算结合的地方。鉴于互联网是世界上最大的分布式和分散的系统，我们应该更加充分地利用互联网来实现大数据。我们很喜欢分布式实例或者计算处理。但是分散式往往有种失去控制的感觉。这有必要吗？对于大数据，采用分散式做法是必要的。因为，由于过度和孤立的服务，所有未使用的实例和存储容量都将被浪费。更重要的是，单靠分布式组件，无法让我们跟上数据增长的步伐。IDC 估计，到 2020 年，产生的数据和数据中心容量之间的差距，将达到60%。然而，部分原因还在于没有

8、充分利用已经拥有的存储容量。Gartner（高德纳咨询公司）估计，大多数计算机、服务器和网络，只运行了30%的容量，以准备好应对峰值或者未来增长。虽然我们可能永远不会以90%或者 100%的容量运行，但是我们可以更好地利用现有的容量，节省数百万美元，提高现有基础设施的总体拥有成本（TCO）。、分散式方法的主要特点没有中央瓶颈；大量的能力；有机的需求推动容量增长；充分利用现有的基础设施和边缘设备；信息共享；假定每个人/每一个节点是“不可信任的”；地理分布：所有权和参与、成本、管理开销、风险。、分散式方法的例子分散式方法存在很多很好的例子。其中，最知名的就是开源运动。分散式方法还有两个新例子，将其

9、定义为分散式云系统：CloudStack和 OpenStack。我们仍然位于分散式方法的早期阶段。但是随着数据继续增长，这将是未来几年的重要趋势。链接：CloudStackCloudStack 是一个开源的具有高可用性及扩展性的云计算平台，同时也是一个开源云计算解决方案。它可以加速高伸缩性的公共云和私有云（IaaS）的部署、管理、配置。使用CloudStack 作为基础，数据中心操作者可以快速方便地通过现存基础架构创建云服务。链接：OpenStackOpenStack是一个开源的云计算管理平台项目，是一系列软件开源项目的组名师资料总结-精品资料欢迎下载-名师精心整理-第 3 页，共 11 页

10、-4 合。由 NASA(美国国家航空航天局)和 Rackspace合作研发并发起，以Apache许可证（Apache 软件基金会发布的一个自由软件许可证）授权的开源代码项目。OpenStack为私有云和公有云提供可扩展的弹性的云计算服务。项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。、雇佣/培养合适的人才和技能云计算并不意味着有更少的IT 工作，但是云计算和大数据的出现的确意味着我们需要发展我们的技能和培养人才。在大数据世界，数据库管理员等现有岗位变得更加重要。你还需要培养和招聘的其他职位包括：数据科学家、架构师、随机理论师（算法）、业务分析师、UX/UI（平面设计/交

11、互设计）专家。其中一些职位似乎是合乎逻辑的，但是对于业务分析师和UX/UI 专家，传统上不属于 IT 部门，你可以将这些人员安排在生产管理中，而在大数据解决方案中，他们需要携手开发和运营团队。这是因为，你不能直接将大数据信息交给业务方面，使用图表和易于理解的分析是关键。此外，如果你还没有整合开发/运营团队来更好地管理云计算部署，那么现在可以这样做了。这两个团队必须携手合作来实现任何云计算或者大数据战略。、通过大数据来利用数据正如 IT 职位可能开始更倾向于业务，IT 需要改变其度量的方式。你的团队中的每个人都应该热衷于追踪和记录关键性能指标（KPI）；这些应该符合业务指标，而不只是及时发布和交

12、付高质量代码。技术团队的每个人都应该有明确的指标，并且努力寻找新方法来提高指标结果。链接：KPIKPI（Key Performance Indicator，关键绩效指标）是通过对组织内部流程的输入端、输出端的关键参数进行设置、取样、计算、分析，衡量流程绩效的一种目标式量化管理指标，是把企业的战略目标分解为可操作的工作目标的工具，是企业绩效管理的基础。KPI 可以是部门主管明确部门的主要责任，并且以此为基础明确部门人员的业绩衡量指标。建立明确的切实可行的KPI 体系是做好绩效管理的关键。关键绩效指标是用于衡量工作人员的工作绩效表现的量化指标，是绩效计划的重要组成部分。十八、大数据在安防领域的应用

13、大数据在安防领域的应用已全面展开，安防已进入大数据时代。如何利用音视频分析技术，从这些数据中提取有效信息，找寻到对应的线索，是大数据挖掘的价值所在。1、安防行业大数据应用现状在大数据时代，作为海量数据的主要来源之一，安防行业相关应用产生了大量的信息数据。特别是，在当前大集成、大联网的环境下，数据量呈现出了名师资料总结-精品资料欢迎下载-名师精心整理-第 4 页，共 11 页 -5 飞速增长的趋势。海量数据也带来了数据整合、数据存储、数据分析应用等一系列问题。通过寻求解决这些问题的方法，也进一步促进了大数据技术和产品在安防行业的应用。当前，安防行业本身的数据资源主要还是视频资源。基于视频资源去比

14、对、去关联、去拓展；而视频大数据处理主要还聚焦在数据的体量上。因此，无论是在数据分析应用的深度和广度上，还是在数据价值的挖掘上，都无法满足精确防控、立体化防控的要求，无法更好的服务公共社会安全。2、安防行业大数据主要应用方向安防领域大数据应用目前主要有以下两个方向：一是智能交通，二是公共安全。、智能交通领域在智能交通领域，针对交通行业的海量数据处理需求，智能交通管理系统可以在海量数据、恶劣网络环境和复杂业务处理情况下，实现大量图片、车辆数据、视频数据的实时网络传输和快速持久化存储；同时对任意节点图像进行显示，对任意节点视频进行流畅播放，实时进行比对报警，快速进行多条件检索；并且将各类多媒体数据

15、和车辆数据合二为一。该系统可以实现对城市道路交通中异常行为的智能识别和自动报警等，从而减轻了交管监控人员的工作负担，提高了监测的准确度，使得交通管理工作更加高效。、公共安全领域在公共安全领域，应用大数据辅助公安人员快速开展治安防控、警情研判及指挥决策，发掘公安信息资源价值。例如，犯罪嫌疑人追查，可通过输入嫌疑人照片进行人脸特征识别，并且在所有视频中寻找该人脸。犯罪嫌疑车辆追查，可输入嫌疑车的照片或颜色、车型等相关特征，在所有视频中寻找。人车物的轨迹分析，即在所有视频中，按照特征查找指定的人、车、物，并绘制其时空轨迹。3、安防大数据应用难点、数据整合问题不同来源的大数据分别存储于相互独立的系统中

16、。将这些数据集中于一个统一的平台，是安防大数据实施的基础性工作。但是，行业、部门壁垒是最大障碍。即使只是公安内部的视频数据，各省、地市也互不相通，想采集集中也不是一件容易的事。即使集中后，如何找到这些不同类型数据之间的关系，从而挖掘出有价值的数据，也是一个难点。、数据挖掘及分析算法的成熟度问题对于安防数据中最重要的视频数据，对其进行智能视频分析和挖掘是很困难的事情。目前，除了车牌识别、人数统计等算法较为成熟以外，对视频进行事件分析、人脸识别、摘要等技术，都还没达到大规模的商用水平。这也极大名师资料总结-精品资料欢迎下载-名师精心整理-第 5 页，共 11 页 -6 地制约了安防大数据的应用。、

17、时效性问题安防大数据的目的之一就是要解决现有安防系统内以事后查看、分析为主的数据（特别是视频数据）应用形式；还要增加以事前预警、实时处理。这对大数据处理技术的实时性要求很高。这种时效性就决定了视频安防大数据的高运算量、高传输带宽的需求。、信息安全与用户隐私问题安防行业，特别是公安行业，对数据的安全性要求非常高。这也是造成数据的区域隔离的重要原因。同时，在利用安防大数据上如何保护用户的隐私，也是一个非常重要的课题。目前，主要采用数据脱敏的办法。当务之急是要给安防数据的安全级别给予明确的分级定义；不能一味强调安全而各自封闭，否则必将导致安防大数据分析成为无源之水。、视频图像数据挖掘的难点、识别什么

18、特征？一副图像或者一段视频，可以用无数角度的标签属性去描述，什么才是我们需要的属性特征？这与我们需要达到的目的密切相关。这就需要公安图侦人才来归纳总结。、识别算法开发难由于是平面图像，因而特征的识别主要原理是将图像区域中的轮廓、颜色、纹理，与特征库进行比较。但是，在同一个物体在不同监控角度的摄像头中显示出的轮廓都不相同，因此无法做到准确识别。、大规模数据处理难即使做到了识别算法，但是如果要通过数据处理服务器的形式，对大规模的视频进行结构化处理，这个建造成本巨大；其能源的耗费在中国这个夏季需要限电的情况下也不切实际。、警务服务平台大数据难点、如何将不同报警运营服务商之间的数据整合在一起？、中国多

19、数报警运营网络尚未完成规模化建设。用户规模大、跨省市运营的网络很少。每家报警运营服务商的警情并发量不大，而且报警运营服务商之间普遍存在信息孤岛，很难通过大数据分析实现数据的增值。、大数据挖掘是一个长期过程，需要企业不断尝试，挖掘出有意义的信息或规律，并将结果拿到市场上检验。、大数据自身也面临挑战。数据的运用仍面临多种技术难关的束缚，大数据方面的人才比较缺乏，大数据的产品尚不成熟等问题，都制约着大数据在报警运营服务领域的应用。名师资料总结-精品资料欢迎下载-名师精心整理-第 6 页，共 11 页 -7 十九、节能环保之大数据应用案例下面，从桑德环卫云、阿里云蔚蓝地图、Vestas 风电大数据三个

20、大数据应用案例，以应用背景、数据源、图说场景、实现途径、应用效果五个视角，去观察大数据在节能环保领域的应用状况。1、桑德环卫云点亮智慧城市生活、应用背景绿水青山就是金山银山。儿时的绿水青山在许多地方已成为昨天。如何重新拥有，清洁环境首当其冲。大数据、物联网、云计算等新一代技术的出现，无疑为环境清洁插上了一双隐形的翅膀，为解决环境问题提供了一剂良药。“桑德环境”率先将自身环卫业务与互联网、大数据紧密结合在一起。于2015年 9 月 11日发布了环卫云平台。该平台以传统环卫服务为依托，利用互联网以及云计算等相关科技，构建以互联网环卫运营为核心的产业链，形成基层环卫运营、城市生活垃圾分类、再生资源回

21、收、城乡最后一公里物流、环卫运营广告、环境大数据服务以及互联网增值服务融为一体的互联网环卫产业群。该环卫云平台的应用也为智慧城市的建设添砖加瓦、开辟道路。、数据源、环卫工人联网数据环卫工人基本信息、环卫工人分布数据、环卫工人工作数据等。、环卫设施联网形成的物联网数据环卫桶、环卫亭等环卫设施分布数据；环卫桶、环卫亭等环卫设施使用情况数据等。、环卫车联网数据GPS信息、道路信息、运输信息等。、图说场景（见下图）名师资料总结-精品资料欢迎下载-名师精心整理-第 7 页，共 11 页 -8、实现路径桑德环卫云由采集层、网络层、支撑层、应用层组成。在获取各种基础环卫数据的基础上，通过支撑层进行大数据分析

22、、安全管理、内容管理；最终在应用层进行环卫运营管理、再生资源回收、快递物流、广告业务等服务。、应用效果、人员、车辆合理调配通过环卫云平台，对环卫工人、巡查人员、车辆的作业线路和作业时间进行合理规划，以此来实时监管、调配环卫人员和车辆。、回收订单科学管理环卫云回收业务可实现对回收订单和区域的规划，对回收订单以及库存的管理提供成本分析、盈利预测、智能决策等功能。、环卫广告精准投放环卫云广告业务管理平台，能够实现对环卫车辆、公厕、环卫工人服装、垃圾亭、环卫垃圾桶广告的管理、投放和分析统计，能够很好地为众多商家、公司共同拓展利润空间。、物流网络便利化环卫云最大的优势是基于环卫工作的智能化、互联网化、机

23、械化，环卫人员还可以完成快递的上门收取工作，形成覆盖城乡“最后一公里”的物流网络。、环卫系统数据共享环卫云利用大数据、物联网等相关技术，可连接环卫工作所涉及的各类环卫设备、环卫作业人员、数字城管系统等，实现对环卫设备、环卫管理人员全过程的实时监管以及数据共享，形成一个信息互联互通的物联网络。2、“蔚蓝地图”成为环境治理风向标名师资料总结-精品资料欢迎下载-名师精心整理-第 8 页，共 11 页 -9、应用背景“污染地图”是阿里云于2014 年 6 月推出的环境监测产品。它可实时监测190 个城市以及3000 家企业的污染数据。2015 年，其升级后更名为“蔚蓝地图”；新增了空气质量预报、霾预警

24、，以及水质、水污染源实时监控数据等功能。它旨在让公众参与环境治理，还世界一片碧海蓝天。、数据源、空气质量数据主要是指废气排放数据，包括污染物浓度、标准限值、超标倍数、排气量等。其中，废气主要包括二氧化硫、氢氧化物、碳氧化物等）。、水资源数据水资源分布信息、水源质量检测数据等。、地理数据城市信息、企业分布数据等。、图说场景、实现路径蔚蓝地图 APP，在调用地理数据库及水资源数据库的基础上，实时监测企业的废气排放数据，并对多省市废气污染源实时排放数据进行汇总；借助阿里云平台进行复杂的数据运算；最终在蔚蓝地图APP 上展示城市污染指数排名、企业废气排放与超标信息、雾霾预警、水资源质量检测信息。、应用

25、效果、污染源信息公开名师资料总结-精品资料欢迎下载-名师精心整理-第 9 页，共 11 页 -10 实时监测污染源信息，并在APP 上更新展示，便于群众及相关部门及时掌握污染源信息，督促相关部门第一时间进行治理。、空气质量预报通过废气排放情况快速计算空气质量指数，进行空气质量等级排名及雾霾预警。、企业排污排名在地图上清晰标注超标排放废气企业的名称，并标注该企业排放有害气体的控制指标检测值及标准对照值，其是否超标排放一目了然。、城市环境评价及时汇总多省市废弃污染源实时排放数据，对城市环境进行实时评价。3、风电大数据全面提升风电场效能、应用背景作为世界风能解决方案的领先供应商Vestas 紧跟时代

26、潮流，将大数据与云计算技术应用到自身风电平台；致力于提升大数据在风场全生命周期管理中的应用，全面提升风电场效能。Vestas利用 Vestas Online、SiteHunt、SiteDesign、Electrical PreDesign收集数据；并且在自有平台（电厂控制系统、Vestas 预测、商业SCADA 系统）进行建模分析；最终实现气象预报、风能发大电量预测及风机性能整体优化，争做世界风电大数据应用的领头羊。、数据源、气象数据风速分布（日、月、季节、年）、风向分布、气温、气压（梯度）等。、历史运维数据运行小时数、风机类型及运行状况、故障率等。、地理数据地形信息（粗糙图、梯度图等）、风场

27、分布信息等。、图说场景（见下图）名师资料总结-精品资料欢迎下载-名师精心整理-第 10 页，共 11 页 -11、实现路径Vestas 通过对气象历史数据、历史运维数据及地形数据进行建模分析，并与已知数据不断比对优化；最终实现气象预报、风能发电量预测及风机性能整体优化，进一步提升风电利用率。、应用效果、气象预报在对气象数据进行建模分析以后，可实现电力预报、天气预报、季节性预报及冰霜预报，防范即将发生的气象灾害。、风能发电量预测结合大量历史运维数据，可在更短时间内预测风力发电量。、风机性能优化大数据技术的运用可提高存储能力、增强计算能力，实现风机故障预警，为优化风机备品备件管理提供数据支持，提升风机的整体性能。2016年 5 月 30日编写于重庆2019年 12 月 4 日修改于重庆名师资料总结-精品资料欢迎下载-名师精心整理-第 11 页，共 11 页 -