大数据图像处理技术在智能电网的应用分析.docx
《大数据图像处理技术在智能电网的应用分析.docx》由会员分享,可在线阅读,更多相关《大数据图像处理技术在智能电网的应用分析.docx(10页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、大数据图像处理技术在智能电网的应用分析 【摘要】 随着互联网、移动通讯技术的不断发展,特殊是电商、社交、即时通讯平台的活跃,以及企业信息化、才智城市、智能电网的快速建设,近几年来,视频、图像数据呈现爆炸式增长,与此同时,图像处理技术也得到快速发展,特殊是大数据技术的应用为大规模图像处理供应了技术可行性。本文就图像技术的现状、大数据体系、大数据图像处理技术进行分析论述,并结合智能电网应用场景进行了思索与分析。 【关键词】 图像技术 大数据 Hadoop 智能电网 引言 当前,大数据分析已经成为各行业的一个重要决策支撑手段,大数据技术能够简化处理海量数据,其大规模集群数据处理开源软件框架Apach
2、e Hadoop,可以牢靠地依靠成千上万规模节点处理PB级数据。利用大数据技术实现图像处理,能够突破传统图像处理技术瓶颈,快速实现大规模图像数据的处理计算,给企业带来巨大价值。 一、图像技术现状分析 1.1存储技术现状 目前国内外图像存储解决方案有两种,分别是图像存储至数据库和图像存储至硬盘。在海量图像规模下,传统数据库承载太多图像会导致数据库容量和效率成为极大的瓶颈,常见做法是图像存储在硬盘,图像路径存储至数据库。存储容量方面常采纳增加专业的磁盘阵列,磁盘柜或者高级的光纤盘阵、局域网盘阵等方式解决,而提升访问效率方面常采纳squid缓存和镜像方法。 1.2应用技术现状 图像应用技术随着互联网
3、浪潮不断发展,按应用领域不同可归纳为物理设备应用、基础软件应用、智能分析应用、才智分析应用四个应用层次,其技术实现难度逐层增加。物理设备应用、基础软件应用是当前主流应用技术,智能分析应用、才智分析应用是将来图像应用的演进方向。 物理设备应用。物理设备应用是基于视频采集设备的基础应用,表现为基于各类型摄像头的监控应用。当前视频监控数据保存周期有限,监控识别过程多为人工。目前市面上部分厂家将带有特定算法的智能芯片集成到物理设备中,实现特定的分析功能,如:智能家居安防摄像头,能够监测视频画面中的物体移动实现远程预警;智能车库解决方案,通过车牌识别算法实现车牌的快速识别。 基础软件应用层。以社交网站、
4、视频网站为典型代表。主要实现图像信息、视频信息的海量存储、快速读取、共享交互。依据业务的不同需求,可敏捷采纳传统图像处理架构或分布式图像处理架构,图像信息的检索主要以文字搜寻为主。 智能分析应用。智能分析应用包括图像智能分析,图像检索,视频切片分析等高级应用。目前淘宝、京东等电商企业图像智能分析技术领先。如淘宝“拍立淘”功能便是图像智能分析的典型应用,通过类目预料,主体检测,图像特征提取,检索索引和排序5层算法框架、利用大数据、云计算、机器学习等先进的信息技术实现用户购物方式的颠覆。 才智分析应用。才智分析应用是指对图像信息处理的实时计算、深度学习和才智决策。典型应用为Google公司无人驾驶
5、技术的应用探讨,实时对摄像传感器采集的视频信息进行计算分析,实时决策。 二、Hadoop体系结构 HDFS和MapReduce是Hadoop的两大核心。而整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持的,通过MapReduce来实现对分布式并行任务处理的程序支持,HBase是Hadoop体系下基于Bigtable的分布式数据库,其为大数据的存储和应用供应很好的底层支持。 HDFS HDFS采纳了主从结构模型,一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器,管理文件系统的命名空间和客户端对文件的访问操作;Data
6、Node管理存储的数据。HDFS允许用户以文件的形式存储数据。从内部来看,文件被分成若干个数据块,而且这若干个数据块存放在一组DataNode上。NameNode执行文件系统的命名空间操作,比如打开、关闭、重命名文件或书目等,负责数据块到详细DataNode的映射。DataNode负责处理文件系统客户端的文件读写恳求,并在NameNode的统一调度下进行数据块的创建、删除和复制工作。HDFS体系结构如下: MAPREDUCE MapReduce是一种并行编程模式,这种模式使得软件开发者可以轻松地编写出分布式并行程序。在Hadoop的体系结构中,MapReduce是一个简洁易用的软件框架,基于它
7、可以将任务分发到由上千台商用机器组成的集群上,并以一种高容错的方式并行处理大量的数据集,实现Hadoop的并行任务处理功能。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点上的TaskTracker共同组成的。主节点负责调度构成一个作业的全部任务,这些任务分布在不同的从节点上。主节点监控它们的执行状况,并且重新执行之前失败的任务;从节点仅负责由主节点指派的任务。当一个Job被提交时,JobTracker接收到提交作业和配置信息之后,就会将配置信息等分发给从节点,同时调度任务并监控TaskTracker的执行。 HBASE HBase是Apache H
8、adoop的数据库,一个开源的,分布式的,多版本的、面对列的存储模型。能够对大数据供应随机、实时的读写访问功能。HBase可以干脆运用本地文件系统,但在Hadoop HDFS的文件存储系统中更能提高数据的牢靠性和系统的健壮性,最大限度发挥HBase大数据处理实力。 HBase存储松散型数据,数据介于映射和关系型数据之间。HBase向下供应存储,向上供应计算,在HBase之上还可以运用Hadoop的MapReduce计算模型来并行处理大规模数据,将数据存储和并行计算完备结合1。 三、大数据图像技术 3.1 HADOOP图像存取技术分析 Hadoop分布式存储为海量图像、视频存储供应了原始模型,其
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 图像 处理 技术 智能 电网 应用 分析
限制150内