视频监控系统云存储介绍.pptx

《视频监控系统云存储介绍.pptx》由会员分享，可在线阅读，更多相关《视频监控系统云存储介绍.pptx（23页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据时代的4V特征Volume Volume 海量数据海量数据从TB级别，增长到PB级别Variety Variety 数据种类繁多数据种类繁多有各类文本、图片、视频等数据，而且非结构化数据越来越多Velocity Velocity 实时性实时性海量数据需要快速的处理和检索VeracityVeracity真实准确真实准确利用数据挖掘和分析得出真实准确的信息第1页/共24页大数据时代，对存储系统提供更高要求大容量高效率高可用第2页/共24页大数据时代,现有存储系统面临的难题以智慧城市的建设为例第3页/共24页 海量数据存储，如何统一管理和统一调度数以万计的监控点，存储容量已经达到PB级别智能分

2、析抽离出的图片、文字、摘要视频等，数据种类多种多样。白色小型车沪FW6461逆行闯红灯红色上衣红色小型车人员聚集告警人脸抓拍图片黄色衬衫行车轨迹北纬31.3 东 经120.6除视频监控数据外，各类应用系统的数据也需进行融合移动警务图像资源信息库车牌信息数据库移动警务人员信息数据库移动警务第4页/共24页在并发读写时，存储设备的性能瓶颈在控制器或处理能力上。为提升并发处理能力，必须不断的进行硬件升级。大容量并发读写，设备性能成为瓶颈存储设备300路高清存储设备200路高清存储设备100路高清单台最大并发处理能力升级CPU升级内存第5页/共24页 设备故障须及时修复，维护成本激增硬盘存储设备硬盘硬

3、盘硬盘硬盘硬盘硬盘硬盘热备硬盘硬盘硬盘RAID硬盘硬盘硬盘某块硬盘发生故障时，例如RAID，只允许设备中有一块硬盘失效。而RAID恢复时间往往需要十几个小时，期间再坏盘，就无法恢复了。因此，需要立即更换或修复故障硬盘。存储设备存储设备存储设备1某台设备发生故障时，虽可以用负载均衡技术分担给其它设备，但需要立即更换或修复故障设备，否则存储于其中的数据无法读取。故障故障容量达到“PB”级别，维护就成为最大的难题第6页/共24页NAS存储设备NAS存储设备NAS存储设备卡口平台监控平台IP SAN存储设备IP SAN存储设备IP SAN存储设备图像资源数据库NAS集群存储设备NAS集群存储设备NAS

4、集群存储设备 不同的应用系统间数据难以融合各个应用系统，都建设独立的一套存储调度系统，可移植性和重复利用率较差。而且，不同的应用系统需要各种类型的存储系统，NAS、IPSAN或集群NAS，难以融合。第7页/共24页如何解决些难题？海量数据存储，如何统一管理和统一调度 大容量并发读写，设备性能成为瓶颈 不同的应用系统间数据难以融合 设备故障须及时修复，维护成本激增云存储应运而生第8页/共24页概念篇只在此山中，云深不知处第9页/共24页什么叫做”云”？使用者按需获取资源，无需关心资源在何处，如何构建。就像从“云端”获取资源云Cloud第10页/共24页像是拧开水龙头取水，打开开关获取电一样便捷，

5、用户也可以方便的使用“云”资源。什么叫做”云”？第11页/共24页什么是云存储？用户按需使用存储资源，无需关心存储设备在何处，如何构建。在视频监控领域，云存储作为基础资源，其“用户”为各类业务系统。云存储Cloud Storage卡口平台视频监控平台图像资源数据库统一数据平台智能应用系统高可用性高可用性海量存储海量存储高性能高性能统一访问空间统一访问空间高可靠性高可靠性弹性伸缩弹性伸缩第12页/共24页难题的解决之道海量数据存储，如何统一管理和统一调度 大容量并发读写，设备性能成为瓶颈 不同的应用系统间数据难以融合 设备故障须及时修复，维护成本激增提供分布式文件系统，数据调度与存储分离 将单打

6、独斗升级为团队作战 由及时维护转变为定期维护 将各种数据融合，提供统一接口第13页/共24页架构篇有形不累物，无迹却随风第14页/共24页存储节点存储节点存储节点存储节点云存储的系统架构云存储的系统架构，分为“控制节点”和“存储节点”两个部分。控制节点控制节点控制节点控制节点采用集群架构，存储元数据，对存储节点进行调度存储节点对数据进行分布式存储，可进行复制或者RAID备份注：元数据（metadata），包括文件目录组织、属性维护、访问控制信息、文件操作日志记录、文件到块的映射信息、块当前所在的位置等。第15页/共24页云存储的工作流程数据控制节点控制节点控制节点存储节点存储节点存储节点存储节

7、点网 络业务系统申请调度调度备份同步云存储系统34121234业务系统向控制节点申请存储资源，控制节点回复调度信息数据经由网络，到达存储节点进行分布式存储控制节点与存储节点间同步调度与存储信息控制节点间进行元数据同步备份存储节点的数据进行复制或RAID备份第16页/共24页存储节点存储节点存储节点存储节点存储节点海量存储，弹性伸缩相比传统的存储设备，云存储可支持的存储节点数以千计，支持的容量达百PB级别，并可弹性伸缩，无缝扩展。123485679控制节点控制节点控制节点123485679增加存储节点，数据自动重组减少存储节点，数据自动恢复647第17页/共24页传统的存储设备并发读写性能，受到

8、NAS机头、CPU或控制器的能力限制，而云存储系统采用控制与数据分离的架构，脱离了单台设备的能力束缚，整个系统的性能主要受到网络吞吐能力的限制。存储节点存储节点存储节点存储节点存储节点控制节点控制节点控制节点数据流不经过控制节点千兆交换网络万兆交换网络高并发读写性能，摆脱单台设备能力束缚第18页/共24页传统的存储设备并发读写性能，受到NAS机头、CPU或控制器的能力限制，而云存储系统采用控制与数据分离的架构，脱离了单台设备的能力束缚，整个系统的性能主要受到网络吞吐能力的限制。高并发读写性能，摆脱单台设备能力束缚存储设备300路高清已经撑不住了毫无压力30000路高清云存储第19页/共24页云

9、存储系统的控制节点采用集群架构，单点发生故障时，可无缝切换，系统业务不会中断。控制节点控制节点控制节点工作节点备份节点备份节点高可靠，系统业务不中断第20页/共24页云存储可为多个业务系统同时提供服务，内部架构对其透明，提供统一的访问入口，利于数据共享与融合。控制节点控制节点控制节点存储节点存储节点存储节点存储节点存储节点业务系统1业务系统2业务系统3业务系统4统一访问入口，多用户并行访问第21页/共24页云存储的特点-高可用，由及时维护变为定期维护云存储系统摆脱单台束缚，采用数据冗余存储机制，硬盘或存储节点损坏时，其余节点可自动重组，数据不丢失，系统运行不受影响。第22页/共24页一个月后云存储的特点-高可用，由及时维护变为定期维护维护人员仅需定期检查受损硬盘或节点，更换或修复即可。第23页/共24页