CDS云存储解决方案(共21页).docx
《CDS云存储解决方案(共21页).docx》由会员分享,可在线阅读,更多相关《CDS云存储解决方案(共21页).docx(21页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、精选优质文档-倾情为你奉上目录1 CDS云存储系统概述1.1 CDS简介CDS(Cloud Direct Storage)是宇视科技在提出“NGN(Next Generation Network)”为核心架构的IMOS监控云平台后,为满足海量音视频数据、智能交通类行车图片、监控个体特征图片、安防大数据、智能业务以及多相关部门并发读取等安防行业发展的需求,推出的一套面向监控领域媒体文件的SAN级集群系统。CDS吸取了传统监控存储主流设备如NVR操作的易用性,同时基于对视频监控的理解,结合SAN集中存储高可靠稳定性的基础,引入了云的架构,海量存储,易于维护。和常见的文件集群系统所构造的通用“云”存
2、储相比,整套SAN级集群系统既实现了性能和容量线性增长,又保留了宇视一代云“块直存”的安全性和高性能,海量音视频秒级检索,这些是通用云在监控业务方面所不具备的优势。1.2 CDS系统架构宇视科技云存储CDS系统基于云架构进行开发,采用面向用户业务应用的设计思路,融合SAN集群部署、负载均衡、资源池化、全局共享空间、数据切片等技术,可将网络中大量各种不同类型的存储设备通过专业应用软件集合起来协同工作,共同对外提供高性能、高可靠、不间断的数据存储和业务访问服务。云存储系统的结构模型由存储层、基础管理层、应用接口层、访问层组成。在视频云存储系统的架构设计中,采用的核心技术包括:采用存储虚拟化技术,对
3、具有海量存储需求的用户提供透明存储构架,可持续扩容避免瓶颈限制,可以更有效的进行资源管理,灵活增减空间,达到最大程度上合理利用空间的效果。采用SAN集群技术,解决单/多节点失效问题,并利用负载均衡技术充分利用各存储节点的性能,提升系统的可靠性和安全性。采用数据切片技术,保障了用户高效的读写的同时保证了业务的持续性。采用统一完善的接口,降低对接成本、平台维护成本和用户管理的复杂度。采用开放的集成构架,使其可兼容业界各类SAN存储设备,保护用户现有存储投资资源。采用数据本地/异地备份保护技术,保证云存储中的数据不丢失,确证云存储服务的安全稳定。1.3 与安防常用存储的对比目前安防行业内常用的存储方
4、式包括以下几种:1、 硬盘录像机方式(DVR、NVR);2、 集中类存储,包括FC SAN、IP SAN;3、 文件服务器类存储,通用NAS;4、 高端存储,通常为多控架构存储;5、 安防云存储,如宇视的CDS;对比项NVR(网络视频录像机FC SAN(光纤通道集中存储)NAS(文件服务器)IPSAN(IP集中存储)多控制器架构高端存储CDS云存储接入性能低中中中高最高读取性能低中中中高最高平台对接方式GB28181/SDK对接,功能缺失,弱耦合流媒体服务器访问,性能瓶颈通用文件协议访问,无安防定制功能流媒体服务器访问,性能瓶颈流媒体服务器访问,性能瓶颈无需流媒体服务器,紧耦合网络建设分布式,
5、设计复杂FC组网成本高,难以与IP网络融合,信息孤岛较集中较集中较集中最集中,易维护,高性价比扩容性无中低中高最高故障切换无,需要额外增加软硬件,成本高无需要增加额外软硬件,成本高有,低延时但成本高低延时,高性价比运维管理设备多,人力投入大专业程度高专业程度高专业程度高专业程度高界面化统一管理,易运维总体造价低高高中最高中12 CDS组成部件CDS存储方案主要由视频云存储管理软件(CDM,Cloud Data Management)、视频云存储服务节点(CDV, Cloud Data Storage Virtual Service)、视频回放服务器(VOD,Video on demand)等几
6、个主要部件组成。云存储管理软件CDM:CDM云存储管理服务器负责整个系统的运行与调度工作,主要职能是响应上层平台业务请求,对外提供业务响应接口,负责整合系统内多台存储节点信息,对业务整合成带优先级控制的统一虚拟化存储池,同时,维护系统运转,统一调度、协调云存储系统的运行与维护,具体功能范畴包括集群管理、虚拟化管理、存储资源管理、存储策略管理、存储设备管理等。云存储节点CDV:负责存储节点上存储空间的虚拟化,将单台存储节点空间格式化为对象存储空间提供给外部使用。其主要职能是接入各种类型的存储设备、进行云存储设备层整合,对本机存储空间进行对象化处理,对外提供本设备的虚拟化存储池,负责本机设备管理、
7、存储空间管理和维护工作,提供WebService接口,提供直接图片等数据访问,具体功能范畴包括视频录像、图片存储、视频图片下载等。视频回放服务器VOD:负责回放业务的提供,其接入客户端RTSP的标准视频点播请求,转换为对存储内容的读取并封装为客户端能识别的码流。3 实时业务设计23.1 视频CDS云存储视频CDS云存储组网图视频云存储组网,采用scale-out结构,分离数据平面和控制平面,即媒体流带外的方式,从IPC到CDV(存储节点)直接写入,中间无需其他服务器的介入。视频云存储组网中IPC主动的管理存储计划和前端智能数据告警,可以及时触发告警录像,同时简化了后端云存储架构,降低了存储业务
8、压力,可以让云存储系统专注读写,更好的满足用户的存储需求。应该说,CDS存储模式是在宇视块直存基础上延伸出来的云存储模式,汲取了SAN共享技术及分布式文件系统的块分配策略,突出解决了空间按需占有、弹性扩容及负载均衡等问题。3.2 图片CDS云存储图片云存储组网图图片云存储组网相对视频增加了TMS(智能交通管理服务器),主要负责图片智能数据分析、黑白名单及研判等业务,在IPC完成一定数量的图片存储后,以事务的方式上传卡口智能数据到TMS服务器。对于图片来说,大小从几KByte到上MByte不等,大量的图片小文件对元数据的操作开销非常大,既增加了总体数据的写入数量,也增加了磁盘的随机读写,同时也容
9、易产生磁盘碎片。为此,CDS从底层重新设计了块分配及元数据的组织算法,通过重组的方法将图片流化处理,充分利用视频存储的块组织模式。出于通用应用需求,文件系统层的抽象屏蔽了后端块资源的分配,但也正因为此而无法感知应用数据的写入特征,通过引入统一分配层,直接管理块设备上的空间分配,通过对存储时间和空间的一定预测保证分配的空间尽可能的连续化,避免长期循环覆盖情况下,性能和稳定性的下降,而且有应用针对性的进行优化,也很大程度上降低了空间管理的消耗,将有效空间率从文件系统的低于93%提高到97.8%。3.3 数据读取数据读取流程CDS云存储当前提供了两种最常用的数据读取服务,RTSP点播回放服务(针对视
10、频业务)和Http服务(针对图片业务)。Http服务直接部署在CDV上,客户端通过URL地址就可以显示和下载图片。这种方式的带来的好处是减少数据读取的中间环节,而且由于数据分布上在写入时经过客户段负载均衡后,大批量下载可以充分利用多CDV节点的读取能力。RTSP点播服务中引入了VOD集群功能,即用户可以随需配置,从而满足大规模的点播和下载需要,而且VOD集群会进行一定的数据缓存处理,从而在一定程度上降低对后端存储的压力,同时起到一定的CDN(内容分发网络)功能,提升播放体验。3.4 数据生命周期管理宇视CDS安防云存储方案,一方面对存储空间进行池化处理,另一方面也对安防数据业务进行了更合理的空
11、间规划和数据可靠性保障。3.4.1 细粒度的数据冗余策略通用云存储都是在一个统一的存储层面,比如设定目录或是节点的冗余策略,常见的如多副本策略或是纠删码等方式,这种方式是割离了计算,单纯从存储层面进行的数据保障措施,但其粒度过大,性能开销大,存储设备硬盘配置要求高的缺陷也在一定程度上转嫁给了客户投资。而CDS,将安防业务中密切与存储或是媒体相关的功能进行了合理抽象,能将数据的冗余策略精确到更细粒度的时间片段数据,或是某一张图片文件,并通过告警或是事件联动的业务入口,提供给客户更灵活的可定制流程。3.4.2 数据逐级退化,有效提升留存空间比宇视CDS云存储依然保留了对摄像机存储计划及留存期设定等
12、过程,但在内部存储时,由于所有的存储空间均被CDS虚拟化,使得存储空间的组织和退化,均能从总体上来考虑。这个带来几层含义,一方面,留存期的维护是录像过程相对公平,同时也是系统容量可预测可配置的保障,另一方面,由于存储空间的池化处理,充分利用共享化容量来尽可能的拉长录像的留存期是实实在在的节约用户投资的手段,因此,所谓留存空间比,就是以尽可能少的存储空间来获取更长的留存期。通过在存储面引入诸如抽帧存储、录像清洗等手段来对事件类、超时效范围(如30天留存期中后15天录像)进行录像空间的压缩,既能保证重要录像的不丢失,又能降低用户存储空间的总需求。抽帧存储抽帧存储是在尽量保证数据完整性的情况下将备份
13、的录像数据压缩到最小,以提供高效完整,节省存储空间的目的。当前IPC使用SVC,即Scaled Video Coding,可分层视频编解码技术,就是在时间,空间,质量上会进行划分,输出多层码流(包括基本层和增强层),其中基本层的数据可以使解码器完全正常的解码出基本视频内容,但是基本层的数据获得的视频图像可能帧率较低,分辨率较低,或者说质量较低,而增强层又是可以多层编码的,这就意味着,在视频码流总码率的范围内,接收到的码率越大,视频质量越好。也就是说通过定制抽取的规则,比如设定某个摄像机存储空间规则为15天全帧存储、超15天抽帧存储,并确定抽帧规则为只保留I帧、1/2抽帧、1/4抽帧等。如下是只
14、保留I帧的实测数据,仅作参考:视频码率配置原始录像/天抽帧备份录像/天比例2Mb/s21GB7GB33%4Mb/s42GB12GB28%6Mb/s63GB16GB25%录像清洗录像清洗服务是结合前端设备的告警,如移动侦测等触发,来扫描这个时间点一定范围内的录像,然后根据录像中的移动量是否超过设定的阈值,来进行录像的抽取和清洗。可以分别配置警前留存时间和警后留存时间,警前录像取值范围05分钟,缺省1分钟,警后录像取值范围130分钟,缺省5分钟。此时录像空间的浓缩比例视告警的发生概率而来。3.5 CDS云存储可靠性设计33.5.1 从低到上的全栈数据高可用性CDS云存储并不是重新发明宇视存储,而是
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- CDS 存储 解决方案 21
限制150内