交通云存储系软硬件设计方案.docx

《交通云存储系软硬件设计方案.docx》由会员分享，可在线阅读，更多相关《交通云存储系软硬件设计方案.docx（9页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、交通云存储系软硬件设计方案1.1.1 软件设计交通云存储系统主要由以下软件组成：交通云存储管理软件（CVM）,交通云 存储存储软件（CVS）,交通云存储接入软件（CVA）和交通云存储异构软件（ASS）。1.1.1.1 交通云存储管理软件CVM交通云存储管理软件CVM （Cloud Video Manage）是交通云存储系统中的管 理模块，主要功能包括交通云存储系统内资源管理、存储节点管理、集群管理、 策略调度、运维监控等。软件包含六大功能模块，分别为：索引管理模块、调度管理模块、集群管理 模块、计划管理模块、资源管理模块、辅助管理模块，整体软件架构如卜.图所示：用户接入服务SDK图I. CVM

2、软件架构1）索引管理模块索引管理模块集群化管理集群中的全部管理节点，能并发响应用户的检索、 插入、修改和删除操作情况，提供一体化、高并发、快响应的索引服务。同时，索引管理模块提供视频索引、图片索引、标注索引服务，支持以通道 号、时间段、录像类型和锁定状态为条件的视频和图片信息检索服务，也提供统 一资源定位符（URL）形式的WEB访问图片方式，支持以通道号和时间段为条件 插入、修改、删除和检索标注的功能，以及根据标注关键字检索视频的特色功能。2）调度管理模块调度管理模块根据集群中设备的负载状况灵活的调度集群资源为应用业务 提供支撑。作为集群系统中的逻辑引擎根据不同的逻辑策略执行不同的调度算法,

3、提供资源分配调度、分散策略调度、循环覆盖调度、录像计划调度等服务。3）集群管理模块集群管理模块统一管理集群中分布式设备节点，包括管理节点和存储节点。 它负责管理节点之间关键信息的实时同步，保证集群中不同管理节点信息的一致 性，无差异化的对外提供服务。同时也负责管理存储节点，将存储节点加入到集 群中作为存储资源的一局部，集群管理模块维护集群中设备节点的实时状态信息, 对外提供设备状态查询接口便于管理和了解集群的整体运行状态信息。4）计划管理模块计划管理模块负责负责录像计划的管理、下发、切换，保存外部平台下发的 录像计划，调度系统中的录像计划并执行录像计划，当接入服务器异常时负责动 态切换录像计划

4、到其它接入服务器。5）资源管理模块资源管理模块负责对集群中所有存储设备的存储空间进行统一管理，根据入 网存储设备上报的资源信息计算出集群存储总容量和空闲容量，负责创立、删除 录像池，为存储业务分配合适的存储资源。同时能动态的调整录像池的大小，弹 性的对录像池进行扩容或者缩减，将集群存储空间切分成细小独立的存储单元， 再根据用户需要将很多个存储单元有机组合后虚拟化成录像池对外提供存储服 务。6）辅助管理模块辅助管理模块包含日志管理.、运维管理、数据迁移等功能，日志管理为其他 模块提供日志打印服务，对外具备日志查询和日志文件下载功能，包含调试日志、 事件提示日志、错误日志、告警日志和重要日志。运维

5、管理云视频管理节点的运 行参数获取接口，供运维平台获取管理节点的实时运行信息。数据迁移功能对外 提供将第三方数据迁移到本交通云存储系统中保存的功能。1.1.1.2 交通云存储存储软件CVS交通云存储存储软件CVS （Cloud Video Storage）是交通云存储系统中的 存储模块。CVS集成在交通云存储节点（CVSN）上，在每一台海量数据存储设备 上都必须装载该软件模块。交通云存储存储软件（CVS）接受交通云存储管理软件（CVM）的管理，从交 通云存储接入软件（CVA）接收海量视频，高效无误的存放在本机的Raid或iSCSI 设备中，方便用户通过CVA进行查询。交通云存储管理软件（CVM

6、）会均衡分配 多台交通云存储存储软件（CVS）的业务负载量，使整个系统的读写性能到达最 佳。交通云存储存储软件按照功能模块化设计，整体软件架构如下列图所示：CVS通信模块运维管理视频/图片接入CVA 2日志管理日志管理视频/图片文件系统数据库管理图2. CVS软件架构1）通信模块本模块主要是负责和CVA及CVM进行数据信息的交互，采用多线程并发接收 和发送数据的方式，高效完成跨机器的数据交互。2）运维管理本模块主要是负责和运维进行交互，采集系统数据及程序运行数据，并按照 特定协议格式发送给运维系统，方便平台对整个云存储系统运行状态进行实时监 控，如有问题出现，可以及时报警给相关人员进行处理。3

7、）视频/图片接入本模块主要是负责处理从CVA传输进来的视频已经从接入服务器传输进来 的图片等数据，并按分类进行一定的逻辑处理。采用多线程的处理方式，可同时 支持多路的视频和图片数据接入。4）日志管理本模块主要是负责对CVS的日志进行统一管理，记录一些重要事件，方便事 件回溯，对外提供H志查询和日志下载功能。5）视频/图片文件系统本模块根据视频、图片的特性，定义流式存储结构，主要是负责数据的高效 读、写。6）数据库管理本模块主要是负责对CVS系统运行时需要临时存放的一些重要数据进行保 存，可以方便的以SQL接口提供插入和查询，简化数据存放和获取的机制。1.1.1.3 交通云存储接入软件CVA交通

8、云存储接入软件CVA （Cloud Video Access）是整个系统的重要组成部 分，主要包括录像任务管理、录像服务、设备状态管理和局部流媒体转发服务等 功能。视频云接入软件支持定时录像、移动侦测录像和事件录像（如：手动录像）， 其中事件录像的优先级要高于定时录像和移动侦测录像。视频云接入软件实时检 测用户配置的录像计划任务信息表，当接入软件检测到有通道需要执行录像任务 时，接入软件首先通知流媒体服务从前端设备读取视频数据，然后根据录像类型执行相关录像。视频云接入软件按照功能模块化设计，软件包括六大功能模块：录像任务管 理、流媒体服务、设备状态管理、负载信息管理、录像服务、视频帧分析。整体

9、 软件架构如下列图所示：设备状态管理前津设备状态管理模块设备布防状态管理模块交通综合管控平台负就信息管理录像任务管理录像服务取流管理执行录像模块服务模块视频帧分析服务模块流媒体服务交通云存储软件流媒体服务管理模块定时录像管理模块流媒体转发管理模块流控制管理模块事件录像 管理模块移动侦窝录像管理模块移动侦测报警管理模块前端设备图3. CVA软件架构1）录像任务管理录像任务管理功能主要包括定时录像管理、移动侦测录像管理和事件录像管 理等功能。定时录像和移动侦测录像是用户设置的计划录像，事件录像是用户计 划外的录像。录像管理功能需要按照用户的需求从前端设备获取视频数据、执行 录像、停止录像和停止从前

10、端设备取流等操作。移动侦测录像，录像管理功能首先需要对前端设备布防，并监控前端设 备的报警状态，同时还可以根据用户的需求提前从前端设备获取视频数 据，通过预先获取数据流保证了视频的完成性，当接入软件收到前端设 备的移动侦测报警命令后，立即执行录像。事件录像，录像管理功能接收到事件录像命令，首先检索当前通道是否 有定时录像或移动侦测录像，如果没有上述两种录像，立即执行录像, 事件录像的优先级要高于移动侦测录像和定时录像。2）流媒体服务流媒体服务主要包括流媒体转发模块和流控制管理模块，流媒体服务具有稳 定和高效等特点，整个系统提供持续的视频数据支持。流媒体服务传输视频数据 支持RTSP、TCP和U

11、DP协议，可以根据不同环境选择合适当前网络性能的传输方 式。流媒体服务视频流转发功能：流媒体服务从前端设备获取到视频流后可以根 据用户的需要将视频流转发给多个用户或设备。通过视频转发功能降低了前端设 备的压力，节省了网络带宽，极大的提高了系统性能。3）设备状态管理设备状态管理是云存储接入软件的基础功能，它主要包括监控前端设备状态、 布防状态和取视频数据流的状态。前端设备状态监控：状态管理功能实时获取前端设备的状态，当检测到 前端设备异常，接入软件会及时上报。设备布防状态监控：状态管理功能实时监控前端设备的布防状态，当前 端设备布防失败，接入软件会及时上报。读取视频流状态监控：状态管理功能实时监

12、控流媒体服务的工作状态、 如果流媒体服务取视频流时发生异常，接入软件会及时上报。4）负载信息管理负载信息管理功能主要是接入软件实时监控当前服务器的内存和CPU使用 情况，并定时上报当前服务器的资源使用信息，管理系统可以根据上报的服务器 资源使用信息管理录像计划。5）录像服务录像服务包括取流管理模块和执行录像服务模块两个局部。录像服务接收录像任务管理模块下发的录像信令，当录像眼务接收到录像任 务管理模块开启录像信令后，首先通过取流模块向流媒体服务发送取流信令，然 后将流媒体转发的视频数据发送到云视频存储软件为一次录像的开始。当录像服 务接收到录像任务管理模块下发的停止录像信令，录像服务首先向流媒

13、体服务发送停止取流的信令，然后通知云视频存储软件停止录像为一次录像的结束。6）视频帧分析帧分析模块主要是对流媒体服务读取的视频数据进行帧分析，从视频数据中 分析出关键帧等信息，为系统提供关键帧查询和关键帧回放提供技术支持。1.1.1.4 交通云存储异构软件ASS异构存储软件ASS （Asynchronous Storage Service）主要负责接入第三方 iSCSI/FC标准存储设备，软件集成安装在ASSN节点内，具体负责接入第三方 iSCST/FC存储设备的工作。软件主要由三个模块实现，分别为识别模块、挂载模块和管理模块；主要和CVS交互。通过识别模块和挂载模块实现对第三方标准存储设备的

14、兼容工作。通过管理模块与存储设备以及上层CVS之间进行交互。整体软件架构如下列图所示:弁构存储软件ASS识别模块识别模块挂我模块管理模块图4. ASS软件架构1）识别模块探测到异构设备后获取其相关系统信息，将其视作为存储设备，在设备目录 中添加相应节点。2）挂载模块将新加的设备节点转化为通用存储设备节点，并挂载到软件系统中以备CVS 使用。3)管理模块本模块的功能是：将通用本机内存储设备和异构设备统一管理，实现设备的 加入和退出，以及相关状态的保存和记录。L 1.2硬件设计混合类云存储系统硬件主要由存储管理服务器(存储管理节点CVMN)、存储 设备(存储节点CVSN)、异构服务器(第三方存储服

15、务节点ASSN)和运维服务器 组成。1.1.2.1 交通云存储管理节点CVMN交通云存储管理节点： CVMN (Cloud Video Manage Node)在云存储标配服务器上集成安装视频云管理软件CVM (Cloud Video Manger), 其主要功能包括交通云存储系统内资源管理、存储节点管理、集群管理、策略调 度、运维监控等。根据交通云存储系统的规模情况和可靠性要求管理节点部署可分为：HA部 署和集群部署两种模式。其中HA部署模式适用于1024路以内监控前端视频读写 规模，通过两台服务器做双机热备；集群部署模式适用于较大型的交通云存储系 统，可以进行三台或三台以上配备，集群部署的

16、服务器台数必须是奇数增加。集 群部署的优势在于通过交通云存储管理节点内部集群功能将协调各节点设备资 源，将用户配置、数据库信息、策略计划进行统一进行调度，整体性能呈现线性 增长。同时也增加了系统的可靠性，多台设备的故障不会影响到系统的运行。无论是HA部署模式还是集群部署模式，交通云存储都使用唯一的虚拟IP 地址对外提供服务。1.1.2.2 交通云存储节点CVSN交通云存储节点：CVSN (Cloud Video Storage Node)在存储设备上集成安装交通云存储存储软件CVS (Cloud Video Storage) 和视频云接入软件CVA (Cloud Video Access)作为

17、存储节点。主要是响应交通云存储管理节点(CVMN)和应用层的录像、查询、下载等操 作申请，以及管理物理存储设备和空间，交通云存储节点模块具有以下功能：负责根据接收云存储管理节点下发的录像计戈IJ,并根据录像计划向对应 的前端摄像头进行取流操作。负责将接收到的录像数据写入到存储底层或从存储底层读取数据，通过 协议接口主要向API提供录像、查询、回放及下载服务。提供存储设备的状态检测和信息上报功能。存储底层：使用Raid技术来保证数据平安，支持节能的磁盘休眠功能。1.1.2.3 第三方存储服务节点ASSN第三方存储服务节点：ASSN (Asynchronous Storage Service Node)在服务器上集成安装异构存储软件ASS (Asynchronous Storage Service) 交通云存储存储软件CVS (Cloud Video Storage)视频云接入软件CVA (Cloud Video Access)的接入第三方存储服务节点。其主要功能是通过安装异构软件(ASS)完成对第三方iSCSI/FC标准存储 设备的接入，实现对工程已有资源的兼容性利用。使得第三方存储设备通过ASSN 的整合后，具备与CVSN同样的功能。