交通云存储系统视频、图片混合云存储设计方案.pdf

《交通云存储系统视频、图片混合云存储设计方案.pdf》由会员分享，可在线阅读，更多相关《交通云存储系统视频、图片混合云存储设计方案.pdf（18页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 交通云存储系统视频、图片混合云存储设计方案 交通云存储系统应用于视频、图片混合存储时，主要是承担整个系统内的视频/图片的数据写入/读取工作。云存储系统一方面采用了基于云架构的分布式集群设计和虚拟化设计，在系统内部实现了多设备协同工作、性能和资源的虚拟整合，最大限度利用了硬件资源和存储空间。另一方面，通过将云存储的存储功能、管理功能进行打包，通过开放透明的应用接口和简单易用的管理界面，与上层应用平台整合后，为整个交通监控系统提供了高效、可靠的数据存储服务。系统物理拓扑 视频图片混合云存储系统主要由存储管理节点（服务器）和存储节点（物理存储设备）两部分组成。系统内部需要配置的元数据信息由云存储管

2、理服务器统一管理，云存储管理服务器还需要负责集群内部的负载均衡，失败替换等管理职能；云存储系统可以组建海量的存储资源池，容量分配不受物理硬盘数量的限制；并且存储容量可进行线性在线扩容，性能和容量的扩展都可以通过在线扩展完成。视频图片混合云存储物理结构如下图所示：图1.视频图片混合云存储物理结构图 交通云存储管理节点（CVMN）：部署存储管理服务器，是交通云存储系统的核心节点，作为云存储系统的调度中心负责云存储系统资源管理、索引管理、计划管理、策略调度等。根据项目对存储容量需求、前端支撑数目、性能要求、可靠性要求，存储管理节点可以按照两种方式部署：HA 部署、集群部署。交通云存储节点（CVSN）

3、：作为云存储系统业务的具体执行者负责视频数据存储、读取、存储设备管理、存储空间管理等。系统功能设计 交通云存储系统面向视频、图片应用定制化开发，提供丰富的功能接口供上层交通综合管控平台调用，主要功能如下图所示：图2.交通云存储系统功能图 1.1.1 视频存储功能 功能项 功能说明 视频录像 系统可以按照用户制定的计划保存前端设备采集的录像数据，录像类型、录像头由用户指定，存储开启相关的资源。动态修订录像类型：前端采集视频数据过程中，按报警类型可以修改录像的类型，修改后采集的视频数据即时保存到系统中，并在数据保存类型上得到反映。视频检索 用户可以按监控点编号、录像类型、时间组合、锁定、标注等条件

4、查询录像数据。视频回放 支持根据监控点编号以及时间段、录像类型对录像数据进行回放。支持根据监控点编号以及时间段对录像数据进行回放时间定位。支持快放、慢放。支持倒序回放。支持 I 帧回放。支持手动停止回放。视频下载 支持根据监控点编号以及时间段对录像数据进行下载。支持断点续传。视频锁定 支持指定的录像片段进行锁定，锁定后的数据不被循环覆盖掉。支持已锁定的录像片段锁定时长到期自动解锁。视频标注 对录像数据信息所对应的标签进行打标、存储、备份等操作；对录像等数据信息的标签信息进行查询、检索、筛选工作；对录像等数据信息所对应的标签进行修改、删除等操作。视频删除 支持根据监控点编号、录像时间、录像类型删

5、除视频录像。周期覆盖 按策略支持按周期、容量进行录像数据的周期覆盖式存储。1.1.2 录像管理功能 功能项 功能说明 录像计划管理 关联平台配置好的录像计划，并将录像计划同步到各个存储节点。录像计划执行 根据配置要求确定通道和存储地址，负责将录像数据向下层模块的写入操作。移动侦测录像 根据设定移动侦测区域自动执行相应的录像任务 事件录像 根据具体事件执行录像任务，优先级高于定时和移动侦测录像 1.1.3 图片存储功能 功能项 功能说明 图片写入 支持图片数据写入存储，返回 URL 地址 图片下载 支持按时间段下载图片。支持浏览器 http 的 URL 方式下载图片。图片写入 支持图片数据写入存

6、储，返回 URL 地址 图片下载 支持按时间段下载图片。支持浏览器 http 的 URL 方式下载图片。图片压缩 支持图片大小压缩和尺寸缩放。图片锁定 支持指定的图片进行锁定，锁定后的数据不被循环覆盖掉。支持已锁定的图片锁定时长到期自动解锁。图片删除 支持单张图片 URL 方式删除。支持按照时间段删除图片。周期覆盖 按策略支持按周期、容量进行图片数据的周期覆盖式存储。1.1.4 系统管理功能 功能项 功能说明 集群化管理 视频录像索引采用集群方式，无单点故障，保证索引数据的安全性。集群采用快速索引管理，能根据用户的各种查询条件（监控点编号、录像类型、时间段等）进行快速定位。负载均衡管理 集群采

7、用虚拟 IP 技术，对外提供统一的入口 IP 形式，将集群的访问在集群中根据各种算法进行分摊，降低单个节点的访问压力。后端存储节点压力进行实时监控，当单台存储节点压力过大时能根据智能算法将业务平滑迁移至其他存储节点，达到整个集群间负载均衡目的。虚拟化管理 支持对存储设备统一管理，虚拟化为资源池，且将虚拟资源划分为块进行管理。自动精简管理 动态分配存储空间，通过实时的数据录像情况调整和分配系统内存储资源空间，提高系统存储空间利用率。分散存储管理 将前端数据通过特定算法，平滑分散至各个存储节点，从而降低大量回放对单台存储节点的压力。存储空间管理 支持为摄像机随机分配录像空间，且分配的存储空间可灵活

8、调整，支持摄像机恢复录像时，记录日志。1.1.5 运维管理功能 功能项 功能说明 系统信息获取 支持系统信息：版本、CPU、内存、网卡、磁盘等信息的获取。系统故障告警 支持系统故障（CPU、内存等超过阈值）主动告警到运维平台。存储设备告警 支持设备故障、掉线会主动告警到运维平台。标准协议对接 支持标准的 SNMP 协议对接。系统业务流程 下面分别介绍视频存储、检索、读取、补录、备份以及图片存储、检索、下载流程。1.1.6 视频存储流程 视频数据存储：交通综合管控平台向交通云存储管理节点下发视频录像计划，存储管理节点根据各存储节点的负载状况，给存储节点的接入服务软件同步录像计划。接入服务软件获取

9、录像计划后，直接访问监控点 IPC 获取到视频数据，再通过调用数据存储软件将数据写入存储节点中。当监控点录像计划发生变更，会及时通知存储管理服务器；由存储管理服务器统一控制并同步给存储节点。存储节点定期向管理服务器获取录像计划，并上报自身状态。存储节点设备之间能够自动进行均衡负载，保证在故障时做到自动切换，不间断的提供视频数据存储服务。详细的视频存储流程如下图所示：图3.视频存储流程 流程特点：1）录像数据是直写磁盘方式，优化了读写性能；已经写入存储节点的数据不会受系统和其他设备的影响导致丢失。2）视频数据是分散存储，根据需求将 IPC 的数据按照算法分散到不同的存储服务器上，提高数据读写的速

10、度，在可靠性和安全性上得到了加强。1.1.7 视频检索流程 视频数据检索：视频监控平台检索视频录像信息，视频监控平台向交通云存储系统存储管理服务器发送检索指令，存储管理服务器查询本地数据库直接将检索信息发送到视频监控平台，采用一级检索方式完成整个流程。详细的视频检索流程如下图所示：图4.视频检索流程 流程特点：独有的一级索引技术，当视频信息完成存储后立刻在云存储系统管理平台生成一套数据对应的索引表。改进了传统的索引机制，使得读取仅通过一次查询就能够精确定位到存储的数据。1.1.8 视频读取流程 视频数据读取：用户通过视频监控平台调用监控点视频时，视频监控平台向交通云存储系统发送获取数据的请求，

11、存储管理服务器转发请求到存储节点，数据从存储节点由数据管理服务软件直接（或转发）送至调用者。详细的视频读取流程如下图所示：图5.视频读取流程 流程特点：视频数据是分散存储的，便于数据的快速提取及分析，提高了数据读取的速度，在可靠性和安全性上得到了加强。1.1.9 图片存储流程 云存储的图片存储流由两种不同流程组成：1、图片直存方式；2、图片非直存方式。图片直存云存储的方式可以省去交通综合管控平台的接入服务器，但直存云存储方案目前仅支持海康威视抓拍机单元。非直存云存储方式对抓拍机单元无限制，但对于交通综合管控平台的接入服务器的数量和要求有变化。1.1.9.1 图片直存流程 图片数据存储：直存流程

12、由卡口抓拍设备发起，抓拍机抓取图片后主动写入云存储中。写入完成后将云存储返回的 URL 地址上传至交通综合管控平台的接入服务器，由接入服务器写入数据库中保存。存储节点设备之间能够自动进行均衡负载，保证在故障时做到自动切换，不间断的提供图片数据的存储业务。详细的图片存储流程如下图所示：图6.图片直存流程 流程特点：1）图片数据由前端抓拍机直写入云存储，节省了平台大量接入服务器。2）图片数据的存储方案提供前端较高的兼容性能，能够支持多厂商前端的图片写入。3）图片数据是分散存储，将接入服务器推送的图片按照算法分散到不同的存储服务器上，提高数据写的速度，在可靠性和安全性上得到了加强。1.1.9.2 图

13、片非直存流程 图片数据存储：交通综合管控平台向交通云存储管理节点索要图片存储资源，存储管理节点直接分配存储资源给交通综合管控平台，平台的接入服务器开始将图片数据推送至指定存储资源内。存储节点设备之间能够自动进行均衡负载，保证在故障时做到自动切换，不间断的提供图片数据的存储业务。详细的图片存储流程如下图所示：图7.图片非直存流程 流程特点：1）部署接入服务器转发图片数据，能兼容更多前端抓拍设备；2）图片数据是分散存储，将接入服务器推送的图片按照算法分散到不同的存储服务器上，提高数据写的速度，在可靠性和安全性上得到了加强。1.1.10 图片检索流程 图片数据的索引数据是存储在交通综合管控平台自身的

14、数据库中，包含云存 储 URL 地址、过车信息等。因此图片检索流程由平台完成。1.1.11 图片下载流程 图片数据下载：用户通过交通综合管控平台下载监控点图片时，交通综合管控平台向交通云存储系统发送下载数据的请求，存储管理服务器转发请求到存储节点，数据从存储节点由数据管理服务软件直接（或转发）送至交通综合管控平台。详细的图片下载流程如下图所示：图8.图片下载流程 流程优点：图片数据是分散存储的，便于数据的快速提取及分析，提高了数据读取的速度，在可靠性和安全性上得到了加强。云存储管理服务器设计 1.1.12 数量配置 考虑到未来系统中的前端录像通道和抓拍车道数量总和会超过 1024 路，故采用管

15、理服务器集群模式。集群部署可以保持线性增长，三台管理服务器集群可以支撑 4000 路以内的摄像机通道规模。如果摄像机通道规模更大可以通过增加管理服务器台数来提高集群的性能，如 5 台管理服务器可支撑 6000 路、7 台管理服务器可支撑 8000 路。管理服务器的数量必须为奇数。管理节点集群部署是一种高可靠性、高稳定性的部署方式，此种方式是采用三台或三台以上奇数台服务器组成，安装交通云存储管理软件并运行集群工作模式，形成交通云存储管理集群。此种集群工作模式，可实现单台或多台服务器应用的故障切换和负载均衡，提高了交通云存储管理节点的可靠性和稳定性，系统性能也得到了很大的提高，是大型视频监控项目首

16、选的部署方式。集群部署物理拓扑如下图所示：图9.管理节点集群部署方式 1.1.13 硬件配置 存储管理服务器是基于 Intel 最新的 Romley 平台开发的一款高性能双路服务器，该服务器采用了全新的架构设计：在 CPU 内集成了 PCI-E，为 CPU 互联提供更多的 QPI 总线，更多的 CPU 内核数量等都直接带来了性能的大幅提升，相比上一代性能提升最高可达 80%。存储服务器最大可以支持内存容量 512GB，集成高性能 SAS 控制器，支持最多达 8 块热插拔 3.5 寸 SAS/SATA 硬盘或 2.5 寸SAS/SATA 硬盘，内部横插卡的设计可以满足全高扩展卡的需求，强大的扩展

17、性足以支撑关键任务的运行，满足资源密集型应用的需要。更多的 PCI-E 插槽、更高速率的 PCI-E 总线让用户轻松实现扩展。存储管理服务器非常适用于对服务器性能、扩展性及可靠性要求苛刻的数据中心环境。1）产品特点：全新处理器架构带来性能飚升；真正企业级的可靠和可用性；IO 超强扩展；横插卡设计支持全高扩展卡；模块化设计，免工具拆卸。2）配置要求：E5-2620 V2(6 核 2.1GHz)2/8GB DDR3 ECC4/600G 15K SAS2/热插拔/DVD/1000M NIC2/(1+1)冗余电源/导轨/2U 云存储存储设备设计 1.1.14 存储容量计算 混合云存储的存储容量包括视频

18、容量计算和图片容量计算两部分。1.1.14.1 视频监控录像存储容量 视频录像数据包括：监控摄像机全天候定时录像、事件触发录像、手动录像。视频监控系统一般采用 H.264 编码算法：1）设计码流为 1080P30 帧（19201080）68Mbps，这样的算法和带宽可以确保图像清晰度、色彩还原及编解码延时等几个关键指标的综合最佳效果。1 路 1080P 摄像机按照这样的码流计算 30 天的存储空间：8Mbps3600 秒24 小时30 天/1024/1024/8=2.48TB，根据具体情况（共规划建设视频监控系统 XX 套），存储容量总需求为：XXTB，系统建设存储设备总容量约为 XXTB。2

19、）设计码流为 720P25 帧（1280720）34Mbps，这样的算法和带宽可以确保图像清晰度、色彩还原及编解码延时等几个关键指标的综合最佳效果。1 路 720P 摄像机按照这样的码流计算 30 天的存储空间：4Mbps3600 秒24 小时30 天/1024/1024/8=1.24TB，根据具体情况（共规划建设视频监控系统 XX 套），存储容量总需求为：XXTB，系统建设存储设备总容量约为 XXTB。建议在项目设计规划好适当冗余空间，一般为总容量的110%-125%。1.1.14.2 车辆图片数据存储容量 车辆图片信息采用 JPEG 编码格式，符合 ISO/IEC154442000 要求，

20、压缩因子不高于 70，200 万高清摄像机输出照片文件平均大小为300Kb，300 万高清摄像机输出照片文件平均大小为 400Kb，600 万高清摄像机输出照片文件平均大小为 600Kb。例如对于 200 万高清摄像机按单车道日均 2000 辆流量估算，一个车道的图片信息按 6 个月的时间的容量计算公式如下：2000 辆0.3MB1 车道30 天/月6 个月/1024/10240.1TB 总存储容量=0.1卡口数量车道数 车辆图片数据根据具体情况（按照 XX 个车辆卡口，双向四车道计算），存储容量需求为：0.1XX4=XXTB。因此系统建设存储设备容量为 XXTB。建议在项目设计规划好适当冗余

21、空间，一般为总容量的 110%-125%。1.1.15 存储设备数量配置 以 36 盘位网络存储设备为例，为了保证数据的可靠性，存储设备一般采用如下冗余措施：每台设备配置 1 片热备盘，剩余 35 片盘做 3 组 RAID5。（建议：16 盘位和 24 盘位做 2 组 RAID5，36 盘位做 3 组 RAID5，48 盘位做 4 组 RAID5）。1）计算单块硬盘的实际可用存储容量 采用 3TB 企业级硬盘，标准 3TB 硬盘的由于十进制与二进制计数的不同，其实际容量为 3000GB（1.0241.0241.024）=2794GB；2）计算单台网络存储设备的实际可用存储容量 考虑到 RAID

22、5 冗余措施，每台设备可用的有效存储硬盘位32 片，同时考虑5%的格式化空间损失，则每台存储设备的净存储空间为：单台存储设备净存储空间=3 组 RAID 容量之和 2794GB110.9510242794GB110.9510242794GB100.95102482.94TB 3）根据总容量计算出所需要的设备数量和硬盘数量（考虑到存储数据一致性原则，建议视频和图片存储设备分别计算后得出系统总的存储设备数量）视频存储设备台数 M1=视频总存储容量/每台设备的净存储空间 图片存储设备台数 M2=图片总存储容量/每台设备的净存储空间 系统需要的存储设备数量 M=M1+M2 台 硬盘数量 A=存储设备台

23、数 M36 块 1.1.16 存储设备硬件配置 海康威视安防云存储设备，采用模块化结构，提供高性能的视频图片存储服务，快速响应高并发数据访问能力，高可靠业务保护，为大数据安防云存储系统提供高性价比的解决方案。1）产品特点 高密机箱设计:4U 机箱可支持 36 块硬盘，节省结构空间，节省项目建设 资源。高可靠系统设计:系统关键部件冗余设计，模块化抽屉式结构设计，全面提升系统可靠性；基于集群化技术，存储节点间负载均衡，互为备份，多节点故障时，业务自动调整服务不中断。高性能应用服务:基于离散存储技术，多设备可并发快速响应数据读取服务，可满足海量数据检索秒级呈现，数据高速下载的需求；基于虚拟化技术，所

24、有存储节点空间虚拟化成统一可用资源，用户通过接口即可访问，空间资源可灵活划分，录像空间支持动态扩大和缩小，且数据不丢失。低成本系统建设:支持视频、图片混合存储，且直接写入存储设备，无需流媒体服务器和图片服务器；支持流媒体转发服务，可节省转发服务器。高效能运维服务:具有完备的维护机制，提供维护工具；支持对 CPU、内存、网卡、磁盘等硬件的运行状态监控；支持软、硬件系统故障主动报警；支持设备故障、掉线主动报警。易扩展:通过堆叠或级联的方式实现存储容量和性能的线性增长，且扩容过程中服务部中断，轻松实现几十 TB 到上百 PB 的快速扩容。磁盘检测修复及 RAID 优化技术:提供磁盘使用前的预检技术，

25、做到未使用先预防；提供磁盘使用中的巡检技术，做到及时报警；提供磁盘故障后的修复技术和复活技术，提高磁盘使用效率。支持 RAID 0、1、3、5、6、10、50 多种 RAID 模式；支持 RAID 即建即用，支持逻辑卷的动态在线扩展。绿色节能:CPU 根据负载动态调节工作频率，降低系统功耗；提供智能精细化调速策略，有效提高散热效率、降低噪声；可依据业务负载的情况，使部分或全部无读写的硬盘进入休眠模式，减少能源浪费，延长硬盘寿命；采用金牌高效电源，提高电源转换效率，降低电能损耗 兼容开放：可提供全套 API 接口与第三方云存储系统对接；支持标准ONVIF、GB/T28181等标准前端接入。2）技

26、术参数 单控存储设备（DS-A71036R-CVS）序号 项目 技术规格 1 处理器 高性能 Intel 64 位四核 CPU 2 高速缓存 配置 8G，可扩展至 32G 3 主机接口 配置 2 个千兆以太网口，可增配 4 个千兆网口或 2 个万兆网口 4 RAID 类型 支持 RAID0、1、3、5、6、10、50 5 冗余电源 配置金牌冗余电源 6 冗余冷却系统 配置冗余风扇 7 硬盘槽位 4U，最大硬盘数36 8 硬盘类型 支持 SSD/SATA 硬盘混插；支持 3.5硬盘，支持 1TB、2TB、3TB、4T 硬盘 9 扩展性 配置 6Gb SAS 扩展接口 10 容错管理 支持坏扇区容

27、错，降低掉盘率，不影响业务，并可自动进行故障扇区修复；11 管理软件 支持基于 WEB 的中文 GUI 和可编程的 CLI 管理方式 12 云存储录像指标（主动）448 路*2M，并发 32 路预览+32 路回放 13 云存储图片指标（被动）400 路写入；100 路下载 双控存储设备（DS-A72036R-CVS）序号 项目 技术规格 1 处理器 两颗高性能 Intel 64 位六核 CPU 2 高速缓存 配置 16G，可扩展至 48G 3 主机接口 配置 4 个千兆以太网口，可增配 4 个千兆网口或 2 个万兆网口 4 RAID 类型 支持 RAID0、1、3、5、6、10、50 5 冗余电源 配置金牌冗余电源 6 冗余冷却系统 配置冗余风扇 7 硬盘槽位 4U，最大硬盘数36 8 硬盘类型 支持 SSD/SATA 硬盘混插；支持 3.5硬盘，支持 1TB、2TB、3TB、4T 硬盘 9 扩展性 配置 6Gb SAS 扩展接口 10 容错管理 支持坏扇区容错，降低掉盘率，不影响业务，并可自动进行故障扇区修复；11 管理软件 支持基于 WEB 的中文 GUI 和可编程的 CLI 管理方式 12 云存储录像指标（主动）448 路*2M，并发 32 路预览+32 路回放 13 云存储图片指标（被动）600 路写入；100 路下载