交通云存储系统总体设计方案.pdf
《交通云存储系统总体设计方案.pdf》由会员分享,可在线阅读,更多相关《交通云存储系统总体设计方案.pdf(18页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、 交通云存储系统总体设计方案 交通云存储系统是由 AA 自主研发的一套针对安防监控行业应用的专业级云存储系统。采用软硬件一体化设计,结合先进的集群化技术、虚拟化技术、离散存储技术等,通过流式文件系统对存储资源进行虚拟化和应用化整合,为用户提供高性能、高稳定、高扩展性的数据存储服务。逻辑架构 交通云存储系统采用分层结构设计,整个系统从逻辑上分为五层,分别为设备层、存储层、管理层、接口层、应用层。图1.云存储逻辑架构图 1)设备层 设备层是云存储最基础、最底层的部分,该层由标准的物理设备组成,支持标准的 IP-SAN、FC-SAN 存储设备。在系统组成中,存储设备可以是 SAN 架构下的 FC 光
2、纤通道存储设备或 iSCSI 协议下的 IP 存储设备。2)存储层 在存储层上部署云存储流数据系统,通过调用云存储流数据系统,实现存储传输协议和标准存储设备之间的逻辑卷或磁盘阵列的映射,实现数据(视频、图片、附属流)和设备层存储设备之间的通信连接,完成数据的高效的写入、读取和调用等服务。3)管理层 在管理层,融合了索引管理、计划管理、调度管理、资源管理、集群管理、设备管理等多种核心的管理功能。可以实现存储设备的逻辑虚拟化管理、多链路冗余管理、录像计划的主动下发,以及硬件设备的状态监控和故障维护等;实现整个存储系统的虚拟化的统一管理,实现上层服务(视频录像、回放、查询、智能分析数据请求等)的响应
3、。4)接口层 应用接口层是云存储最灵活多变的部分,接口层面向用户应用提供完善以及统一的访问接口,接口类型可分为 Web Service 接口、API 接口、Mibs 接口,可以根据实际业务类型,开发不同的应用服务接口,提供不同的应用服务。实现和行业专属平台、运维平台的对接;实现和智能分析处理系统之间的对接;实现视频数据的存储、检索、回放、浏览转发等操作;实现关键视频数据的远程容灾;实现设备以及服务的监控和运维等。5)应用层 应用层包括交通综合管控平台、运维平台等应用平台,应用平台通过相应的接口与交通云存储系统对接,实现与交通云存储系统之间的数据以及信令的交互。交通综合管控平台可与交通云存储系统
4、进行配置录像计划、配置存储策略、检索视频资源、重要录像的备份存储等指令的交互,辅助流数据、视频数据、图片数据的存取。运维平台采用标准的 SNMP 协议实现并提供 Mibs 接口,对交通云存储系统以及服务进行监控管理,及时将产生的告警传递给用户。技术路线 交通云存储系统基于云架构进行开发,采用面向交通用户业务应用的设计思路,融合集群应用、负载均衡、虚拟化、云结构化、离散存储等技术,可将网络中大量各种不同类型的存储设备通过专业应用软件集合起来协同工作,共同对外提供高性能、高可靠、不间断的数据存储和业务访问服务。在交通云存储系统的设计中,采用的核心技术如下:1)采用存储全域虚拟化技术对具有海量存储需
5、求的用户提供透明存储构架,可持续扩容避免瓶颈限制,可以更有效的进行资源管理,灵活增减空间,达到最大程度上合理利用空间的效果。2)采用集群技术,解决单/多节点失效问题,并利用负载均衡技术充分利用各存储节点的性能,提升系统的可靠性和安全性。3)采用离散存储技术,保障了用户高效的读写的同时保证了业务的持续性。4)采用统一完善的接口,降低对接成本、平台维护成本和用户管理的复杂度。5)采用开放的集成构架,使其可兼容业界各类 iSCSI/FC 存储设备,保护用户现有存储投资资源。6)采用数据备份和容灾技术,保证云存储中的数据不丢失,确证云存储服务的安全稳定。7)可采用视频、图片的全直存技术方案(需要前端支
6、持),保证项目整体的成本控制,优化存储系统流程。系统特点 交通云存储系统通过全集群化设计、全域虚拟化设计、分布式文件系统设计、面向应用的算法、功能设计为用户提供了更为海量的存储空间、更为庞大的前端路数支持、更为高效的处理能力、更为透明的系统环境。对于面向视频、图片等监控行业无疑是一套非常优秀的云存储系统。1.1.1 高效灵活的空间管理 交通云存储系统具有高效灵活的空间管理能力。为了突破传统存储在存储容量和系统性能上的矛盾,在管理大容量空间时通过全系统分层集群的设计将系统的管理资源进行整合,并根据负载均衡算法提供全高效并发处理机制,大大地提高了系统的整体性能。1)存储资源的虚拟化 对存储空间的管
7、理方面交通云存储系统将全域各存储节点的资源进行虚拟化后,向用户呈现出一个持续的、超大的数据资源池,将其称之为存储资源池。存储资源池的整合过程完全透明,由系统算法自行完成,将用户从繁琐的空间管 理和配置中解脱出来,提高了管理效率。2)存储资源的在线扩展 当存储资源无法满足用户的容量需求,需要进行存储资源的扩展时,交通云存储系统能为用户提供十分便易的操作。用户只需要在集群内添加新增存储设备的 IP 地址,系统会自动辨别新增设备,对新增设备进行虚拟化整合,这样新增设备的容量就能融入集群,并作为集群内全部存储资源的一部分为用户所用;同时,在整个存储资源的扩展过程中,交通云存储系统的录像业务正常运行,保
8、障用户不会因为系统的扩容而中断正在进行的正常业务,从而实现存储资源的在线扩展。云存储的系统架构保证了存储资源在线扩容的同时,可以满足容量与处理性能的线性增长,从而提供了无限制的容量增长能力。3)虚拟空间的灵活使用 用户对存储资源池的使用完全可以做到随心所欲,可以按照监控系统的需要和监控区域的容量大小将存储资源池的存储资源进行分配,分配后的存储资源称为录像池。录像池的划分采用灵活策略方式,对于已经分配好的并在线运行的录像池策略依然能够进行调整。调整方式非常灵活,不但能够做到将录像池进行扩大,同时也能非常灵活的支持将录像池进行缩小,而这点在传统存储中则非常困难。1.1.2 海量数据的快速检索 交通
9、云存储系统在管理着 PB 级的存储容量空间时,依然能够具备高效、准确、快速的数据检索能力。1)一体化索引设计 交通云存储系统的索引管理遵循着高效、简洁、一体化的设计思路。所有与用户业务相关的索引信息统一由交通云存储系统的视频云存储管理节点或者集群进行管理。视频云存储管理集群在对索引的一体化设计上将海量数据索引查找、筛选进行了全面的优化,大大的提高了查找速度。在规模不断扩大时性能几乎相同,均能做到毫秒级耗时。2)深化的应用设计 交通云存储系统本着交通云存储系统的特有性,在视频、图片的某些专有信息上也进行了独特的设计。可以支持快速的对 I 帧定位并直接读取 I 帧信息,避免了传统存储在 I 帧数据
10、获取时反复读取视频数据再分析呈现的过程。该项设计使得交通云存储系统在数据存储索引设计与用户应用更紧密地进行了融合,使得交通云存储系统能够为用户提供更为高效的海量数据的快速检索能力。1.1.3 持续可靠的数据服务 交通云存储系统为用户能够提供 7X24 小时不间断高效可持续的数据服务,充分保护数据安全和可靠性。1)集群化管理节点设计 交通云存储系统在管理层面通过部署集群化交通云存储管理节点向用户提供系统级的存储性能和可靠性。通过交通云存储管理集群将管理压力、业务压力、调度压力、检索压力等同时分担在不同的视频云存储管理节点上,不但能够使系统整体性能提升,还可以使得单台节点的压力下降。通过这种方式单
11、台视频云存储管理节点的系统消耗更小,也就使得使用寿命更长,可能出现故障的概率降低。即使交通云存储管理集群中部分(一台或多台)节点出现故障,也不会影响到交通云存储系统的服务,因为在交通云存储管理集群中的其他节点会主动接过故障节点的工作,继续为交通云存储系统提供管理服务。2)持续并发业务存取 在数据存储层面同样由于交通云存储节点也采用的集群化部署,所有的存储资源是采用虚拟化的方式由系统统一进行管理的。在数据存储时交通云存储系统采用离散存储算法,可以为用户提供系统级分散存储服务。支持将同一IPC 提供的数据流按照分片的方式分布式存储在不同交通云存储节点上。这样即使单台或多台存储节点出现故障该IPC
12、的录像数据仍然可用。在存储节点内运行管理和业务软件也可用对数据进行合理分配,同时高效的 Raid技术在设备层面也能保证数据的高安全和可靠性。3)高可靠的录像功能 交通云存储系统在存储节点上内置视频云接入软件,所提供的录像服务和流 媒体服务也是由交通云存储管理节点统一进行调度的,每套视频云接入软件负责一部分前端的录像工作。当这台节点宕机时交通云存储管理集群会根据当前资源情况按照负载均衡策略将这部分录像任务重新进行分配,保证业务的不中断。1.1.4 高可扩展的应用支撑 交通云存储系统是一套为视频、图片等监控行业而设计交通云存储系统。其先天的基因中就融入了面向应用的特质,在不断发展的趋势下这种面向应
13、用的特质会不断地为用户提供高效、灵活、可靠、的专业级存储服务。1)数据应用性能支撑 由于视频数据具有持续时间长、数据量大等特点,在存储和读取上对存储设备的压力会尤其的严重。传统存储在遇到视频流数据的时候往往会出现存储/读取慢、前端支持路数底的瓶颈。而交通云存储系统就能够很好的解决这些问题。2)流数据存储结构设计 交通云存储系统的集群化、分布式设计使得系统的性能有很大的提升,能够并发服务以满足视频数据的高速读取需求。交通云存储系统的流数据结构系统也是专门为视频、图片数据而设计,能够合理将整段数据进行划分。这样设计的优点是满足视频数据的持续写入。对于划分的粒度,通过 AA 多年视频监控行业的服务经
14、验,同时配合对大数据服务的扩展需要,以及考虑到后期数据读取和应用的频率而进行的专业调整。在具体存储空间的分配上 AA 交通云存储也是自有知识产权的设计,摒弃传统存储的分配方式而为视频、图片数据而特别设计的。3)高扩展性应用设计 视频录像的应用方面 AA 交通云存储也进行了充分的考虑。如支持对 I 帧的快速定位、对录像标注、修改、对存储周期采用时间和存储容量双轴线覆盖策略等。AA 交通云存储这些专业化设计使得用户在应用过程中不再需要平台分析服务器采用反复读取完整录像后再进行分析而得出结论的方式。这样大大优化了应用的服务质量,使得监控系统的服务也更加专业、有效。同时为有云计算需求的用户提供了优质的
15、数据基础。1.1.5 开放透明的兼容系统 交通云存储系统的设计理念就是通过云的概念将所有不同类型的应用、业务接口全部封闭在云内,为上层业务和用户提供统一的、透明的、可调用的系统级存储资源。1)统一开发平台接口 云存储系统在软件接口设计上采用 API 的模式对内部所有处理模块进行筛选,将对业务有决定性的模块按照接口的模式进行统一封装,提供给上层业务进行调用,这样云存储系统内部实现对上层业务就不再重要,上层业务只用调用云存储系统提供的统一接口即可,大大的优化了上层业务的代码结构、简化了操作步骤,也将应用的效率和性能进行了大幅提高。2)标准第三方设备接入 交通云存储系统采用的是标准的设备兼容模式,支
16、持标准 IP SAN、FC SAN存储设备的接入。交通云存储系统通过部署第三方存储服务节点的方式,将用户环境中现有或者需要使用的标准第三方存储设备统一进行管理。第三方存储设备接入到交通云存储系统后,由交通云存储管理集群统一进行管理,第三方存储设备的资源也纳入到虚拟池内进行管理。用户在使用上并不会感受到差别,真正实现透明、统一、兼容的交通云存储系统。应用场景 交通云存储系统解决方案作为交通行业监控整体方案中的存储技术部分,支持纯视频云存储场景、纯图片云存储场景、视频与图片混合类云存储场景,本方案针对视频与图片混合类云存储场景进行设计。视频与图片混合云存储场景支持一套云存储能同时满足视频和图片数据
17、的存储要求,并综合视频和图片的在云存储系统中的存储优势,将复杂的业务存储场景简单化,向用户提供一体化的存储解决方案。对于视频数据流采用直写方式存储到存储磁盘阵列上;对于图片数据流需要通过平台接入服务器转发到存储磁盘阵列,当前端设备支持图片直存时,可以采用图片直存云存储方案,可节省接入服务器,在提高存储系统的效率和可靠性的 同时,可以节省项目的整体成本。系统软硬件设计 1.1.6 软件设计 交通云存储系统主要由以下软件组成:交通云存储管理软件(CVM),交通云存储存储软件(CVS),交通云存储接入软件(CVA)和交通云存储异构软件(ASS)。1.1.6.1 交通云存储管理软件 CVM 交通云存储
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 交通 存储系统 总体 设计方案
限制150内