摄像机nas存储方案.docx

摄像机 NAS 存储方案NAS 英文全称为 Network Attached Storage，可译为网络附加存储，是一种专业网络数据存储备份设备。它以数据为中心，将存储设备与效劳器彻底分别， 集中治理数据，从而释放带宽、提高性能、降低总拥有本钱、保护投资。NAS 是一种专用的存储备份设备。NAS 实际上是一个带有瘦效劳器的存储设备，这种专用存储效劳器使用特地开发嵌入式的操作系统，去掉了通用效劳器操作系统上的大多数不适用的大多数计算功能，而仅仅供给文件系统功能。另外承受 NAS 技术的存储设备具备了磁盘阵列的高容量、高效能、高牢靠等主要特征。因此承受NAS 存储技术能很好的帮助用户实现以下功能： 1.快速地共享数据， 2.保存超大型文件，3.随便增加存储空间，4.数据安全保障。NAS 也可以理解为网络硬盘盒，里面内置硬盘的一个 UPNP 即插即用网络存储设备。NAS 和 SAN 一个最大的区分可以用一句话来形容：“SAN 是一个网络系统而 NAS 仅仅是一个设备”摄像机 NAS 存储方案主要是指摄像机不经过 NVR 或者视频平台，直接将 NAS 效劳器挂着到自身文件系统中，并将音视频码流存储到该路径下，从而实现录像功能。下面将从 3 个方面来解析该方案的具体内容。1， NAS 术分析NAS 的全称为Network-Attached Storage，人们通常称之为“网络附加存储”或“网络存储设备”。NAS 开头作为一种开放系统技术是由 Sun 公司于上个世纪80 年月中期推出的 NFS 开头的。它是一种向用户供给文件级效劳的专用数据存储设备，直接连到网络上，不再挂接效劳器后端，避开给效劳器增加 I/O 负载。1.1 NAS 所使用的协议NAS 目前承受的协议是 NFS 和 CIFS。NFS(Network File System)协议是 1985 年由 Sun 公司开发的基于 Unix 环境下的网络文件系统。它承受 TCP/IP，其主、从连线可掩盖整个互联网。也就是说，处在不同区域的 NFS 客户机也可通过互联网共享相隔万里的另一台 NFS 效劳器的文件档案。NFS 是 Unix 系统间实现磁盘文件共享的一种方法，支持应用程序在客户端通过网络存取位于效劳器磁盘中数据的一种文件系统协议。相比之下，SAN 承受的网络文件系统，作为高层协议， 需要特别的文件效劳器来治理磁盘数据，客户端以规律文件块的方式存取数据， 文件效劳器使用块映射存取真正的磁盘块，并完成磁盘格式和原数据治理。CIFS(Common Internet File System) 则是由微软开发，用于连接 Windows 客户机和效劳器的通用互联网文件系统。后来经过 Unix 效劳器厂商的重开发后，它可用于连接 Windows 客户机和 Unix 效劳器，执行文件共享和打印等任务。它最早的由来是 NetBIOS，这是微软开发的在局域网内实现基于 Windows 名称资源共享的 API。之后，产生了基于 NetBIOS 的 NetBEUI 协议和 NBT(NetBIOS OVER TCP/IP)协议。NBT 协议进一步进展为 SMB(Server Message Block Potocol)和CIFS 协议。其中，CIFS 用于 Windows 系统，而SMB 广泛用于 Unix 和 Linux，两者可互通。SMB 协议还被称作 LanManager 协议。CIFS 可籍由与支持 SMB 的效劳器通信而实现共享。1.2.NAS 的构成和拓扑构造对于 NAS 网络存储设备自身而言，它是直接连接到网络上，而不需像通常的存储设备那样挂接在效劳器后，这样可最大程度减小效劳器的 I/O 负载。以下图是NAS 的构造图。(图 01，NAS 构造图)NAS 从构造上可以分解为存储设备、网络局部、掌握器局部三局部。存储设备可是磁盘和磁带，或是 RAID 磁盘阵列。由于 NAS 的市场定位，在SAN 中承受的 FC(Fiber Channel)技术和 Fabric 交换技术由于其本钱较高，在中低端几乎没有选用。而SCSI 技术则是在中端和局部高端NAS 中广泛承受的技术。另外，iSCSI 给存储带来了一个崭的进展方向，SATA 和 SATA300 等 IDE 技术也有用在低端 NAS 的存储设备上。这类存储设备拥有一个共有的特点就是低本钱优势。网络局部可支持各种网络技术，支持多种网络拓扑。虽然 NAS 理论上可支持各种拓扑构造和网络协议，但由于以太网技术是目前最普遍的一种局域网技术， 特别是快速以太网络技术，数据传输率已经到达了 1Gbps，且正在推出 10Gbps 的标准和技术，这些都确定了以太网技术的霸主地位，因此以太网是 NAS 设备通常承受的技术。掌握器局部从构造和功能上讲就像是一个有着自己的 CPU 和自己的操作系统的瘦效劳器(Thin Server)，NAS 实际上是一个专用的网络文件效劳器。NAS 网络存储设备是直接通过数据网络向客户段供给文件共享的，它所连接的网络介质可以是局域网、广域网。以下图是一种比较典型的 NAS 拓扑构造(图 02，典型的 NAS 拓朴构造)NAS 与传统的以太网相连，使用的是 TCP/IP 协议，当需进展文件共享和访问时则利用 NFS 和 CIFS 以沟通 Windows NT 或 Unix 系统。NAS 的这种构造奠定了它自身的优点，那就是配置敏捷、治理便利，另外本钱较低，不需要配置额外的网络配件。但由于 NAS 是直接与网络相连的，无疑在数据传输时会增加网络负担，一旦发生网络拥塞，其性能会大幅下降。所以 NAS 自身要受到网络传输力量的制约。1.3 摄像机挂载 NAS 设备机一般使用 linux 系统，一般可以通过 nfs 协议去挂载 NAS 设备。通过 mount 命令挂载 nfs 名目的方法:mount -t nfs hostname(orIP):/directory /mount/point 具体例子:Linux: mount t nfs 192.168.0.1:/tmp /mnt/nfs mount nfs 的其它可选参数:HARD mount 和 SOFT MOUNT:HARD: NFS CLIENT 会不断的尝试与 SERVER 的连接(在后台,不会给出任何提示信息,在 LINUX 下有的版本仍旧会给出一些提示), 直到 MOUNT 上.SOFT:会在前台尝试与 SERVER 的连接,是默认的连接方式.当收到错误信息后终止 mount 尝 试 , 并 给 出 相 关 信 息 . 例 如 :mount itnfs o hard 192.168.0.10:/nfs /nfs对于到底是使用 hard 还是 soft 的问题,这主要取决于你访问什么信息有关.例如你是想通过 NFS 协议来运行 X PROGRAM 的话,你确定不会期望由于一些意外的状况(如网络速度一下子变的很慢,插拔了一下网卡插头等)而使系统输出大量的错误信息,假设此时你用的是HARD 方式的话,系统就会等待,直到能够重与NFS SERVER 建立连接传输信息.另外假设是非关键数据的话也可以使用SOFT 方式,如FTP 数据等,这样在远程机器临时连接不上或关闭时就不会挂起你的会话过程. rsize 和wsize:文件传输尺寸设定:V3 没有限定传输尺寸,V2 最多只能设定为 8k, 可以使用 rsize and wsize 来进展设定.这两个参数的设定对于 NFS 的执行效能有较大的影响bg:在执行 mount 时假设无法顺当 mount 上时,系统会将 mount 的操作转移到后台并连续尝试 mount,直到 mount 成功为止.(通常在设定/etc/fstab 文件时都应当使用 bg,以避开可能的 mount 不上而影响启动速度)fg:和 bg 正好相反,是默认的参数 nfsvers=n:设定要使用的 NFS 版本,默认是使用 2,这个选项的设定还要取决于 server 端是否支持 NFS VER 3mountport:设定 mount 的端口port:依据 server 端 export 出的端口设定,例如假设 server 使用 5555 端口输出 NFS,那客户端就需要使用这个参数进展同样的设定timeo=n:设置超时时间,当数据传输遇到问题时,会依据这个参数尝试进展重传输.默认值是 7/10 妙(0.7 秒).假设网络连接不是很稳定的话就要加大这个数值,并且推举使用 HARD MOUNT 方式,同时最好也加上 INTR 参数,这样你就可以终止任何挂起的文件访问.intr 允许通知中断一个 NFS 调用.当效劳器没有应答需要放弃的时候有用处. udp:使用 udp 作为 nfs 协议的传输协议(NFS V2 只支持 UDP)tcp:使用 tcp 作为 nfs 的传输协议namlen=n:设定远程效劳器所允许的最长文件名.这个值的默认是 255acregmin=n:设定最小的在文件更之前 cache 时间,默认是 3 acregmax=n:设定最大的在文件更之前 cache 时间,默认是 60 acdirmin=n:设定最小的在名目更之前 cache 时间,默认是 30 acdirmax=n:设定最大的在名目更之前 cache 时间,默认是 60actimeo=n:将 acregmin?acregmax?acdirmin?acdirmax 设定为同一个数值,默认是没有启用.retry=n:设定当网络传输消灭故障的时候 ,尝试重连接多少时间后不再尝试 . 默认的数值是 10000 minutesnoac:关闭 cache 机制.同 时 使 用 多 个 参 数 的 方 法 :mount t nfs o timeo=3,udp,hard 192.168.0.30:/tmp /nfs 请留意,NFS 客户机和效劳器的选项并不肯定完全一样, 而且有的时候会有冲突.比方说效劳器以只读的方式导出 ,客户端却以可写的方式 mount,虽然可以成功 mount 上,但尝试写入的时候就会发生错误.一般效劳器和客户端配置冲突的时候,会以效劳器的配置为准./etc /fstab 的设定方法/etc/fstab 的格式如下:fs_spec fs_filefs_type fs_optionsfs_dump fs_passfs_spec:该字段定义期望加载的文件系统所在的设备或远程文件系统,对于 nfs 这个参数一般设置为这样:192.168.0.1:/NFSfs_本地的挂载点fs_type:对于 NFS 协议来说这个字段只要设置成 nfs 就可以了fs_options:挂载的参数,可以使用的参数可以参考上面的 mount 参数.fs_dump 该选项被“dump“命令使用来检查一个文件系统应当以多快频率进展转储,假设不需要转储就设置该字段为 0fs_pass 该字段被 fsck 命令用来打算在启动时需要被扫描的文件系统的挨次, 根文件系统“/“对应当字段的值应当为 1,其他文件系统应当为 2.假设该文件系统无需在启动时扫描则设置该字段为 0 .与 NFS 有关的一些命令介绍nfsstat: 查看 NFS 的运行状态,对于调整 NFS 的运行有很大帮助rpcinfo: 查看 rpc 执行信息,可以用于检测 rpc 运行状况的工具.具体实现时，通过上述命令我们可以监测实际应用场景的各种突发状况，从而实行对应的措施，防止消灭设备死机或者录像文件丧失的状况。2,录像格式在将音视频数据存储到文件系统中时，一般我们需要将其依据某种封装格式进展封装，一般摄像机要存储的视频流编码格式是 h264，h265 等，音频编码格式是 G 711,ACC 等。而将对应的音视频数据封装起来，同时保存它们的同步信息，就需要封装格式。目前比较常见的封装格式有 asf,AVI,ts,MKV,MP4 等。在对音视频数据进展封装时需要考虑的一个问题是当设备意外掉线断电， 断网，或者磁盘阵列特别时，如何处理未完整的视频文件。一般各种封装格式都会在录像文件开头或者完毕存放该文件的音视频信息，比方 asf 格式把音视频数据存放在固定大小的 box 块上，然后在文件结尾依据先后挨次写入每一个 box 块的信息如时间戳，序号，类型等,这些信息都是在写完一个录像文件后才填到末尾的。当设备掉线时，这些信息会丧失，从而导致录像文件损坏，简洁造成较长时间的录像丧失。为防止该现象，一般在向录像文件写音视频数据的同时，我们会把录像信息写入一个临时文件，录像完毕时会把这个临时文件删除。在开头的录像文件时，先检查是否存在临时文件，假设存在则说明之前设备消灭掉线， 这时候我们需要对上一个录像文件进展修复，把临时文件里的信息填写到录像文件末尾。3,录像流程正常的录像流程是先在制定路径翻开一个文件，然后持续写入音视频数据， 当数据量到达上限后关闭文件，重翻开的录像文件。在具体实现时，我们需要将挂载、封装、录像三局部内容结合在一起。在代码中这个三局部分为 3 个单元。录像单元作为整个模块的驱动源，设置开头录像时，录像单元会调用挂载单元的接口，检查磁盘是否正常挂载，假设是刚开头录像挂载单元会进入连接 NAS 效劳器流程，该流程会依据前述的指令去登陆 NAS 效劳器并挂载到指定名目下。挂载成功之后调用封装单元的接口，创立录像文件，然后从 APP 的 sharebuf 缓冲区按帧读取数据，再调用封装单元的接口将数据进展处理并写入文件，封装单元在对数据进展处理同时会对音视频信息进展统计，并将统计信息进展记录，当录像文件大小到达上限时一般会依据指定大小或者时长来设置上限，封装单元执行关闭录像文件操作，该操作包含对录像文件的最终封装，关闭操作等。然后又回到刚开头的状态，重翻开的录像文件。需要特别留意的是，在录像单元运作的同时，会创立一个特地的监视线程，用于推断录像单元是否卡住后者挂掉， 这是针对 NAS 协议缺陷而设置的，当 NAS 效劳器消灭特别时，客户端程序会无期限的等待效劳器的答复，简洁造成死机。监视线程觉察录像单元工作特别时，会实行对应措施进展处理，包括强制终止录像，断开 NAS 效劳器等。该模块包含的三个单元挂载、封装、录像接口按标准化设计，具有很强的扩展性，假设要增加的协议如iscsi，或者增加的封装格式等，只需要依据标准化接口实现的协议和封装格式，就可以完成扩展。