基于嵌入式Linux下视频监控系统的研究_赵舒畅.docx

《基于嵌入式Linux下视频监控系统的研究_赵舒畅.docx》由会员分享，可在线阅读，更多相关《基于嵌入式Linux下视频监控系统的研究_赵舒畅.docx（82页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 中图分类号： TN919.8 论文编号： _ 学科分类号： 510.40 密 级： . 公开 安徽理工大学 硕士学位论文 基于嵌入式 Linux下视频监控系统的研究 作者姓名： 赵舒畅 _ 专业名称： _ 电路与系统 _ 研宄方向： 嵌入式系统与计算机控制 导师姓名： 李良光副教授 导师单位： 安徽理工大学 答辩委员会主席： 杨 畅 高 工 论文答辩日期： 2016年 6月 2日 安徽理工大学研宄生处 2016年 6月 10日 A Dissertation in Circuits and Systems Research of Video Surveillance System Based

2、on V Embedded Linux Candidate: Zhao Shuchang Supervisor: Li Liangguang School of Electrical and Information Engineering AnHui University of Science and Technology No. 168, Shungeng Road, Huainan,232001,P.R. CHINA 独 创 性 声 明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方以外，论文中不包含其他人已经发表或

3、撰写过的研究成果，也不包 含为获得 安徽理工大学 或其他教育机构的学位或证书而使用 过的材料 .与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意。 学位论文作者签名： 知參于中勿 日期 :一年 月 /0日 学位论文版权使用授权书 本学位论文作者完全了解 安徽理工大学 有保留、使用学位 论文的规定，即：研究生在校攻读学位期间论文工作的知识产权 单位属于 安徽理工大学 。学校有权保留并向国家有关部门或机 构送交论文的复印件和磁盘，允许论文被查阅和借阅 .本人授权 安徽理工大学可以将学位论文的全部或部分内容编入有关数 据库进行检索，可以采用影印、缩印或扫描等复制手段保存

4、 V汇 编学位论文 .（ 保密的学位论文在解密后适用本授权书） 学 位 论 文 作 者 签 名 ： 字 曰 期 年 6 月作曰 摘要 摘要 随着计算机多媒体、互联网技术的不断发展，在银行、商场监控、城市交 通和酒店等安全保卫方面，视频监控产品的应用可以随处可见，由此可见在安 保方面对于视频监控的需求日渐增加。 在我国现阶段，流媒体技术以及嵌入式网络视频监控技术的研发还不够成 熟，并且视频传输对网络带宽有较高的要求。如何在低宽带的情况下实现视频 的传输和显示，一直是该领域研究的热点和难点。随着视频监控领域图像编码 技术的不断发展，其中 H.264编码技术的出现是视频编码技术重大突破，其在 视频编

5、码方面的独特优势，使其在视频监控领域得到了广泛的应用。因此本文 设计一种基于 H.264的视频编码技术的嵌入式视频采集传输系统。 视频监控系统的设计主要包括了整个系统的开发流程，运用模块化分析设 计的方法，针对每个模块具体实现的功能去讨论、分析和实现。本设计是基于 Tiny4412开发套件进行开发设计，在开发平台移植 Linux3.5内核，将 ZC301摄 像头驱动 编译进内核，在 ZC301摄像头对图像信息进行采集之后，再利用 H.264 开源编码库对摄像头采集到图像信息进行压缩编码，并对编码后的数据进行 RTP打包处理，最后通过套接字进行网络传输。远程的客户端通过网络套接字 接收服务器端图

6、像码流，然后再进行解码和显示。客户端则是在 Android平台 上实现，主要分为视频码流的接收模块、解码模块和显示模块。在客户端针对 接收分析和解码之间的冲突造成视频数据的阻塞、解析时丢包、解码错误等造 成的视频延迟、不流畅等问题，采取了多线程的编程思想，并设置缓冲区对视 频数据进行有效 的缓冲机制来实现各个模块的之间的连贯性，以实现最终视频 画面在终端界面的流畅显示，达到很好的稳定性。 图 36参 56 关键词：嵌入式；视频监控； H.264; Tiny4412; FFmpeg; Android 分类号： TN919.8 Abstract With the continuous develo

7、pment of computer multimedia and internet technology, banks, shopping malls monitoring, traffic and hotel security and the application of video surveillance products can be everywhere, thus it can be seen in the security of demand for video surveillance of increasing. At the present stage of our cou

8、ntry, streaming media technology and the embedded network video monitoring technology research and development is not mature enough, and video transmission on the network bandwidth have higher requirements. How to in low bandwidth achieve video transmission and show that is a hot and difficult topic

9、 in the research in this field. With the continuous development of the field of video surveillance image coding technology, including H.264 coding technology is a major breakthrough in video coding technology, the unique superiority in video coding, the has been widely used in the field of video sur

10、veillance. In this paper, we design an embedded video capture and transmission system based on H.264. The design of video monitoring system mainly includes the development process of the whole system, using the method of modular analysis and design, to discuss, analyze and implement the function of

11、each module. The design is based on Tiny4412 development kit for design and development, in development platform transplantation Linux3.5 kernel and ZC301 camera driver is compiled into the kernel, after ZC301 camera for image information acquisition and reuse source H.264 encoding Library of camera

12、 acquisition to image information compression, and the encoded data of RTP package processing, finally through the socket network transmission. The remote client receives the image code stream of the server through the network socket, and then carries on the decoding and the display. The client is i

13、mplemented on the Android platform, which is mainly divided into the receiving module, the decoding module and the display module of the video stream. On the client for receiving the conflict between analysis and decoding caused by obstruction, analytical packet loss, decoding errors caused by video

14、 video data delay, not smooth, take the multi thread programming ideas, and setting the buffer of video data for efficient buffer mechanism to achieve coherence betwthe ultimate video screen fluency in terminal interface display, to achieve very good stability. Figure36 Reference56 Keywords： Embedde

15、d; Video monitoring; H.264; Tiny4412; FFmpeg; Android Chinese books catalog： TN919.8 目 录 摘要 . I Abstract . II . IV Contents . VI 1 胃 &. . 1 1.1课题研究的背景和意义 . .1 1.2视频监控的发展历程 . 1 1.2.1模拟视频监控系统 . 2 1.2.2基于 PC的数字视频监控系统 . 3 1.2.3嵌入式上的数字化网络视频监控系统 . 4 1.3发展趋势及国内外现状 . 4 1.4 本文主要工作和结构 . 5 2视频编码技术的发展 . 7 2.1视频

16、编码的发展历程 . 7 2.1.1 H.261视频编码标准 . 7 2.1.2 MPEG-1视频编码标准 . 7 2.1.3 MPEG-2视频编码标准 . 8 2.1.4 H.263视频编码标准 . 8 2.1.5 MPEG-4视频编码标准 . 9 2.1.6 H.264视频编码标准 . 10 2.2 H.264特点和优势 . 10 2.3 本章小结 . 11 3软硬件平台的搭建与介绍 . 12 3.1硬件平台 . 12 3.1.1 ARM处理器介绍 . 13 3.1.2 Tiny4412 主要接 口电路 . 16 3.2 软件平台 . 22 3.2.1 Ubuntu 15.04 . 22 3

17、.2.2 启动过程分析 . 23 3.2.3 U-Boot 移植 . 25 IV 3.2.4根文件系统制作 . 28 3.3 本章小结 . 31 4 H.264远程视频监控系统的实现 . 33 4.1视频图像的采集和压缩 . 33 4.1.1 USB驱动和 ZC301驱动的加载 . 33 4.1.2 H.264编码库的移植 . 35 4.1.3图像采集传输程序 . 35 4.1.4图像数据的压缩编码 . 40 4.2视频图像的网络传输 . 41 4.2.1 传输协议的选择 . 41 4.2.2传输程序编写 . 42 4.3服务器端程序的设计与实现 . 45 4.3.1服务器整体功能模块分析 .

18、 45 4.3.2服务器端程序测试 . 47 4.4客户端程序的设计与实现 . 50 4.4.1 Android开发平台的搭建 . 50 4.4.2 Android 平台上 FFmpeg 的移植 . 52 4.4.3客户端程序模块分析与运行测试 . 58 4.5 本章小结 . 62 5总结与展望 . 63 5.1 总结 . 63 5.2 展望 . 63 参考文献 . 65 . 69 作者简介及读研期间主要科研成果 . 71 Contents Abstract(Chinese) . I Abstract . II 1 Introduction . 1 1.1 The background and

19、 significance of the research . 1 1.2 Development of video surveillance . 1 1.2.1 Analog video surveillance system. . 2 1.2.2 Digital video surveillance system based on pc . 3 1.2.3 Embedded digital network video monitoring system . 4 1.3 Development trend and current situation at home and abroad .

20、4 1.4 The main work and structure of this paper . 5 2 Development of video coding technology . 7 2.1 Development of video coding . 7 2.1.1 H.261 video coding standards . 7 2.1.2 MPEG-1 video coding standards . 7 2.1.3 MPEG-2 video coding standards . 8 2.1.4 H.263 video coding standards . 8 2.1.5 MPE

21、G-4 video coding standards . 9 2.1 6 H.264 video coding standards . 10 2.2 H.264 features and advantages . . 10 2.3 Summary . 11 3 Construction and introduction of software and hardware platform . 12 3.1 Hardware platform . 12 3.1.1 ARM Processor introduction . 13 3.1.2 Tiny4412 main interface circu

22、it . 16 3.2 Software platform . 22 3.2.1 Ubuntul5.04 . 22 3.2.2 Start up process analysis . 23 3.2.3 U-Boot transplant . 25 3.2.4 Root file system . 28 3.3 Summary . 31 4 H.264 Realization of remote video monitoring system . 33 4.1 Video image capture and compression . . . 33 4.1.1 USB driver and ZC

23、301 driver loading . 33 4.1.2 H.264 transplantation of code base . 35 4.1.3 Image acquisition and transfer program . . 35 4.1.4 Image data compression coding . 40 4.2 Network transmission of video image . 41 4.2.1 Transport protocol selection . 41 4.2.2 Transmission procedure . 42 4.3 Design and imp

24、lementation of server side program . 45 4.3.1 Analysis of overall function module of server . 45 4.3.2 Server side program test . . . 46 4.4 Design and implementation of client program . 50 4.4.1 Android development platform to build . 50 4.4.2 FFmpeg transplantation on Android platform . 52 4.4.3 C

25、lient program module analysis and operation test . 58 4.5 Summary . 62 5 Summarization and prospect . 63 5.1 Summary . 63 5.2 Expectation . 63 Reference . .65 Acknowledgements . 69 Resume of author and the main research achievements of Graduate School . . 71 1绪 论 1.1课题研究的背景和意义 现如今人们对于人身和经济财产的保护意识也在不

26、断加强。除了个人在意 识层面的主观意识加强之外，还需要一定的技术手段和设备实现有效和科学的 防范。如何对于这些进行有效的保护，是市场一直在关注的领域，如消防设施、 门禁系统、无人机侦查、视频监控系统等方面。其中视频监控是安防领域的核 心内容，它在刑事侦査、公共财产保护、预防灾难事故等方面都起到了不可替 代的作用，其应用领域主要体现在公共安全监控、工业现场监控、居民小区监 控等各种监控场景中 m。 然而对于视频监控的市场发展，目前市场领域不仅局限于政企等公共领域， 现在越来趋近于平民化和大众化，现在基本的门店装潢，甚至一般的家庭住宅 都有视频监控的身影。 IHS高级分析师表示， IT技术在安防设

27、备市场发挥着越 来越重要的作用，也影响着整个视频监控市场的发展。由于系统的复杂性提升， 规模增大， IT从业者在安防系统部署方面的重要性在显著提升， IHS观察到越 来越多的 IT公司和电子安防公司有更多的合作和交流，而非常多的 IT公司则 直接进入了安防设备市场。在系统集成方面，集成商也需要更多有 IT背景的厂 家来协助设计和实施大规模网络系统的集成。可以看出安防领域的巨大发展必 将推动着核心领域视频监控的技术更新和发展。 1.2视频监控的发展历程 起初，由于世界各国对多媒体通信技术的投入了大量的发展这就推动了视 频监控技术也得到了加快的进程。视频监控技术能够被广发的采用得益于计算 机及多媒

28、体通信及网络通信的技术的发展以及它们的有机结合起来。早期，由 前端摄像机、 信号传输线以及网络视频监控的平台共同构成传统的视频监控系 统，作为安全系统的必不可少的一部分。信号的采集精度对监控系统的画面影 响很大，所以当期最常用的前端摄像机是采用数字式的。视频监控系统是目前 世界各国采用比较先进的、安全的综合防范系统 2。它能够将现场的那个画面信 息以最清晰、准确高效率的传输给监控管理中心。在未来几年内，计算机网络 及其信号传输的、图像的实时采集与处理技术的发展必将给视频监控技术起到 了催化剂的作用。 1.2.1模拟视频监控系统 在 20世纪 70年代早期，模拟视频监控系统已经得到了初具规模的发

29、展 3， 人们开始对其基本的系统组成有了初步的认识。它主要是由具有切换功能的控 制设备及其他的辅助设备组成。其工作原理是通过对现场的实时画面进行釆集 处，在经过传输信号媒介将其视频信息送入矩阵主机，最后通显示设备对其画 面的复原。它的切换设备包括模拟矩阵及键盘是整个模拟系统的核心部件，而 其利用画面显示与追踪的多采用的是监控器及磁带录像机相关的辅助设备。 切换控制设备及显示辅助设备共同构成了模拟视频监控系统，即所谓的闭 路电视监控系统它可以把采 集的画面进行播放及存储以便以后可以回放的等功 能。主要采用同轴电缆 (75Q， l:0Vp-p)进行复合视频广播信号的传输。传统的 模拟监控系统由于受

30、到传输距离的影响不能够对远距离进行监控。 优点主要表现为： (1) 模拟视频监控发展较早，技术发展比较成熟，相应的配套设备较为完 善，接口方式比较规范和统一，安装调试较为方便。 (2) 从成本上来讲，其随着产业的规模化和激烈的市场竞争，成本低廉， 设备种类多。 (3) 在效果上，采用模拟信号方式在图像质量比较高。 缺点主要表现为： (1) 应用范围较为狭窄，因为模拟视频信号的传输采用同住电缆，信号子 传输的过程中存在衰减，传输距离较为有限，很难实现较大范围的监控系统的 形成 。 (2) 可扩展性能较差，对于模拟视频监控系统若建好系统，后期若要在原 有的系统上扩展，往往需要整个系统重新搭建，新的

31、子系统很难实现灵活的添 加。 (3) 无法形成有效的联动 模拟监控系统中的每一个工作部件模块都是独立工作的而且都有自己的接 口协议的，这就很难对他们的接口协议进行整合统一，造成了联动的失调。 随着微处理器性能的不断提高，发展数字视频监控系统必然是大势所趋， 因为微处理器 接受的信号都是数字信号，这样有利于加快数据的数据的处理速 率，同时数字信号能够进行双向分散且具有多功能的特点。未来几年，数字视 频监控能够替代传统的视频监控系统，得到很好的应用的，它可以对视频监控 具有很好的实时性及监控性能。 1.2.2基于 PC的数字视频监控系统 在 1987年的时候，世界上第一套视频监控系统出现了，它的出

32、现得益于当 时视频压缩技术。人们将采集到的模拟信号进行 AD转化后通过编码器编码及 压缩处理后进行存储，其关键用的关键部件就是视频压缩板卡。由于当时受到 PC机发展的局限性，对视频处理方面的技术还不成熟，矩阵控制不能达到要求 所以在实际的开发项目中，为了能够达到视频监控的基本的性能还是把模拟矩 阵这一技术应用在其中。 PC式硬盘录像机被广泛的应用于数字视频监控时代，模拟信号的数字化的 顺利完成起到了关键性作用，且给数字视频监控系统的时效性提供了可靠的保 证。同时，在模拟视频监控系统中出现的存储介质及周期的难题都能够得到很 好地解决，数字视频监控系统不但继承了传统的模 拟视频监控系统的功能外还 能够与现场进行语音对讲，以便于更好的完成安全监控的任务。 在视频监控系统中，对模拟信号转换及编码压缩的核心部件是 PC式硬盘录 像机，它还可以完成压缩数据的存储功能，信号传输介质仍是同轴电缆 (75fi， l.OVp-p； )。这种系统的优点主要有： (1) 计算传输速度较快，因为数字视频监控采用的数字信号，方便计算机 的处理和计算，可以对信号实现快速的压缩、分析、存储和显示。 (2) 传输距离远。数字信号是离散型的信号，所以在外界信号对其干扰的 的情况下能