基于ARM和FPGA的双路远程视频监控系统设计.pdf

《基于ARM和FPGA的双路远程视频监控系统设计.pdf》由会员分享，可在线阅读，更多相关《基于ARM和FPGA的双路远程视频监控系统设计.pdf（5页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第 2 6卷第 6 期 2 0 1 1 年 1 2月 液 Ch i n e s e J o u r n a l 晶 与 显 示 of Li q ui d Cr y s t a l s a nd Di s p l a y s Vo 1 26 NO 6 De c，2 O1 1 文章 编号：1 0 0 7 2 7 8 0(2 0 1 1)0 6 0 7 8 0 0 5 基于 A R M 和 F P G A的双路远程视频监控系统设计 张秋林，夏靖波，(空军工程大学 电讯工程学院，陕西 西安 邱 婧，胡 图 7 1 0 0 7 7，E ma i l：3 9 6 6 5 9 0 2 1 1 6 3 c o

2、 rn)摘 要：针对当前 市场上对 双路视频监控 系统 的需求，设计并实现了一种基于 F P GA和 A RM1 1的双路远 程 视频监控系统。该系统通过两个 S AA 7 1 1 1 A芯片接收解码 两路 C V B S信号，并 在 F P G A 的控制下 将两路信 号合成一路传输给 AR M1 1 模块。AR M1 1 模块将接 收到 的视频流打包压缩后发送到 I P网上，客户端通 过网 络连接 获取两路监控 画面。经过测试表 明，该 系统性能 稳定，能够实现 双路视频 信号 的稳定播 放，符合视 频 产 品的设计要求。关键词：AR M；F P GA；视频采集；I T U R B T 6

3、 5 6；S A A7 1 1 l A 中图分类号：T P 2 7 4 文献标识码：A D O I：1 0 3 7 8 8 YJ Y X S 2 0 1 1 2 6 0 6 0 7 8 0 De s i g n o f Du a l Re mo t e Vi de o M o n i t o r i n g S y s t e m Ba s e d o n ARM a nd FPGA ZHANG Qi u l i n，XI A J i n g _ h o，QI U J i n g，HU Tu (Te l e c o mmu n i c a t i o n En gi n e e r i n g

4、 I n s t i t u t e，Ai r Fo r c e Eng i n e e r i n g Un i v e r s i t y，Xi a n 7 1 0 0 7 7，Ch i n a，E mai l：3 9 6 6 5 9 0 21 1 6 3 c o rn)Ab s t r a c t：Ai mi n g t o t h e c u r r e nt ma r k e t d e ma nd f or t wo wa y vi d e o m o ni t o r i ng s y s t e m，du a l r e mo t e v i d e o mon i t o r

5、 i n g s ys t e m b a s e d on FPGA a nd ARM 1 1 wa s de s i gn e d a nd i mpl e m e nt e d The s y s t e m c a n r e c e i ve s t wo CVBS s i g na l s by t wo S A A7 1 1 1 A de c o de r c hi ps Und e r t he c o n t r o l o f t h e F P GA。t h e t wo wa y s i g n a l wa s s y n t h e s i z e d t o o

6、n e wa y a n d t r a n s mi t t e d t o t h e ARM 1 1 mo du l e ARM 1 1 m o d ul e c a n c o m p r e s s a r e c e i v e d vi d e o s t r e a m i n t o pa c k a ge s a nd s e nd t o t he I P I nt e r ne t The c l i e nt c a n ob t a i n t wo wa y m o ni t o r s c r e e n t hr o u gh t he ne t wo r k

7、 c on ne c t i o n Th e t e s t s ho ws t h a t t h e s y s t e m c a n a c h i e v e a s t a b l e t wo wa y vi d e o s i g na l pl a y b a c k a nd me e t t he de s i gn r e q ui r e me nt s of v i d e o pr o du c t s Ke y wo r d s：ARM；FPGA；vi d e o c a pt u r e；I TU R BT 6 56；SAA71 1 1 A 王一 口 随着多

8、媒 体技术和 网络通信技 术 的迅速 发 展，远程视频监控技术被广泛地应用于视频会议、电子消费、工业控制和社区安防等诸多领域，极大 地改变了人们的生产、生活方式。目前 的远程视 频监控系统多是 以 AR M、F P GA和 DS P处理器 芯片为核心 1 训。处理器在对视频信号进行采集 与处 理后，通过 网络发 送 到监控终 端并 解码 显示。但是，当前的远程视频监控系统多为一路视频监 控。仅有的多路远程视频监控系统由于其设计复 杂、成本高而很少在社 区等小型单位使用。为此，本文设计开发了一种双路远程视频监控系统。该 视频监控 系统采用 AR M+F P G A 的体系结构，收稿 日期：2 0

9、 1 1-0 6 1 0；修订 日期：2 0 1 1-0 7 0 6 基金项目：“8 6 3”国家高技术研究发展计划项 目(No 2 0 1 0 AAJ 1 4 6)；军 队武器装备科研项 目 作者简介：张秋林(1 9 8 6 一)，男，河南罗山人，硕士研 究生，主要从事嵌入式系统方面的研究。第 6 期 张秋林，等：基 于 A RM 和 F P G A 的双路远程视频监控系统设计 充分发挥 ARM 处理器 优 良的性能和 F P G A 的 并行处理能力。实验表明，该系统很好地解决 了 工程实践 中的应用，对多路视频监控系统 的设计 和开发具有一定的参考价值。2 系统硬件结构及工作原理 整个双

10、 路视频 监控 系统 主要 由监 控前 端、监控终端和网络传输 3部 分组成，其 中，监控前 端主要 由 F P GA模块和 AR M1 1模块组成，传输 介质采用 I n t e r n e t 网，监控终端 由一个连接互联 网的计算机组成。由于本文所做工作是 在军 内 某科研项 目的资助下 进行 的，考 虑到 其他应 用 需求，该 系统在 硬件 设计上 采用 了“AR M1 1开 发板+F P GA扩展板”的体系结构。整个系统结 构如 图 1 所 示。CVBS C VBS I t C a m e r a I F MF C Jl I FP GA BT6 5 6 扩展板 AR M1 l 开 发

11、 板 f 图 1 系统总体结构 F i g 1 Ov e r a l l s t r u c t u r e o f t h e s y s t e m 监 控 终 端 两个摄像头将采集到的视频信号通过 C VB S 格式传送给 F P G A 扩展板。F P G A 扩展板将输 入的两路 C VB S信号合并转化成相应的 YC C 4：2：2 格 式，然 后 依 据 B T 3 6 5 6协议 将 其 传 送 给 ARM1 1 开 发板。AR M1 1开发 板通 过 C a me r a I F 接 口接收来 自 F P GA的视频信号，将其压缩打包 发送到网络上。监控终端通过网络连接接收来

12、 自 监控器的视频信号。ARM1 1开 发 板 采 用 华 恒 公 司 开 发 的$3 C 6 4 1 0开发板，该开发板具有 丰富的外设资源 和强大的运算处理能力。扩展板采用 F P G A 体 系框架进行设计，这是本文硬件设计 的重点，其结 构框图如图 2所示。F P GA扩展板 由中央控制单元模块、视频采 集模块、存储模块、配置模块和电源模块组成。中 央控制单元 F P GA 由 1片 F P GA芯 片及外部 晶 振 电路组成。其 中，F P G A采用 Al t e r a 公 司生产 的 E P I C 1 2 Q2 4 0 C 6，该芯片具有优 良的并行处理 能力和灵活的在线编程

13、能力。中央控制单元主要 完成以下功能：(1)通过 I。C总线实现对 S AA7 1 1 1 A芯片的 L 毫 堕 ；图 2 F P G A扩展板结构框图 F i g 2 B l o c k d i a g r a m o f t h e F PGA e x p a n s i o n h o a r d 初始化；(2)将两个 S AA7 1 1 1 A输出的视频信号按照 一定的逻辑依次存储到两个 S R AM 的相应位置；(3)负责实现存储模块中两片 S R AM 存储和 读 写 的“乒 乓”切换；(4)将从存储模块中读出的 R GB格式转化成 Y UV格式，并按照 I UT5 6 5协议通过

14、 C a me r a I F 接 口实现与$3 C 6 4 1 0开发板的通信。视频 采 集模 块 主要 由 S AA7 1 1 1 A 芯 片 _ 4 和 外围晶振 电路组成。S AA7 1 1 1 A 芯片是飞利浦 公司生产 的高性能视频解码芯片，支持 C VB S复 合视频信 号，可通 过其 内部含有 的 I C接 口对 S AA7 1 1 1 A的工作方式进行设定。存储模块由 2 片大小为 5 1 21 6 b i t的 I S 6 1 L V5 1 2 l 6 AL型 高 速静态 S R AM 组成 ，其工作 电压为 3 3 V，访 问周期为 1 0 1 2 n s，支持 8位或

15、1 6 位输入输 出模 式，可以为 Al t e r a 公司的 F P G A芯片提供高性能 的外围存 储功能。存储模块主要完成 F P GA控 制单元采集到的视频信号数据的存储与读写。配 置 模块采 用 AS和 J T AG 两种 方式 ，AS在 用户 模式下使用，J TAG在系统调试模式下使用。本 系统 中各种芯片的工作 电压不尽相 同，电路设计 上涉及到在同一块板子上使用多个电源。所采用 的解决方案是：外部 5 V电源进人，给内部 5 V逻 辑电平器件供电，同时 5 V电源通过低压差线性 稳压器得到其他所需要的电源。3 F P GA视 频采 集控制 电路设计 与 实现 在完成视频采集与

16、存储硬件 电路设计的基础 上，需要通过 Ve r i l o g HD L编程在 F P G A 内部实 现视频信号采集与输出控制电路。该电路主要完 成以下功能：(1)从两个 s AA7 1 1 1 A视频解码信 液 晶 与 显 示 第 2 6卷 号中采集有效像素单元；(2)将两路视频信号合并 成一路，并 按 照 一 定 的规 则 交 替 存 储 到两 个 S RAM 中；(3)将 S R AM 中存 储 的视频 数据读 出，并转化成 I T U R B T 6 5 6格式经并行接 口传 输给 AR M1 1模块。3 1 双路视频图像采集 经过 S A A7 1 1 1 解码后 的两路 C V

17、B S视频信 号被同时输入到 F P GA模块 中。虽然解码后 的 两路视频信号拥有相同的频率，但是由于它们不 是来 自同一个 S AA7 1 1 l A 芯片，因此，其相位不 同，无法用同一个 时钟将两路信号同时采集。由 于 S AA7 1 1 1 A是依据像素时钟 p i x e l c l o c k将视 频数据写入 F P G A 芯 片，当下一像 素还未 到来 时，上一像素数据不会丢失，因此，我们可 以将两 路视频数据分别存储到 F P GA 中的两个 临时锁 存器 中，然后用一个全局时钟将两路信号并行采 集到 F P GA模块中。双路 视 频 采 集 如 图 3所 示 7 ，视 频

18、 信 号 VP O 一 1和 VP O-2在各 自像素时钟的控制下分别 写入两个锁存器中，其 目的就是解决两路视频信 号相位不一致 的问题。每一个锁存器 的大小是 1 6 b i t，正好 可 以完整地 存储 一个 RGB 5：6：5 格式 的像素值。而 F P GA则在全局时钟 g l o b a l c l o c k 控制下连续不断地从 锁存 器 中并行读 出两路数 据。其中，全局时钟 g l o b a l c l o c k的频率是像 素 时钟的 8 倍，每经过 8 个全局时钟周期，F P G A 从锁 存器采集一次。因此，存储在锁存器中的数据就不 会因为 写入速 率和取 出速率 的

19、不一致 而 丢失。F P G A将采集到的两路 3 2 0 2 4 0图像合成一路大 小为 6 4 0 2 4 0的图像，然后在三态门的控制下交 替写入 S R AM一 1 或 S R AM一 2中。I TU _ R B T 6 5 6 并行接 口传输 的有效视频数据流为 7 2 0 5 7 6 像 素，正好可以用来传输 6 4 0 2 4 0 像素的视频数据。多余的空间可以用固定数据进行填充。图 3 双路视频采集 Fi g 3 C a p t u r e o f t h e d u a l v i d e o 3 2 双缓存控制模块 系统中 F P GA模块采集视 频数据与读取视 频数据是连

20、续不断的，因此，采用双缓存结构是最 合适的 。其原理如图 4所示：“输入数据流选择 单元”将数据流轮流分配到两个数据缓存模块中；同时，“输出数据流选择单元”将两个数据缓存模 块中的数据轮流读出，送入“数据处理单元”。输 入 数 据 t S R A M _ I 输 出 数 据 流选择 流选择 单元 单元 图 4“乒乓”缓存结构 Fi g 4 ”P i n g p o n g”b u f f e r s t r u c t u r e 系统中输入数据流选择单元和输出数据流选 择单 元也是 通过 Ve r i l o g HD L编程 实现。如 图 4 所示，当奇 数 帧 时刻 到来 时，VP O

21、I N 接 口与 S RAM一1 相连，与 S RA M一 2之 间呈现高阻抗断 开；同 时，S R AM一 2与 r e a d d a t a相 连。此 刻，S RAM一1处 于 写 状 态，S RAM一 2处 于 读 状 态。S A A7 1 1 1 A采集的双路视频数据被写入 S R A M 1 模 块 中，而 S R AM一 2中的 视 频 数 据 被 F P GA 模 块 读 出。当偶数 帧 时刻到来 时，VP O I N 接 口与 S RAM一2相连，与 S RAM一 1之间呈现高 阻抗 断 开；同 时，S R AMl与 r e a d d a t a相 连。此 刻，S RAM一

22、2处 于 写状 态，S RAM一1处 于读状 态。S A A7 1 1 1 A采集的双路视频数据被写入 S R A M_ 2 模 块 中，而 S R AM_ 1中的视频数据被 F P GA模块 读 出。3 3 I T U R B T 6 5 6模 块 在 I TU-R B T 6 5 6格式中，行数据结构除了 包含 4：2：2 YC b C r的视频数据结构外，还包含两 种参考时序：一种是在每一个有效 图像数据帧开 始时(S A V)；另一种是在每一个有效 图像数据 帧 结束时(E AV)。视频数据信号的排列顺序为 C b Y-C r Y。S AV和 E AV具有相同的前导：F F、0 0、0

23、 0；最后一个字节的 X Y表示该行位 于整个数据 帧的位置以及如何 区分 S AV和 E AV。如图 5 所 示。I TU R B T 6 5 6规定，系统中的 p o l k时钟采 用的是 2 7 MHz 的方波信号 1 ，O 1的跳变代表 数据传输时间。从 图 5中可以看到，每发送一行 第 6 期 张秋林，等：基 于 A RM 和 F P G A 的双路远程视频监控系统设计、仃 巾 1 爵 芎 l姒 il 日 7 一 E A V码 数字消隐数据 S A V码 C 0-S 1 T E D 1 F 0 0 X C Y Y I Y I=C Y F F 0 O X 8 1 8 1 8 F O 0

24、 Y 0 O O 0 O O F 0 0 Y B R F 一 4 图 5 B T 6 5 6的 8 b i t 行数据结构 F i g 5 Li n e d a t a s t r u c t u r e o f B T 6 5 6 图像数据需要 1 7 2 8个 p c l k时钟周期。为了产生 正确的时序关系，我们将时序 I TU R B T 6 5 6模 块的状态分 为 1 0种(0 0 0 0 1 0 0 1)。其 中，产生 S AV码和 E AV 码分 别 占用 4个 状态，产 生 的 2 8 0个数字消 隐数据 占用 1个状态，剩余一个状 态为视频数据输出状态。表 1所示为模块状态

25、转移表，I TU R B T 6 5 6 模块每产生一行数据需要在 0 0 0 0 1 0 0 1状态之 间循环转移一周。在一个完整周期中，0 0 0 0状态 持续 2 8 0个 p c l k时钟周期，I TU R B T 6 5 6模块 在此状态下 交替 产生 8 O l O时序；状态 0 0 0 1 0 1 0 0分别持续 1个 p c l k时钟周期，分别产生 4个 S AV 字节；状态 0 1 0 1共持续 1 4 4 0 个 p e l k时钟 周 期，在此状态下，I T U R B T 6 5 6模块控制 r e a d s r a m模块读取 S R AM 中的 R G B 5

26、：6：5 数据并转 化成 Y C b C r 4 2 2 格式，然后通过 y u v _ d a t a 端口输出；状态 0 1 1 0 1 0 0 0 分别持续 1 个 p c l k时钟周期，分别产 生 4 个 E A V 字节。这样，当 I T U-R B T 6 5 6模块在 这 1 O个状态下不停地循环转移时，便从并行接 口 中连续地输出了 B T 6 5 6 视频码流。表 1 T i mi n g _ p r o d u c e 模块状态转移表 Ta b l e 1 S t a t e t r a n s i t i o n o f t i m i n g p r o d u c

27、e mo d u l e _ 0 0 0 0 y u v-d a t 黼 出消隐数据8 0 1 0 0 0 01 y u v_d a t a J 第一个S A V字节 O 0l 0 y u v_d a t a 第二个S A V字节 0 01 1 y u v_d a t a,q 4,第三个S A V字节 O1 o o y u v_d a t a l 第四个S A V字节 0 1 O 1 y u v _ d a t 前 出YC b C r 视频数据 0 1 1 0 y u v _ d a t a 第一个E AV 字节。Ol l l y u v_d a t a 第二个E AV 字节 _ l0 0 0

28、 y u v_ d ata输 出 第 三 个 E A V 字 节 10 0 1 yu v_d a t a 第四个 E AV 字节；行计数器+1 4 监控前端应用程序设计 监控前端应用程序是运行在$3 C 6 4 1 O开发 视频流 板上的应用程序。该程序主要实现响应用户的连 接请求、接收 F P GA 发送过来 的视频数 据、编码 压缩和数据发送 1，主要分两个线程实现：第一 个是主线程，它完成套接字的创建、用户的侦听和 视频设备的开启 以及第二线程 的创建；第二个线 程是用户线程，主要任务是处理用户 的连接。该 线程接收 F P G A产生的视频信号并控制 MF C模 块进行编码压缩，然后将

29、压缩后 的数据包通过网 络发送给监控终端。第一个线程 的流程 图如 图 6(a)所示。当程 序运行时，它首先从命令行获取用户设置 的初始 化参数，如监听端 口和视频压缩质量等 1 。接着 程序就会创建套接字并指定端 口，当收到用户的 连接请求时，创建第二线程处理用户连接。第二 个线程的流程 图如 图 6(b)所示。程序将接收到 的图像数据采集 到相应 的缓 冲区，并控制 MF C 进行 H_ 2 6 4编码。然后将编码后 的数据打包发 送到客户端。该线程将不停地 向客户端发送视频 数据，直到用户断开连接。l 创建套接字l l 并监听指定端口l 申 l 打开视频设备成功?I 创建线程处理 I l

30、 用户连接 l J =：=1 采 集 图 像 到L _ _ 缓 冲 区 r 0 l 控 fJ MF C 进 I l 行H 2 6 4 编码l I 向客户端发送一 n帧图 像(成功?)I用 户 断 开 连 接?I 终止本 线程l 图 6 (a)主线程；(b)用户线程 F i g 6(a)Ma i n t h r e a d；(b)Us e r t h r e a d 5 系统性能测试 系统测试 中采用 的两个摄像 头为 P a n a s o n i c 7 8 4 液 晶 与 显 示 第 2 6卷 的 wV C P 2 4 4，输 出 5 0 Hz 的 C VB S信号。监控 图 7 监控效果

31、 Fi g 7 M o n i t o r i n g r e s u l t o f t h e s y s t e m 参 考 文 献：终端采用的是 d e l l v s t r o 2 3 0型电脑，通过网络连 接并接收显示视频信号。其视频监控效果如图 7 所示，系统 中每秒显示图像 2 5帧，在监控移动 目 标时 比较流畅，无抖动现象。结 论 采 用 AR M1 1开发 板+F P G A 扩 展板 的硬 件 架构，设计并实现 了双路远程视频监控系统。该 设计充分发挥了 AR M 处理器优 良的性能和 F P GA的并行处理能力。同时，采用 临时锁存器很 好地解决了两路视频信号相位不

32、一致的问题，为 双路视频信号的采集提供了一种新 的方案。1胡健生，臧 晓昱 嵌 入式 多路视频采集显示 系统设计 J 2 液 晶与显 示，2 0 1 0，2 5(6)：8 3 1 8 3 5 2苏宛新，程灵燕，程飞燕 基于 D s P+F P GA的实时视频信号处理 系统设计 J 液晶与显 示，2 0 1 0，2 5(1)：1 4 5 1 4 8 3 李进，李 国宁，金龙 旭，等 F P G A 配置过程监控 系统设计E J 液 晶与显示，2 0 1 0，2 5(6)：8 5 1-8 5 7 4P h i l i p s A 7 1 1 1 A P r o d u c t s p e c i

33、f i c a t i o n D a t a S h e e t E B OL 1 9 9 8-0 1 1 7 h t t p：www s e mi c o n d u c t o r s p h i l i ps t o m 1 9 98 5王天楚，贺祥庆 一种 S R AM 单双端 口转换电路的设计 与实现r J 微 电子学，2 0 0 8，3 8(4)：5 4 4 5 4 7 6 褚振勇，齐亮F P GA设计及 应用 M 西安：西 安电子科技大学 出版社，2 0 0 6 7X i a J i n g b o，Z h a o X i a o h u a n，wu J i a n g De

34、 s i g n a n d i mp l e me n t a t i o n o f mu l t i c h a n n e l v i d e o mo n i t o r s y s t e m b a s e d o n F P G A C 2 n d I n t e r n a t i o n a l S y mp o s i u m o n C o mp u t e r Ne t wo r k a n d Mu l t i me d i a T e c h n o l o g y(C NMT 2 0 1 0)W uh a n：I EEE，2O 10：457-4 60 8赵小欢，

35、夏靖波，李 明辉 基于 AR M 和 F P GA的视频监控系统设计 J 液晶与显示，2 0 1 0，2 5(1)：9 4 9 8 9陈文辉，覃永新，黄庆南 基于 F P GA的多路视频合成系统的设计 J 制造业 自动化，2 0 1 0，3 2(8)：6 2 6 5 1 O 熊文彬，蒋泉，曲建军，等 基 于 F P GA实现的视 频显示 系统 J 液晶与显示，2 0 1 l，2 6(1)：9 2 9 5 1 1 冯丽芳，孙俊，周俊华，等 基于 A RM9的网络视频监控系统实现 J 电力 自动化设备，2 0 0 6，1 0(2 6)：9 5 9 8 1 2 徐兵，肖洪祥 基 于 A RM9与 D M6 4 2的 H 2 6 4视频 编 码服 务 器 的设 计 J 计 算机 测 量 与控 制，2 0 0 9，1 7(2)：4 O5 4 O6