基于嵌入式Linux远程图像监控系统的设计.rtf

《基于嵌入式Linux远程图像监控系统的设计.rtf》由会员分享，可在线阅读，更多相关《基于嵌入式Linux远程图像监控系统的设计.rtf（7页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、基于嵌入式 Linux 远程图像监控系统的设计.txt 这是一个禁忌相继崩溃的时代，没人拦得着你，只有你自己拦着自己，你的禁忌越多成就就越少。自卑有多种档次，最高档次的自卑表现为吹嘘自己干什么都是天才。本文由 wangyong1179 贡献 pdf 文档可能在 WAP 端浏览体验不佳。建议您优先选择 TXT，或下载源文件到本机查看。2010 年第 11 期 文章编号:1006 2475(2010)11 0031 04 计 算 机 与 现 代 化 JISUAN JI YU X IAN DA I UA H 总第 183 期 基于嵌入式 L inux 远程图像监控系统的设计 唐人财,刘连浩 (中南大

2、学信息科学与工程学院,湖南 长沙 410083)摘要:系统以嵌入式微处理器 S3C2440和 L inux 为核心 平台,采用 U SB 摄像头作为图像采集设 备,利用 L inux 下视频设备 应用编程接口 V 4L2 和 Q t/Em bedded 实现图像的采集,实时 显示和 JPEG 格式 图片保 存,利 用 libjpeg 库来实 现视频 数据 的编解码以及通过以太网进行远程传输,实现一种功耗低、可靠性高和低成 本的网络图像采集与传输系统设计方案。关键词:L inux 图像采集;Q t/Em bedded V 4L2;S3C2440;中图分类号:T P391 41.文献标识码:A d

3、o:10 3969/.j issn.1006 2475.2010.11.009 i.D esign of R emote I age M on itoring System Based on Em bedded L inux m TANG R en ca,L IU L ian hao i (Institu te of Infor ation Science and Eng ineer ing,C entra l South U niversity Changsha 410083,China)m,Ab stract T he syste uses e:m mbedded m icroproces

4、so r S3C2440 and L inux as the core platfo r T he applica tion prog ramm ing in m.te rface V 4L2 and Q t/Embedded library are tw o key techno log ies to realize i age acqu isition,rea l ti e display and JPEG p icture m m sav ing by using U SB ca era T his design of i age acqu isition and trans issio

5、n is a low powe r consumption,h igh reliab ility and m.m m inexpensive syste m,wh ich ach ieves encod ing o r decod ing of i ages by lib jpeg library and remo te transm ission o f E therne t m.K ey w ords L inux;i age acquisition;Q t/Em bedded V4L 2;S3C2440:m;0 引 言 友好图形操作界面,实现现场图像在终端上的实时显 示和 JPEG 图片

6、的保存。利用 L inux 下 lib jp eg 库编码 压缩图像,通过以太网接口实时传输到视频监控中心 PC 机上,通过接收解码显示现场图像,实现远程视频 图像监控功能。系统总体设计结构如图 1 所示。随着嵌入式技术、多媒体技 术及网络技术 的发 展,基于嵌入式技术、视频压缩编码技术和网络传输 控制技术的综合应用,已成为数字化网络视频采集监 控领域的核心 技术。系统是基于 ARM 9 和 L inux 平 台的远程视频图像监控设计方案,整个系统建立在嵌 入式结构上,实现了高质量的视频图像采集和实时处 理功能。1 系统总体设计 远程视频图像监控系统分为嵌入式视频监控终 端和监控中心 PC 机

7、两部分。嵌入 式视频监控终端 基于嵌入式微处理器 S3C2440 和 L inux 核心平台,采 用通用 USB 摄像头捕捉现场图像,通过 USB 接口将 数据传输到 ARM 开发板上,由开发板上的图像采集 处理模块进行图像数据处理,通过 LCD 触摸屏显示 图 1 系统总体设计框图 2 系统硬件设计 系统选取 m in i2440 开发板作为系统设计的硬件 收稿日期:2010 06 28 作者简介:唐人财(1978),男,海南海口人,中南大学信息科学与工程 学院硕 士研究 生,研 究方向:嵌入 式系统 及应用;刘连 浩(1959),男,湖南 澧县人,教授,博士,研究方向:单片机及嵌入式系统。

8、32 计 算 机 与 现 代 化 2010 年第 11 期 平台,监控终端硬件由主控模块和扩展模块两部分组 成。主控模块采用嵌入式微处理器 S3C2440 它是一,款基于 ARM 920T 核的 16/32 位 RS I 结构的嵌入式微 C 处理器,主频 400 z 最高可达 533 MH,MH z 片内外资源,丰富,具有强大的处理能力,从硬件上保证了系统快速 的响 应 速 度。系 统 存 储 扩 展 了 128 B 的 NAND M FLAS 64 B 的 SDRAM。扩展模块包括通用 USB 摄 H,M 像头、9000 以太网控制器和带触摸屏的 NEC3 5 英 DM.寸 TFT 真彩液晶

9、屏。主控模块通过 USB 接口电路、LCD 接口电路、以太网接口电路与扩展模块相连接构 成整个硬件系统。系统硬件结构如图 2 所示。配置内核编译选项时把 UVC 驱动编译进内核。UVC 不是摄像头的品牌或型号,它是一种视频设备的技术 规范,全称为 U SB V ideo C lass 这是一个为 USB 视频,设备提供驱动的开源项目。UVC 驱动支持 V 4L 2 应 用编程接口,系统设计中使用的 USB 摄像头为 T op Speed U SB 2 0 C a era UVC 驱动提供支持。.m,3 3 V4L2 图像采集程序的实现.V4L2 是 V id eo For L inux Two

10、 的 简称,是 V id eo Fo r L in ux AP I 的第二版本,是 L inux 下开发视频设备 程序的接口标准,使用分层方法对所有视频设备的驱 动和应用编 程提 供一 套完备 的接 口规 范。基于 V4L 2 标准,视频图像采集处理流程如图 3 所示。3 图 2 系统硬件结构框图 3 系统软件设计 3 1 系统软件平台.系统软件 平台以嵌 入式 L inux 和 Q t/Em bedded 为基础,具体构建步骤为:在宿主机上建立交叉编译 环境,完成引导加载程序 v ivi 的编译移植,编译移植 linux 2 6 29 内核,包括 DM 9000 网卡、.通用 USB 摄 像

11、头和 LCD 触摸 屏等驱动 的移植,基于 busybox 1.13.3 构建文件系统。基于系统设计的需求,还要完 成 QTE 4 5 3 图形库与 tslib 1 4 触摸屏支持库以及.lib jp eg 库向开发板的移植。lib jp eg 库主要用于实现 内存中图像数据的编解码,QTE 4 5 3 是面向嵌入式.系统的 Q t 版本,采用了 fram ebuffer 作为底层图形接 口,采用 C+封装,具有丰富的控件资源和良好的可 移植性,系 统中的应 用程序 以及环 境都是 基于 Q t/Em bedded 来开发的。最终形成基于 ARM 的嵌入式 1 2 L inux 操作系统平台,

12、在系统软件平台上可进行嵌 入式应用程序的开发。限于篇幅,系统软件平台的构 建在此只作简单介绍。3 2 嵌入式 L inux 下 USB 摄像头驱动.为了使用 L in ux 下 V4L2 应用编程接口编写图像 采集应用程序,在开发板上移植版本为 linux 2 6 29.的内核,此内核版本支持 UVC 驱动 USB 摄像头,在 图 3 视频图像采集处理流程图 3 3 1 视频设备结构体初始化.程序中定义一个视频设备的数据结构 struct vde vice 结构体的成员变量是对视频设备和图像属性的,描述。init_ vdata(struct vdevice*vdev,char*dev _na

13、e un m,signed int w idth unsigned int he ight int fo r at);,m 通过参数完成对视频设备结构体变量 vdev 的赋 值初始化。视频设备名称 dev_na e 视频图像宽度 m,w idth 视频图像高度 heigh,视频图像格式 for a,以,t m t 及申请分配两个内存缓冲区 fram ebuffer 和 rgbbu ffer,分别为采集到的一帧图像 数据缓冲区和 24 位 RGB 图像数据缓冲区。3 3 2 视频设备初始化.函数 in it_vdev(struct vdev ice*vdev)根据参数 2010 年第 11 期

14、唐人财等:基于嵌入式 L inux 远程图像监控系统的 设计 33 vdev 传递的值对视频设备进行初始化,这是进行视频 图像采集前必须完成的工作。视频设备结构体 vdev 包含了要设置的设备信息,初始化视频设备到适合的 图像采集工作方式。视频设备初始化具体实现如下:(1)打开摄像头设备文件。利用系统调用 函数 vdev fd=open(vdev dev_nam e O_RDWR)实现,该函数的功能是打开参,数 vdev dev_nam e 指定的设备,对于摄像头用设备 文件名/dev/v ideo0 表示,vdev fd 是设备打开后 返回的文件描述符,在程序中可使用它来对设备文件 进行操作

15、。(2)查询设备信息和设置采集属性。在 L inux 编程中,io ct l 函数是设备驱动程序中对 设备的 I/O 进行管理的函数,用户程序一般使用 ioctl 函数来对设备的一些特性进行控制。调用带 V ID I C _ O QUERYCAP命令参数的 io ct l 函 数来取得设备文件的属性参数,并存储于 struct v4l2_ capab ility 结构体变量 vdev cap 中,然后可 逐项验 证 vdev cap 的属性,看设备是否符合采集的要求。ioctl(vdev fd V ID I _QU ERYCAP,&vdev cap);,OC m em 间建立映射,调用带 V

16、I I C _QBUF 命令参数的 DO ioct l 函数将所申请的设备缓存加入等待输入缓存队 列,内存映射初始化完成。3 3 3 采集图像数据.函数 capture(struct vdevice*vdev)完成一帧视 频图像数据采集,采集到的视频图像数据存放到设备 缓存 vdev bu f 中,通过映射的程序内存空间可处理 视频图像,函数调用成功返回视频设备采集的图像数 据大小。在设备缓存加入等待输入队列后,调用带 VIDI C_ O STREAMON 命令参数的 ioctl 函数使能视频设备。type=V 4L2_BU F _TYPE_V IDEO _CA PTURE;ioctl(vde

17、v fd V ID I _STREAM ON,&type);,OC 图像数据缓存采用 F IFO 的方式,缓存队列将已 采集到视频图像数据的设备缓存出队列,此时与之映 射的内存空间就存储了采集到的视频图像数据,处理 完毕重新使设备缓存加入队列。这个过程需要调用 两次 io ctl 函数。ioctl(vdev fd V ID I _DQBUF,&vdev buf);,OC ioctl(vdev fd V ID I _QBUF,&vdev buf);,OC 接着设置视频图像采集格式,可根据需求修改摄 像头缓冲区中图像参数如分辨率、格式等。具体方法 为先给 struct v4 l2 _for at

18、结构体变量 vdev f t 分量 m m 赋新值,再调用 带 V ID I C _S _FMT 命令参数 的 ioctl O 函数完成采集属性的设置。ioctl(vdev fd V ID I _S_FM T,&vdev fm t);,OC 调用带 VIDIOC_DQBUF 命令参数的 ioct l 函数使 设备缓存出队列,利用系统函数 m em cpy 将所采集的 一帧视频图像数据拷贝的所分配的内存空间 vdev fram ebuffer 以 方 便 后 续 图 像 处 理。然 后 调 用 带 V IDI C _ O QBUF 命令参数的 io ctl 函数把设备缓存重新 加入输入缓存队列,

19、至此完成一帧视频图像数据采集。系统采用的摄像头初始化为 YUV422 图像格式,图像要在 LCD 上显示,必须进行图像数据格式转换 处理,将 YUV422 格式转换为 RGB24 格式。yuv2 rgb24(vdev fra ebuffer vdev rgbbuffer vdev m,w idth vdev he ight);,(3)实现内存映射。V4L2 捕获的数据是存放在内核空间的,用户不 能直接访问该 段内存,必须通 过某些手段来 转换地 址。系统采用 mm ap 内存映射方式,把设备内存映射 到用户程序内存空间,直接处理设备内存,加速了 I/O 访问。主要函数调用如下:ioctl(vd

20、ev fd V ID I _REQBUF S&vdev rbuf);,OC,ioctl(vdev fd V ID I _QU ERYBUF,&vdev buf);,OC vdev m e i=mm ap(0,vdev bu.length,PROT _ m f READ,M AP _SHARED,vdev fd vdev bu.f m.offset);,ioctl(vdev fd V ID I _QBUF,&vdev buf);,OC 函数 yuv2rgb24 将 vdev fram ebuffer 指定 内存 中的 YUV 422 图像格式转换为 RGB24格式,并存放 到 vdev rgbb

21、uffer 指定内存中,函数实现在 此不作 详细阐述。3 4 图像数据的 JPEG 编解码.网络传输前对原始图像数据进行压缩处理,利用 IJG(Independent JPEG G roup)提供的 lib jp eg 库进行 4 6 图像编解码。在开源的 libjpeg 库中,函数必须从 文件或其他 设备流中读取数据,再将压缩数 据存成 JPEG 文件,增加了不必要的文件 I/O 操作,不利于网 络实时传输图像。为解决 该问题,改写 了 lib jp eg 库 内 jdatasrc c 和 jd atads.c 两个源代码文件,设计自定.t 义的结构体 struct m y_dest_ gr

22、 和 struct m y_src_ g r m m,增加自定义图像数据缓存地址变量、已处理图像数据 具体实现:首先,对 struct v4 l2 _ requestbuffers 结 构体变 量 vdev rbuf 分 量 赋 值,调 用 带 V I I C _ DO REQBUFS 命令参数的 io ctl 函 数分配自定义 数量的 设备缓存;然后,在循环程序结构中对申请分配的设 备缓存 进行映射,调用带 V IDIOC _QUERYBUF 命令 参数的 ioct l 函数获得设备缓存偏移量和缓存大小并 存于 struct v4l2_buffer 结构体变量 vdev bu f 中,调 用

23、 mm ap 在设备 缓存 和程序 内存 空间 变量 vdev 34 计 算 机 与 现 代 化 2010 年第 11 期 的偏移量变量和图像大小变量,并改写 lib jp eg 库相关 操作函数,封装相关的数据结构和成员函数为自定义 的图像编解码类 MY JPEG。实现输入数据和输出数据 的重定向到内存,利用开源的 libjpeg 库在内存中实现 图像的压缩和解压缩。参照 lib jpeg 库中编解码过程,实现了类 MYJPEG 中压缩与解压缩成员函数。w r ite e(unsigned cha r*m m char*m quality);/图像数据压缩处理 readm e(uns ign

24、ed char indata int pSize unsigned char m*,*outdata);/图像 数据解压缩处理 outdata int*pS ize unsigned,indata unsigned int mw idth,unsigned int mhe ight int,压缩函数中参数可以灵活对压缩图像分辨率大 小和质量属性进行设置,参数 pS ize 返回压缩后图像 的大小。而解压缩图像时,压缩图像的大小则通过参 数 pSize 传入。3 5 网络传输视频图像数据.UDP 是非连接的、不可靠的、传递数据报的传输 协议,提供了一种高效无连接的服务。由于 UDP 不 提供数据

25、的可靠性保证,使其具有较少的传输时延,很适合实时性高而不要求数据绝对可靠的场合。视 频图像数据实时性强,数据量大,所以系统设计采用 此协议传输数据。通过 L inux 下的 socket 套 接字编 7 8 11 程,实现视频图像的网络传输。利用 C 语言中 的多线程编程,将网络通信置于一个工作线程,避免 了 GU I 应用程序因网络阻塞等待操作而使图形用户 界面冻结无法响应的问题。系统设计时结合使用互 12 斥锁和条件变量对各个工作线程进行同步。嵌入式视频监控终端上采集显示程序作为主线 程,同时创建一个视频图像发送工作 线程 deal_send(),用来处理与视频监控中心 PC 间的网络通信

26、。具 体过程描述如 下:调用 socket()函数创建一个 UDP 数据报类型的套接字,接着调用 bind()函数,给套接 字绑定一个端口。视频图像发送工作线程调用 recv from()函数在指定的端口上阻塞等待客户端发送来 的 UDP 数据报,接收到服务请求,处理该服务请求并 通过 sendto()函数将处理结果返回给 PC 端。在监控中心 PC 端创建解码显示视频图像工作 线程,并创 建一个视 频图像接 收工 作线程 deal _re ce ive(),用来处理与视频监控终端的网络通 信。具 体过程描述如 下:调用 socket()函数创建一个 UDP 数据报类型的套接字,接着调用 bi

27、nd()函数,给套接 字绑定一个端口。调用 sendto()函数向监控终端发 送服务请求报文,调用 recv from()函数等待并接收服 务应答报文。继续定时发送服务请求直至通信终止。具体网络传输的通信过程如图 4 所示。图 4 网络传输通信流程 4 视频图像实时显示 系统是一个实时视频图像采集与传输系统,采集 的现场视频图像在嵌入式视频监控终端和监控中心 PC 上实时显示与保存。只要以较快速度显示变化的 图片就可以实时显示现场情况,系统中利用定时器每 40m s 采集一帧视频图像。该远程图像监控系统界面 是通过 QT 来实现的,在强大的 QT 图形库的支持下,13 14 可快速开发出友好的

28、图形用户界面。利用几个 相关 Q t 图形类 Q I age QP ixm ap 和 QL abe,l 实现视频 m、图像的显示和 JPEG格式图片保存。5 结束语 系统设计方案 是一种基于嵌入式 L inux 的图像 采集和传输系统,本文详细介绍了 V4L 2 应用编程接 口进行 USB 摄像头视频图像采集,基于 QTE 图形库 实时显示视频图像,利用开源的 lib jp eg 库实现图像 的 JPEG 编解码,通过网络实时传输进行远程监控。整个系统数字化、网络化程度高,实时性好、稳定可靠 且图像质量较好。经实验测试,系统很好地实现对现 场视频图像的监控。在该系统的基础上,可进一步进 行二次

29、扩展开发,以便应用在工业现场控制、远程指 挥监控系统、可视电话等诸多领域。参考文献:1 2 3 赵敏,杨恢先,汤安平.基于 S3C2440 的嵌入式 L inux 系统 移植的研究与实现 J.电子器件,2008 31(6):1947 1950,.郑灵翔.嵌入式 L inux 系统设计 M.北京:北京 航空航 天大学出 版社,2008.M ichae lH Schi ek V ideo for L inux Tw o AP I Specifica tion m.EB/OL.http:/v4l2spec bytesex org/v4l2spec/v4 l2.pd,2008 03 04.f(下转第

30、38 页)38 计 算 机 与 现 代 化 2010 年第 11 期 目标图像中变成 A!B!因为向前移动了,所以物体显,得比原来要大些。放大的过程应 该是:逐步 放大左 图,并适当地截取放大图中跟原来一样大小的一块矩 形区域,作为一张新的过渡图。至于放大的倍数,作 8 如下考虑:假设 A!的长度是 AB 的 L 倍,两幅图像之间插入 B!n 张过渡图,则每一张过渡图之间的放大的倍数是(L 1)/(n+1)。速度,内存优化后系统占用资源更少,由于不用频繁 申请内存和 释放内存,减少 了漏洞和错误发 生的几 率;采用缩放的方法改进了行进间的浏览效果,提高 了虚拟漫游的沉浸感,具有一定的实用意义。

31、参考文献:1 石云飞,王永平,李龙 济,等.基于 模板匹配 的柱面全景 图拼接优化算法 J.工程图学学报,2005(1):96 99.2 3 4 华顺刚,曾令宜,欧宗瑛.一种快速的柱面全景拼接算法 J.数据采集与处理,2006,21(4):435 436.潘华伟,邹北骥.一种圆 柱形全 景图生 成新算法 及其实 现 J.计算机工程与科学,2003,25(6):13 16.吴宪祥,郭宝龙,王娟.基于相位相关的柱面全景图像自 动拼接算法 J.光学学报,2009,29(7):1824 1829.5 钟力,张茂 军,孙立 峰,等.360 度柱 面全 景图 像生 成算 法及其实现 J.小型 微型 计算

32、机系 统,1999 20(12):,899 900.6 7 8 9 赵 辉,陈 辉,于 泓.一 种 改 进 的 全 景 图 自 动拼 接 算 法 J.中国图象图形学报,2007,12(2):336 342.阮 秋 琦.数 字 图 像 处 理 M.北 京:电 子 工 业 出 版 社,2001.董 士 海.虚 拟 现 实 的 未 来应 用 N.中 国 计 算 机 报,2001 02 21.崔汉国,曹茂春,欧阳清.柱面全景图像拼合算法研究数 字图像处理 J.计算机工程,2004,30(6):158 159.10 赵万金,龚声蓉,刘全,等.一种用于 图像拼 接的 图像序 列自 动 排 序 算 法 J.

33、中 国 图 象 图 形 学 报,2007,12(10):1861 1864.11 张茂春.虚拟现实系统 M .北京:科学出版社,2001.12 明德烈,柳健,田金文.二维平面内的增强现实虚实配准 问题研究 J.红外与激光工程,2001,30(6):410 413.13 蔡勇,刘学惠,吴恩华.基于图像绘制的虚拟现实系统环 境 J.软件学报,1997.8(10):721 728.14 喻罡.基于图像的虚 拟场景 构造 和漫 游系统 研究 D.西安:西安理工大学,2002.图 6 放大前后的线段 在放大后的图像中央截取一块跟原图像大小相 同的区域,然而由于拍摄的过程中,一系列的过渡场 景不可能严格地

34、在一条直线上,也就是说相邻的中间 图像的中心位置并不重合。如果不加任何处理,在过 渡的时候实际效果并不平滑,在到达下一张中间图像 的时候仍然会有跳跃的感觉。解决的方法是,预先计 算 AB 的中点在经过放大和截取后,在最终目标图中 的位置 p(x y),对比 A!B!的中点 p!(x!y!),得出,!,?x=x!-x?y=y!-y 每次 放大后截 取时,补偿,?x/(n+1)和?y/(n+1),使图像中心逐步向目标 图像的中心靠拢。5 结束语 本文首先研究了鱼眼图像的拼接算法,在提出基 于亮度差的鱼眼图像重叠区域的确定方法和采用线性 补偿光强的方法进行图像的融合处理的基础上,实现 了利用两幅鱼眼

35、图像生成空战环境球面虚拟空间,然 后探讨了基于球面虚拟图的多视点漫游问题。分析 可知:利用反投影模板技术有效地提高全景图浏览的 (上接第 34 页)4 汪庆年,孙丽兵,李桂 勇.一种基于 ARM 的视 频监控 系 统的设计 J.微计算机信息,2009 25(11):158 160.,5 6 7 8 9 汪庆年,张广栋.嵌入 式网络 视频 监控系 统的 设计与 实 现 J.电力电子,2008(5):47 49.赵文敏,余文芳,邢建国.一种嵌入式网 络视频监控 系统 的设计 J.计算机应用与软件,2009 26(8):67 68 81.,郭 东升,田秀 华.L inux 环境 下基 于 Socke

36、 t的网 络通 信 J.软件导刊,2009,18(1):116 118.杨晖,胡永健,林志泉.基于 L inux 和 S3C2410 嵌入式图像传 输系统设计 J.微计算机信息,2007 23(8):20 24.,孟超,张曦煌.基于嵌 入式系 统的 图像采 集与 传输设 计 J.计算机工程与设计,2008 29(17):4414 4416,.10 童 永 清.L inuxC 编 程 实 战 M.北 京:人 民 邮 电 出 版 社,2008.11 王远洋,周渊 平,郭 焕丽.L inux 下基 于 Socket 多线 程并 发通信的实现 J.微计算机信息,2009,25(15):70 72.12 杨水 清,张 剑,施云飞,等.ARM 嵌 入式 L inux 系 统开发 技术详解 M.北京:电子工业出版社,2008.13 蔡志明,卢传富,李立夏.精通 Q t4 编程 M.北京:电子 工业出版社,2008.14 陈 鲲,陈 云 秋,刘 信 新.基 于 Q t/Embedded 的 嵌 入 式 L inux 应用程序的 设计 J.计算机与 数字工程,2009,37(1):156 161.1