基于ARM的图像采集与处理系统.wps





《基于ARM的图像采集与处理系统.wps》由会员分享,可在线阅读,更多相关《基于ARM的图像采集与处理系统.wps(39页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、大连民族学院电子信息工程课程设计报告课程名称:ARM 嵌入式系统结构与编程 题 目:基于 ARM 的图像采集与处理系统专业班级:电 子 082 学生姓名:黄小宝 张晓佳 于越 石艺丽 杨明奇 郑文星日 期:2011.10.21 指导教师:李 绍 明 摘要随着数字图像技术和电子技术的不断发展,图像采集系统已经在民用、商用和军用等各个不同的领域得到广泛的应用。发展体积小,功耗低的便携式数字图像采集系统显得非常必要,而且十分迫切。本文通过研究当前数字图像采集系统的研究成果和发展趋势,设计了一种基于FPGA 和嵌入式 ARM 组成的便携式数字图像采集系统;并对该系统设计过程中的若干问题进行了深入探讨,
2、论文重点研究了系统的硬件设计和软件实现。论文主要的研究内容包括:详细介绍了 CMOS 传感器OV9121;提出了利用 FPGA 实现对 CMOS 传感器的控制;在研究图像噪卢的机理后,提出了利用图像中值滤波消除噪声的方法:并研究了在FPGA 中实现中值滤波的方法;嵌入式 ARM 处理器 LPC2210 的功能和使用方法;ARM 处理器控制液晶显示器 TFT6758 的方法;论文详细讨论了 ARM 处理器和 FPGA 协调工作以及人机接口的实现等相关问题。论文通过分析 CMOS 传感器 OV9121 的控制方法,使用 VHDL 语言在FPGA 中实现对 CMOS 传感器的控制和图像数据的采集,设
3、计了大容量的双口 RAM 来缓存数据,并且利用 DSP Builder 在 FPGA 中实现了图像中值滤波的硬件设计。本文研究了 ARM 处理器 LPC2210 的特点,提出了利用 ARM 来控制 FPGA 图像采集的方法,设计了 FPGA 和 ARM的接口电路和控制方法。编写了 LPC2210 的 BootLoader 程序,利用ADSl 2 开发软件开发了 TFT6758 图像显示器的驱动程序,在 TFT6758上显示采集到的图像数据。最后本文对系统中存在的问题和今后努力的方向进行了总结。关键词:数字图像采集;FPGA;DSP Builder;ARM;OV912111 研究便携式数字图像采
4、集系统的意义视觉是人类最高级的感知器官,在人类感知中扮演着最重要的角色。人类约有 70的外界信息是通过视觉来获得的,图像作为一种重要的信息来源,是人类认识外部世界的有效手段。现代电子技术的高速发展,特别是计算机技术的飞速发展,图像的数字化己成为计算机进行图像处理之自 if 的必经的基本步骤。随着计算机技术、传感器技术和数字图像处理技术的迅速发展和相互渗透,进一步促进了数字图像技术的不断进步和广泛应用。多媒体通信、高清晰度电视以及图像处理、模式识别和计算机视觉等众多应用领域都对数字图像的采集与处理提出了越来越高的要求,如何获取高质量的数字式图像信息是非常重要的。由于数字图像采集技术在研究被测对象
5、方面具有非接触、可重复性好以及应用对象广泛等优点,使得图像采集在现代测量和检测领域方面具有十分广阔的市场前景。随着数字技术的不断发展,特别足数字图像传感器、大规模存储系统和彩色显示系统的发展,图像的数字处理技术也得到了飞速的发展。数字图像技术越来越多的应用于医学、生物学、法律、国防等众多行业。研究功耗和成本低、体积小、便于携带的数字图像采集系统越来越受到多方面的广泛关注。同时,数字图像采集系统又是传感器、数字图像处理、计算机接口技术等多学科的交叉和综合,涉及知识面广,其成果应用广泛,具有远大的市场前景和研究价值。12 国内外研究现状采用 PC 作为主机的图像采集系统在 80 年代-一 90 年
6、代开始流行,普遍采用当时的 ISA 总线,虽然 ISA 总线的速度为每秒十几兆,但 ISA总线标准的发展和改进已经停止,无法满足今后的高速传输数据需求。随着 ISA 总线接口在 PC 机上的消失,这种图像采集系统现在已经被使用 PCI 总线接口方式的图像采集卡所取代。当前流行的基于 PC 主机的图像采集系统一般是采用 PCI 总线的图像采集卡,PCI 总线速度非常快,达到 33MBs,可以实现摄像机图像到计算机内存的实时传送。在 Windows 平台上编制图像处理软件,利用高级语言可以开发各种满足需要的模块。由于 PCI 总线的诸多优点和当前 PCI 接口在 PC 机上的普及,这种系统是目前应
7、用最为广泛的图像采集系统。随着半导体技术的不断发展,另一种能脱离 PC 的图像采集系统也得到了飞速的发展,目前主要有两种实现方式:一种是采用嵌入式处理器 ARM+数字信号处理器 DSP 的方案,ARM 作为主控制器,控制图像传感器的图像采集、通讯接口、人机界面等,由 DSP 完成数字图像处理算法,对数字图像进行算法级处理,这是目前众多便携式图像采集系统的主要构成方式;另外一种是采用DSP+可编程逻辑芯片 FPGA 或 CPLD 的实现方法,FPGA 或 CPLD 能利用硬件描述性语言设计复杂的逻辑,可以作为整个系统的协处理器来完成某些复杂、高速传输数据的逻辑接口,例如图像传感器的控制、SDRA
8、M 存储等,由 DSP 完成整个系统的数字图像信号处理运算,配合高速存储设备,实现大数据量的吞吐,这种架构也是目前便携式图像采集系统的常用实现方式。随着现代大容量、高密度、高速度 FPGA 的出现,在这些 FPGA 中一般都内嵌有可配置的高速 RAM、PLL 以及硬件乘法器等 DSP 专用 IP 模块,而且在原有逻辑宏单元的基础上嵌入了许多面向 DSP 的专用模块,结合这些硬件资源使 DSP 丌发者能十分容易地在一片 FPGA 上实现整个 DSP 系统,同时 FPGA 中能嵌入高速的ROM 和 RAM 模块,实现高达 10Mbs 的读写速率(Altera 公司的Stratix 系列)【8】,F
9、PGA 的设计非常灵活,通用 DSP 芯片通常只有1-4 个乘法器,而在 FPGA 中可以配置数十个乘法器(例如 Altera 公司最新的低成本的 CycloneII 系列 FPGA 可以提供多达 150 个 1818 位的乘法器),【9】用来实现通用的 DSP 功能。很多 FPGA 供应商提供了专用的丌发软件(例如 Altera 公司的 DSP Builder),以 MATLAB 工具箱的形式出现,利用MATLAB 中的 Simulink 工具进行图像化设计,建立各种数字信号 DSP模型,完成后利用 DSP Builder 将其转换成硬件描述性语言 VHDL,通过综合、下载,最后得到能实现
10、DSP 功能的 FPGA 电路。使得 DSP 开发变得简单,而且 FPGA 高速硬件实现算法的特点使得系统处理速度和效率得到最大限度的发挥。基于 FPGA 数字信号处理开发流程见图 l 一1 所示。在研究了很多便携式图像采集系统的结构和特点后,本文选用了直接用 FPGA 作为整个数字图像采集系统的核心,利用 FPGA 完成对图像传感器的控制、数字图像的处理,嵌入式 ARM 处理器作为协处理器,负责控制显示器、人机接口等。13 本文的研究内容本文在系统分析了嵌入式系统、FPGA 的发展和图像处理的有关知识后,结合已有的研究成果,提出了以 FPGA 和 ARM 作为系统主体框架的便携式图像采集系统
11、的设计方法,重点研究了系统软硬件构成的若干问题,并通过多种软件模拟了图像采集的软硬件实现效果,以及在图像采集中遇到各种噪声模型的滤波处理的预期效果。1前言介绍便携式数字图像采集系统的应用前景、当前国内外研究现状及本文研究的主要内容。图 l 一 1 FPGA 数字信号处理开发流程2 数字图像采集的相关理论主要介绍了与数字图像采集相关的理论和技术基础,对数字图像常见噪声,数字图像处理的基本算法中值滤波、平滑滤波等进行了阐述。3FPGA 实现数字信号的方法介绍了目前 FPGA 的开发流程,VHDL 语言的相关特点和 DSP Builder 的使用。4系统硬件模块设计主要包括本文中所使用的 CMOS
12、传感器、FPGA 及 ARM 处理器、FPGA 控制 CMOS 传感器模块、FPGA 中值滤波模块的实现、ARM 处理器 LPC2210 硬件模块、TFT6758 和 ARM 的接口模块。5系统软件设计详细论述了系统的软件设计方法,主要包括 ARM处理器 LPC2210 引导程序的编写、图像显示模块的驱动、人机接口模块,FPGA 和 ARM 协同工作方法等。6 总结及展望讨论了本系统在进行数字图像采集过程中存在的问题、改进的意见和以后的工作中应努力的方向。2 数字图像采集有关理论 21 图像的数字化211 CMOS 传感器的工作原理和结构特点 I 体 16l CMOS(Complementar
13、y Metal Oxide Semiconductor,互补型金属氧化物半导体)图像传感器诞生于上个世纪八十年代,时至今 R 已发展了两代 CMOS图像传感器,第一代为 CMOS 无源像素传感器,第二代为 CMOS 有源像素传感器。其中以有源像素发展最快,已由最初的几万像素、几十万像素发展至今的百万像素,乃至上千万像素的 CMOS 图像传感器。用 CMOS 图像传感器开发的数码相机、微型和超微型摄像机已大批量进入市场。到目前为止,在开发 CMOS 图像传感器中所采用的先进的关键技术可归纳如下:(1)相关双取样(CDS)电路技术:(2)微透镜阵列制备技术;(3)彩色滤波器阵列技术;(4)数字信号
14、处理(DSP)技术;(5)抑制噪声电路技术;(6)模拟数字转换(AD)技术;(7)亚微米光刻技术。CMOS 传感器采用感光元件作为影像捕获的基本手段,感光元件的核心都是一个感光二极管(photodiode),该二极管在接受光线照射之后能够产生输出电流,而电流的强度则与光照的强度对应,每个感光元件对应图像传感器中的一个像点,由于感光元件只能感应光的强度,无法捕获色彩信息,因此必须在感光元件上方覆盖彩色滤光片。在这方面,不同的传感器厂商有不同的解决方案,最常用的做法是覆盖RGB 红绿蓝三色滤光片,以 1:2:1 的构成由四个像点构成一个彩色像素(即红蓝滤光片分别覆盖一个像点,剩下的两个像点都覆盖绿
15、色滤光片),采取这种比例的原因是人眼对绿色较为敏感。CMOS 传感器除了处于核心地位的感光二极管之外,它还包括放大器与模数转换电路,传感器中的每一个感光元件都直接整合了放大器和模数转换电路模块,当感光二极管接受光照、产生模拟电信号之后,电信号首先被该感光元件中的放大器放大,然后直接转换成对应的数字信号。数字图像采集有关理论每个像素点的构成为一个感光二极管和三个晶体管,而感光二极管占据的面积只是整个元件的一小部分,造成 CMOS 传感器的开口率远低于 CCD(开口率:有效感光区域与整个感光元件的面积比值),而且 CMOS 感光元件中的放大器属于模拟器件,无法保证每个像素点的放大率都保持严格一致,
16、致使放大后的图像数据无法代表拍摄物体的原貌,体现在最终的输出结果上,就是 CMOS 传感器捕捉到的图像细节丢失情况严重且图像中噪声明显。因而在使用 CMOS 传感器的时候必须使用多种滤波手段对采集到的数字图像数据进行滤除噪声处理。当然 CMOS 传感器也具有许多优点:CMOS 传感器更容易制造、成本也非常低;CMOS 传感器采用标准的 CMOS 半导体芯片制造技术,很容易实现大批量生产,加之CMOS 的每个感光元件相互独立,即便有若干个元件出问题,也不会影响传感器的完整性;CMOS 传感器可轻松实现较高的集成度,由于采用半导体工艺制造,厂商可以将时钟发生器、DSP 处理芯片等周边电路与 CMO
17、S 传感器本身整合在一起,从而实现整个图像捕获模块的小型化,也有效降低 OEM 客户的设计难度,同时设计出体积更小的图像捕获装置;CMOS 传感器采用主动式图像采集方式,感光二极管所产生的电荷直接由晶体管放大输出,这种做法虽然导致严重的噪声,但也令 CMOS 传感器拥有超低功耗的优点,在低功耗、小型化图像采集模块等方面 CMOS 传感器都有大量的应用。但由于 CMOS 传感器的结构特点决定了所采集的图像具有大量的噪声,因而 CMOS 传感器所采集的图像必须采用处理方法进行噪声消除。212 图像的取样与量化自然界中的图像都是模拟的,模拟图像必须首先经过离散化处理后变成计算机能够识别的点阵图像数字
18、图像,计算机才能进行处理。这个过程被称为图像的采集。为了把一副模拟图像转换为数字图像,必须在坐标和幅度上都进行取样操作。数字化的坐标值称为取样,数字化幅度值称为量化。严格的数字图像是一个经过等距离矩形网格采样,对幅度进行等间隔量化的二维函数,因此数字图像实际上就是被量化的二维采样数组。用厂 G,J,)二维函数形式表示图像,在特定的坐标 G,少)处,f 的值或幅度是一个正的标量,其物理意义由图像源决定。:ggi-f(x,J,)通过脉冲相应函数b,y)转换,得到采样后的图像函数 g(x,y)见式(2-1):gb,Y)=S(x,J,)木 h(x,y)幸 s(x,y)(2-1)其中 s(x,Y)见式(
19、22):s(x,y)=万(X-m,y-n)(22)利用二维单位脉冲 a(x,Y)图像函数 gG,J,)进行采样,最终完成图像的数字量化。取样和量化的结果是产生一个 M 行和 N 列的矩阵,一副图像将被分成若干个小区域,每个小区域对应一个数据,也就是图像上的一个点,这样,整副图像被分为每行若干个像素(柳个),和每列若干个像素(甩个),及存在 mn 个像素点的集合。然后对每个像素点的灰度用 0-255 的数字表示,这就是量化过程。213 数字图像采集的常见噪声图像传感器的工作情况受各种外界因素的影响,如图像采集的光照环境、传感器本身的质量等。而且图像在传输的过程中,在信道中又会受到噪声污染。常见的
20、模拟噪声有:高斯噪声和脉冲噪声(椒盐噪声)。其中高斯噪声的概率密度随机密度由函数式(2-3)给出:pG)=丽 1 P 枷(23)其中孑表示灰度值,表示 z 的平均值或期望值,盯表示 Z 的标准差。标准方差的平方仃 2,称为 z 的方差。高斯噪声在图像中的表现是颗粒状的噪声。脉冲函数(椒盐噪声)的概率密度随机密度由函数式(24)给出。1 只 z=a p(z)=咒 z=b(2-4)1 0 其他如果 b)a,狄度值 b 在图像中将显示为一个亮点,相反,a 的值将显示一个暗点。若 P。和 P。均为 0,则脉冲噪声称为单极脉冲。若 P。和 P。均不可能为零,尤其是它们近似相等时,脉冲噪声值将类似于随机分
21、布在图像上的胡椒和盐粉微粒,所以也称其为椒盐噪声。脉冲噪声是正的话,图像中将出现白点,脉冲噪声是负的话,图像中将出现黑点,图像混入噪声后将出现如图 21 所示的情况。数字圈像采集有关理论图 2 一 I 混入了高斯噪声和脉冲噪声的图像22 数字图像降噪处理算法221 中值滤波基本原理中值滤波是由 Turkey 在 1971 年提出的一种基于排序统计理论的能有效抑制随机噪声的非线性信号处理技术。中值滤波是统计滤波器中最常见的种,是种非线性的空阳 J 滤波器,它的响应基于图像滤波器包围的图像区域巾像素的排序,然后把数字图像像素扶度的值用该点邻域中各点值的中值替代。其定义为:已知一组数列 j,2,z”
22、,*。将其按值的大小顺序排列:z5t2 53 x。则该序列的中值见式(2-1)。Y=medianxIx2=篙蒜(2-1)例如有一个序列为(1,23,4,5)这个序列的中值为 3。式 2 1 中,若把一个点的特定长度或形状的领域作为窗口,在一维情况下,中值滤波器是一个含有奇数个像素的滑动窗口。窗口 J 下中间的那个像素的值由窗口各像素值的中值来替代,设输入序列为 k,iE,为自然数集合或子集,窗口长度为 n,且令“=兰,则滤波器的输出 Y 见式(22)。Z y=medianlxI=medianxl。Jm)(2 2)图 22 的是空间滤波的处理机理,假定模板为 33 模板。掩模从左到右,从上到下在
23、待处理的图像中移动。则图像中任一点(J,)的响应可由式(23)给出。,:爿叶、坐:rlrL 一 2图 22 空间滤波的机理R=COl 毛+缈 222+.+国 929=彩 fzf(23)f;l 一个集合中的中值 x 应该是这样来定义的,在数值集合中有一半的数要小于或等于 x,也有一半的数要大于 x。对于一幅图像来说,要想对图像上的任一点作中值滤波,首先必须对掩模内的像素点及其邻域进行排序,然后确定出中值,并用将中值赋予该像素点,对于上述的 33的邻域,其中中值为第 5 个扶度值。进行空间滤波时有一个重要的问题就是,当滤波掩模靠近图像边缘的时候发生的情况。对于 33 的模板来说,当掩模中心距离图像
24、的边缘仅为一个像素时,该掩模至少有一条边与图像边缘重合。如果掩模继续向图像边缘移动,掩模的行或列就会处于图像平面之外。为了简化起见,对于边缘的处理,本文采用的是对于使掩模的中心距离图像边缘为 1 个像素时停止移动(也可以认为丢弃掉一部分图像),这样滤波出来的图像会比原图像偏小,但保证了图像的精度。中值滤波的优点是运算简单且速度较快,在滤除随机噪声方面显示出了极好的性能,但对高斯噪声的消除效果不理想。在某些条件下,中值滤波方法可以去除噪声,保护图像边缘,使图像较好地复原,它非常适用于一些线性滤波器无法胜任的数字图像处理的应用场合。受噪声污染的图像经过中值滤波后的效果见图 23。222 均值滤波基
25、本原理均值滤波的机理同样是空间滤波,是属于一种线性滤波器,同样对于图 22 中的 33 窗口,采用局部平均法,设窗口中的中心点为(x,Y),则该点的灰度值由式(24)给出。敛字图像采集有关理论噪声干扰图像(a)中值滤波后(b)图 2 3 中值滤波的效果图,()=;Ir(z+,+,)(24)7 hl j=l 似设图像中的噪声是随机不相关的,且为加性噪声,在窗口中噪声是独立分布的。通过上式处理后的图像将有效的降低噪声。均值滤波可以平滑图像信号,特别是可以使图像边界变得模糊,均值滤波是以牺牲图像的清晰度来实现消除噪声的。对于图像中的颗粒状的噪声例如高斯噪声,可以使用均值滤波器去除掉。3 FPGA 实
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 ARM 图像 采集 处理 系统

限制150内