2022年基于FPGA的视频信号采集与处理系统.docx

精品学习资源基于 FPGA 地视频信号采集与处理系统摘 要图像是人类猎取和交换信息地主要来源.现如今，图像处理地应用领域已经涉及到人类生活和工作地方方面面，如航天和航空技术、工业和工程、军事公安、生物医学工程等等.在图像处理系统中，实时图像地采集是整个系统地前端部分，也是整个系统最重要地部分.前端地图像采集速度及质量，直接影响到图像处理系统后端地算法处理及应用.本文主要设计图像处理系统地前端部分，即视频信号地采集.本文设计中采纳 CMOS 图像传感器 OV7670 对外界图像进行实时采集，通过 FPGA 内部设计地初始化模块对图像传感器输出信号地格式进行配置.依据其输出信号地时序，在FPGA 内部设计采集单元 .采集到地数据一路送到 TFT 液晶屏上进行实时显示，另一路送入SRAM 缓存.当一帧图像储备完成后，在 NIOS II 软核中对图像进行处理，并将处理结果以图片地方式，储备到外部储备器SD 卡中.关键字： FPGA； 实时图像； CMOS； 图像采集欢迎下载精品学习资源AbstractThe image is human access and exchanges the primarysource of information. Nowadays, Image processing applications have involved human life and all aspects of the work, such as aerospaceand aviation technology, industry and engineering, military police, biomedical engineering and so on. In the image processing system, Real-time image collection is the head part of the whole system, is also the most important part of the whole system. Part of the image acquisition speed and quality, directly affect the image processing system and the algorithm after processing and the application.This paper mainly designs image processing system, namely the head part of video signal collection.This paper applied to the design of CMOS image sensor to the outsideworld OV7670 real-time image acquisition. Through the FPGA design inside theinitializationofthe moduleofimage sensor outputsignalformat configuration. According to its output signal timing, In the FPGA design inside acquisition cell. The data collected one way toTFT LCD screen on the real- time display, and the other way into an SRAM cache, when a frame image storage completed, processing the image in the NIOS II MCU. And the result of processing, storage to external storage SD card.Key words：FPGA； Real-time image； CMOS； Image acquisition欢迎下载精品学习资源目 录1 前 言 .1.1.1 数字图像处理进展史 .1.1.2 系统整体设计 .3.2 CMOS 原理和特性及 CMOS 摄像头地基本结构 .4.2.1 CMOS 原理及特性 .4.2.1.1 CMOS 数字图像传感器基本原理 .4.2.1.2 CMOS 图像传感器地特性 .5.2.2 COMS 传感器地基本结构 .6.2.2.1 OV7670 简介.6.2.2.2 OV7670 内部结构 .8.3 系统设计及硬件实现 .1 2.3.1 系统结构及工作流程 .1 23.1.1 系统结构 .1 2.3.1.2 系统工作流程 .1 2.3.2 器件选型及硬件电路实现 .1 33.2.1 FPGA选型 .1 3.3.2.2 FPGA配置电路 .1 4.3.2.3 SDRAM 电路实现 .1 5.3.2.4 SRAM 电路实现 .1 7.3.2.5 其他硬件电路 .1 8.4 系统软件设计 .1 9.4.1 软件设计概述 .1 9.4.2 VHDL 简介及特点 .2 0.4.3 OV7670 初始化模块 .2 14.4 OV7670 数据采集模块 .2 34.5 SRAM 掌握模块和 TFT 液晶掌握模块 .2 5欢迎下载精品学习资源4.6 MCU 单元设计 2.6.4.6.1 SOPC Builder简介.2 64.6.2 主掌握单元 MCU 地实现 .2 84.7 NIOS II 软件开发 .2 9.4.7.1 NIOS II 集成开发环境 .2 94.7.2 MCU 软件设计 .3 0.4.7.3 简洁运动检测 .3 1.4.7.4 BMP 图片储备 .3 2.5 总结与展望 .3 4.参考文献 .3.5.附录 1 .3.6.附录 2 .4.3.致谢 .4.4.欢迎下载精品学习资源1 前 言1.1 数字图像处理进展史数字图像处理技术起源于20 世纪 20 岁月，当时通过海底电缆从英国伦敦到美国纽约传输了一幅照片，它采纳了数字压缩技术.就 1920 年地技术水平看，假如不压缩，传一幅图片要一个星期时间，压缩后只需要3小时.1964 年美国地喷气推动试验室处理了太空船“徘徊者七号 ”发回地月球照片，这标志着第三代运算机问世后数字图像处理概念开头得到应用. 其后，数字图像处理技术得到快速进展，目前已成为工程学、运算机科学、信息科学、统计学、物理学、化学、生物学、医学甚至社会科学等领域各学科之间学习和讨论地对象 .从 70 岁月中期开头，随着运算机技术和人工智能、思维科学讨论地快速进展，数字图像处理向更高、更深层次进展 .人们已开头讨论如何用运算机系统说明图像，实现类似人类视觉系统懂得外部世界 .如今图像处理技术已给人类带来了庞大地经济效益和社会效益 .而在图像处理系统中，图像采集是图像处理最重要地前提.前端地图像采集速度及质量，直接影响到图像处理系统后端地算法处理及应用.图像采集卡是常用地图像输入设备，通常占用PC 机总线地一个插槽 .它主要包括图像储备器单元、 CCD 或 CMOS 摄像头接口、 PC 机总线接口等 . 传统地图像采集卡大多数采纳PCI 接口，这种图像采集卡适用于将模拟信号经 A/D 转换器转换成数字信号，或本身就是数字信号，再通过PCI 接口传输至 PC 机，进行图像处理 .但使用嵌入式系统实现图像采集和处 理时，带有 PCI 接口地图像采集卡就不适用 .另外在图像处理地实时性方面，一般地所用地PC 软件或 MCU 软件方法已不能满意要求，究其缘由就是由于其本质是次序执行指令，不能做开并行处理 .而一般采集地图像数据量较大，运算量也相应比较大.另一方面，现今地图像处理应用也向嵌入式小型化方向进展.因此，现场可编程门阵列（ FPGA， Field Programmable Gate Array ）以其较高地并行处欢迎下载精品学习资源理才能、丰富地内部资源和较大地敏捷性，在视频图像处理方面，显现出特殊地优势 .FPGA，即现场可编程门阵列是用户自编程ASIC 地一种，它使用户可以在现场通过编程形成自己所需要地ASIC，并可不断对自己已经提出地要求或初始设计进行更换.1985 年， Xilinx公司推出了世界上第一款FPGA，在随后地 20 多年地进展过程中， FPGA 硬件体系结构和软件开发工具都在不断地完善，成熟.现在如今， Xilinx 、Altera 等世界顶级厂商已经将 FPGA 器件地集成度提高到一个新地水平 .此外， FPGA 仍嵌入用户可以自己定制地软核CPU，加上完整和多平台设计环境，仍可以利用第 三方地综合、仿真工具，提高了设计效率，缩短了设计周期.随着现代大容量、高密度、高速度FPGA 地显现，在这些 FPGA 中一般都内嵌有可配置地高速RAM 、PLL 以及硬件乘法器等 DSP 专用 IP 模块，而且在原有规律宏单元地基础上嵌入了很多面对DSP 地专用模块，结合这些硬件资源使DSP 开发者能特别简洁地在一片FPGA 上实现整个 DSP 系统，使得之前主要由 DSP 完成数字图像处理算法，对数字图像进行算法级处理地系统，完全可以在一片FPGA 上来实现，大大缩减了外部硬件电路 .同时 FPGA 中能嵌入高速地 ROM 和 RAM 模块，实现高达 10Mb/s 地读写速率 Altera 公司地 Stratix 系列，FPGA 地设计特别敏捷，通用 DSP 芯片通常只有 14 个乘法器，而在 FPGA 中可以配置数十个乘法器 例如 Altera 公司最新地低成本地CycloneII 系列 FPGA 可以供应多达 150 个 18×18 位地乘法器 ，用来实现通用地 DSP 功能.很多 FPGA 供应 商提 供了 专用地开发软件 例如 Altera 公 司 地 DSP Builder ， 以MATLAB工具箱地势式显现，利用MATLAB中地 Simulink 工具进行图像化设计，建立各种数字信号DSP 模型，完成后利用 DSP Builder 将其转换成硬件描述性语言 VHDL ，通过综合、下载，最终得到能实现DSP 功能地 FPGA 电路，使得 DSP 算法处理开发变得简洁 .欢迎下载精品学习资源1.2 系统整体设计本文主要讨论是基于FPGA 设计一个完整和视频信号采集与储备系统.本系统能够实时采集数据，其图像地质量可以通过对数字图像传感器进行配置初始化，以得到正确图像 .之后送入 FPGA，一方面在 TFT 液晶屏上实时显示，另一方面在存入SRAM 缓存，然后在NIOS II 软核中对其进行处理，之后以图片地格式存入SD 卡.基本系统框图如图 1-1 所示：SRAMEPCS4欢迎下载精品学习资源OV7670图像传感器FPGAEP2C8Q208C82.8寸 TFT液晶显示屏欢迎下载精品学习资源SDRAMSD图 1-1 系统框图所应用场合如图 1-2 所示.:应讨论摄像头图像采集用讨论FPGA 嵌入式图像处理技术场合参讨论在线图像采集与预处理技术考讨论图像识别技术图 1-2 参考应用场合欢迎下载精品学习资源2 CMOS 原理和特性及 CMOS 摄像头地基本结构2.1 CMOS原理及特性CMOS （ Complementary Metal-Oxide-Semiconductor）图像传感器是在 60 岁月末期显现地，但由于其性能地不完善严峻影响了图像质量，从而制约了它地进展和应用 .在 70 岁月和 80 岁月， CCD 在可见光成像方面取得了主角地位置 .进入到 90 岁月，由于对小型化、低功耗和低成本成像系统消费需求地增加和芯片制造技术和信号处理技术地进展，为新一代低噪声、优质图像和高彩色仍原度地CMOS 传感器地开发铺平了道路， CMOS 图像传感器成为固体图像传感器地讨论开发热点，CMOS 传感器地性能也因此大大提高 .CMOS 图像传感器地快速进展并商业化得益于成熟地 CMOS 工艺，目前国外诸多公司和科研机构已经开发出不同光学格式、多种类型地CMOS 图像传感器，并将其应用于光谱学、X 射线检测、天文学 观测讨论 、空间探测、国防、医学、工业等不同地领域.2.1.1 CMOS 数字图像传感器基本原理CMOS 数字摄像头是由 CMOS 数字图像传感器芯片、芯片外围电路和光学镜头组成地 .在通常情形下，图像传感器芯片地性能就打算了摄像机地性能 .典型地 CMOS 图像传感器芯片是由像素感光阵列及帮助电路构成，其结构如图 2-1 所示.其中像素感光阵列主要完成光电转换功能，实现图像地采集，是芯片地核心组成部分.帮助电路主要完成驱动信号地产生、光电信号地处理和信号输出等任务，是芯片实现各种功能地关键电路.欢迎下载精品学习资源行挑选译码器像素感光阵形模拟信号处理器列挑选译码器模数转换器储备器定时掌握电路读出译码器图 2-1 CMOS图像传感器基本组成原理像素感光阵列是由光电二极管和MOS 场效应管阵列构成地集成电路 .在实际工作中， CMOS 图像传感器第一在行挑选译码器地掌握下依次接通被选中行地像素模拟开关，图像信号通过行开关传送到列线上，再通过列挑选译码器地掌握传送到放大器 .经过处理地模拟信号最终由A/D 转换器进行模数转换，再经预处理电路处理后通过接口电路输出.2.1.2 CMOS 图像传感器地特性（1） ）光照特性CMOS 传感器地主要应用也是图像地采集，也要求能够适应更宽地光照范畴 .因此也必需采纳非线性地处理方法和自动调整曝光时间与自动增益等处理方法 .结果与 CCD 相机一样缺失了光电转换地线性，正由于此项，它也受限于灰度地测量 .（2） ）输出特性CMOS 图像传感器地突出优点在于输出特性，它可以部分输出任意区域范畴内地图像 .（并非全部 CMOS 传感器都具有这个功能，假如生产厂家没有给您供应）这个特性在跟踪、寻地、搜寻及室外拍照等地应用前景特别之好 .也是 CCD 传感器所无法办到地 .（3） ）光谱响应欢迎下载精品学习资源光谱响应受半导体材料限制，同种硅材料地光谱响应基本一样，与CCD 地光谱响应基本一样 .（4） ）光敏单元地不匀称性光敏单元地不匀称性是CMOS 图像传感器地弱项，由于它地光敏单元不像 CCD 那样严格地在同一硅片上用同样地制造工艺严格制造，因此远不如 CCD 地光敏单元地一样性好，但是它内部集成单元多，处理才能强能够补偿这个缺陷 .2.2 COMS传感器地基本结构2.2.1 OV7670 简介下面以 OmniVision 公司地 OV7670 图像传感器为例，来说明 COMS传感器地基本结构 .OV7670 CAMERACHIPTM图像传感器，体积小、工作电压低，提 供单片 VGA 摄像头和影像处理器地全部功能 .通过 SCCB 总线掌握内部寄存器，可以使 OV7670 输出整帧、子采样、取窗口等方式地各种辨论率地图像数据 .SCCB 是 OmniVision 公司定制地串行摄像头掌握总线（ Serial camera control bus），它用于对摄像头地寄存器进行读写，以达到对摄像头输出图像地掌握 .两线制 SCCB 与 I2C 总线类似，是一种双向二线制同步串行总线.SCCB 地数据传输由微处理器掌握，微处理器能够发出数据传输启动信号、时钟信号以及传送终止时地停止信号.SCCB 接口有两个管脚，SIO_C 是 SCCB 时钟输入信号，它地最大频率为400KZ ， SIO_D 是SCCB 数据输入输出口，依据协议把参数写入寄存器和读取寄存器地数值.SCCB 地时序图，如下图 2-2 所示：欢迎下载精品学习资源图 2-2 SCCB掌握协议OV7670 摄像头地 VGA 图像最高达到 30 帧/秒.用户可以完全掌握图像质量、数据格式和传输方式.全部图像处理功能过程包括伽玛曲线、白 平稳、饱和度、色度等都可以通过SCCB 接口编程 .OmmiVision 图像传感器应用独有地传感器技术，通过削减或排除光学或电子缺陷如固定图案噪声、托尾、浮散等，提高图像质量，得到清楚地稳固地彩色图像.其主要性能参数，如表 2-1 所示：表 2-1 OV7670性能参数欢迎下载精品学习资源2.2.2 OV7670 内部结构其内部功能模块如图 2-3 所示：欢迎下载精品学习资源其中包括：图 2-3 OV7670内部组成欢迎下载精品学习资源（1） ） 感光阵列（共有 656x488 个像素，其中在 YUV 地模式中，有效像素为 640x480 个），如图 2-4 所示，显示了一个断面地图像传感器阵列欢迎下载精品学习资源（2） ）模拟信号处理图 2-4 一个断面图像传感器阵列欢迎下载精品学习资源该模块执行全部模拟功能，包括： 自动增益 自动白平稳 A/D 转换原始地信号经过模拟处理器模块之后，分 g 和 BR 两路进入一个 10位地 A/D 转换器， A/D 转换器工作在 12M 频率，与像素频率完全同步，（转换地频率和帧率有关）.除 A/D 转换器外，该模块仍有以下两个功能：（3） ）黑电平校正（ BLC（4） ） U/V 通道推迟（5） ） A/D 范畴掌握A/D 范畴乘积和 A/D 地范畴掌握共同设置 A/D 地范畴和最大值，答应用户依据应用调整图片地亮度 .（6） ）测试图案发生器测试图案发生器有如下功能： 八颜色色条图案 渐变至黑白彩色条图案 输出脚移位 “1”（7） ）数字信号处理器该模块掌握由原始信号插值到 RGB 信号地过程，并掌握一些图像质量： 边缘锐化（二维高通滤波器） 颜色空间转换（ 原始信号到 RGB 或者YUV/YCbYCr RGB颜色矩阵以排除串扰 色相和饱和度地掌握 黑/白点补偿 降噪 镜头补偿欢迎下载精品学习资源 可编程地伽玛 十位到八位数据转换（8） ） 图像缩放这个模块依据预先设置地要求输出数据格式，能将YUV/RGB信号从 VGA 缩小到 CIF 以下地任何尺寸 .（9） ）时序发生器通常时序发生器有以下功能： 阵列掌握和帧率发生 内部信号发生器和分布 帧率地时序 自动曝光掌握 输出外部时序 VSYNC, HREF/HSYNC 和 PCLK其输出外部时序如图2-5 所示： 水平常序：图 2-5 OV7670输出水平常序VGA 框架时序如图 2-6 所示：欢迎下载精品学习资源欢迎下载精品学习资源（10） ）数字视频端口图 2-6 OV7670输出 VGA 框架时序欢迎下载精品学习资源寄存器 COM21:0 调剂 IOL/IOH 地驱动电流，以适应用户地负载.（11） ）SCCB 接口用于对 OV7670 内部各个寄存器地读与写 .（12） ） LED 和闪光灯输出掌握 OV7670/OV7171 有闪光灯模式，掌握外接闪光灯或闪光LED地工作.欢迎下载精品学习资源3 系统设计及硬件实现3.1 系统结构及工作流程3.1.1 系统结构SRAMEPCS4OV7670图像传感器FPGAEP2C8Q208C82.8寸 TFT液晶显示屏SDRAMSD在前言中已经提到，本系统地主要是基于FPGA 架构地，由 FPGA 作为核心掌握及处理单元，其余外部设备与芯片包括SRAM 储备器、SDRAM 储备器、 EPCS4配置芯片、 TFT 液晶显示屏等 .系统框图如图 3-1 所示，欢迎下载精品学习资源3.1.2 系统工作流程图 3-1 系统总体框架欢迎下载精品学习资源（1） 系统上电， FPGA 通过配置芯片完成硬件电路配置；（2） 硬件电路配置完毕， FPGA 内部地特定模块对 OV7670 和 TFT液晶屏进行寄存器地配置初始化设置；（3） 初始化设置完毕，启动 OV7670， FPGA 采集图像数据到 FPGA 内部，经过格式转换后，一路存入 SRAM 缓存，一路直接在 TFT 液晶屏上实时显示 .（4） 一帧图像数据全部存入 SRAM 后， FPGA 内部地 NIOS II 软核读取 SRAM 图像数据并解读，处理后以图片格式存入 SD 卡中.欢迎下载精品学习资源3.2 器件选型及硬件电路实现3.2.1 FPGA 选型FPGA 是该系统地核心，由于本系统目前只是完成简洁地图像处理， 故 FPGA 选用 Altera 公司地低成本 FPGA Cyclone lI 系列器件 .Cyclone II 系列器件简介如表 3-l 所示.表 3-1 Cyclone II系列 FPGA 参数对比Cyclone II 器件采纳 90nm 工艺制造，它连续 Cyclone 地低成本定位，在规律容量、 PLL、乘法器和 I/O 数量上都较 Cyclone 有了很大地提高，应用 Cyclone II 进行图像处理开发有如下优点：(1) 低成本高性能，适应图像处理要求较高地需要.Cyclone II 器件架构是特地为低成本设计优化地，供应了大量地规律单元LE，密度超过第一代 Cyclone FPGA 三倍；其内部地规律资源可以用来实现复杂地应用.与其他低成本 90nm FPGA 相比， Cyclone II FPGA 快 60，是市场上性能最好地低成本 90nm FPGA.(2) 丰富地内嵌储备器资源，适应大量图像数据存取地需要.Cyclone lI FPGA 基于流行地 M4K 储备器块，供应大量地嵌入式储备器，支持多种操作模式地配置，包括RAM 、ROM 、FIFO 缓冲器以及单端口和双端口模式.(3) 丰富地硬件乘法器，适应图像处理算法地需要.Cyclone II FPGA供应了大量地比特乘法器，可用于实现通用DSP 功能.出于成本及系统实现功能地考虑，本系统地FPGA 目前临时选用EP2C8Q208C8.欢迎下载精品学习资源3.2.2 FPGA 配置电路由于目前地 FPGA 大多采纳 SRAMI 艺，系统掉电后 SRAM 内部地数据将丢失，无法储存，因此必需通过外部配置，才能再次对 FPGA 内部地多路器、规律、互连线结点和 RAM 初始化内容进行编程 .下面简洁介绍一下 FPGA 地三种配置方式 .FPGA 主动方式在主动方式下，配置过程如下：FPGA 主动输出掌握和同步信号包括配置时钟 给 Altera 专用地串行配置芯片 EPCSl 和 EPCS4 等，配置芯片在收到命令后，将配置数据发送到FPGA.要支持地这种主动方式， Altera FPGA 只能够与 Altem 公司供应地主动串行芯片 EPCS 系列协作使用， Altem 称这种配置方式为主动串行 ASActive Serial 模式.AS 方式下配置芯片与 FPGA 相连地信号有：串行时钟输入 DCLK ，AS 掌握信号输入ASDI ，片选信号 nCS，串行数据输出 .FPGA 被动方式在被动方式下，由系统中地其他设备，如Altem 地配置芯片 EPC 系列、微处理器、 CPLD 等发起并掌握配置过程， FPGA 处于完全被动地位置.FPGA 接收配置时钟、配置命令和配置数据，给出配置地状态信号以及配置完成指示信号等 .被动方式可以具体细分为以下多种模式，包括被动串行PSPassive Serial 、 快 速 被 动 并 行 FPPFast Passive Parallel 、 被 动 并 行 同 步PPSPassive Paraltel Synchronous、被 动并 行异步 PPAPassive Parallel Asynchronous，以及被动串行异步 PSAPassive SerialAsynchronous.上述模式这里不再详述 .PS 方式下配置设备与 FPGA 相连地信号有： DCLK 配置时钟 ， DATA0 配置数据 ， nCONFIG 配置命令 ， nSTATUS状态信号 ， CONF DONE 配置完成指示 .JTAG 方式JTAG 是 IEEE 1149 1 边界扫描测试地标准接嗣 .绝大多数地 Altera欢迎下载精品学习资源FPGA 都支持由 JTAG 口进行配置，并支持 JAM STAPL 标准， JTAG 配置方式比其他任何一种配置方式地优先级都高.扶 JTAG 接叠进行配置可以使用 Altera 地下载电缆，通过 Quartos II 工具下载，也可以采纳微处理器来模拟 JTAG 时序进行配置 .JTAG 方式下 FPGA 需要用到以下信号： TDI 测试数据地输入 ， TDO 测试数据地输出， TMS 模式掌握管脚，打算JTAG 电路内部地TAP 状态机地跳转 ， TCK 测试时钟 .Cyclone II 地器件都支持上述三种配置方式，本系统可以通过不同地下载接口可以挑选采纳 AS 方式仍是 JTAG 方式.电路原理图如图 3-2 所示.欢迎下载精品学习资源3.2.3 SDRAM 电路实现图 3-2 FPGA配置电路欢迎下载精品学习资源本系统 FPGA 内部设计有 NIOS II 软核， SDRAM 主要用来存放软件MCU 中地软件程序，软核CPU 中设计地复位基地址Reset Vevtor 及中断向量基地址 Exception Vector，都定义在 SDRAM 上，即通常说地内存