学位论文—基于dsp的视频采集与压缩传输系统的设计正文.doc
《学位论文—基于dsp的视频采集与压缩传输系统的设计正文.doc》由会员分享,可在线阅读,更多相关《学位论文—基于dsp的视频采集与压缩传输系统的设计正文.doc(56页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、 基于DSP的视频采集与压缩传输系统的设计1 绪论1.1课题背景视频采集技术相关的产品正经历着由模拟化向数字化、网络化的变革。并在科学研究、工农业生产、资源的遥感探测、交通运输、空间探测、医疗卫生等各个领域内应用愈发广泛。数字视频采集压缩传输系统不仅符合信息产业的未来发展趋势,而且代表了行业的未来发展方向,蕴藏着巨大的商机和经济效益,成为目前信息产业中颇受关注的数字化产品。随着技术的高速发展,数字信号处理器(DSP)的应用范围越来越广阔,其普及率也越来越高,应用领域达到航空航天器材,比如飞机,小到日常所使用的电子产品,比如手机、数码相机等。DSP在当今电子类产品中起了不可或缺的作用。TMS32
2、0DM642是TI公司于2003年左右推出的一款32位定点DSP芯片,主要面向数字媒体,属于C6000系列DSP芯片。DM642保留了C64x原有的内核结构,工作频率由内部倍频器设置,可以达到500MHz、600MHz或720MHz,相应的时钟周期为2ns、1.67ns和1.39ns,每秒可执行指令数4000 MIPS、4800 MIPS和5760MIPS。DM642采用TI公司第2代增强型超长指令集,它的EMIFA接口数据总线宽度为64位,最高数据存取频率133MHz,可直接与大容量、低成本的SDRAM芯片无缝连接。DM642片上带有3个双通道数字视频口,可同时处理多路数字视频流,片上带有多
3、通道串行音频接口,可同时处理4路立体声输入/输出音频信号。DM642拥有IC设备的寄存器,DM642的网口、PCI口和HPI口共享引脚。当前在国内外市场上,对视频数据的采集压缩主要有三种方式:基于PC机的视频采集压缩系统、基于专用视频压缩芯片的视频处理系统和基于高速通用视频处理DSP的视频压缩系统。在现今以高速化为要求的视频采集技术中,前两种技术难以满足实时处理的要求。基于高速通用视频处理DSP的视频压缩系统成为新一代网络视频监控系统的主流。实现这个系统的关键问题是如何解决图像信号的压缩编码和压缩后图像数据的传输。目前视频处理DSP芯片的性能非常强大,并且价格是可以接受的,采用DSP来进行图像
4、的压缩编码是可行的。与此同时,随着网络技术的普及与推广,以太网通信速率的提高和交换技术的发展使它得到了迅速发展和普及。目前,以太网技术己无可争议地成为主要网络技术。1.2 课题研究的目的及意义本论文以TI公司高性能的32位定点TMS320DM642为中央处理器实现了嵌入式的视频采集系统,利用DSP将摄像头获取的图像进行压缩,处理,传输到终端。整个除了具有图像采集,图像压缩功能之外,还加入了本地大容量存储模块以及网络接口模块,具备了较完整的视频处理所需要的功能。与其他多处理器实现方式不同的是,TMS320DM642片内集成了视频和网络外设接口,系统的软件处理工作可以全部都由DM642完成,从而减
5、少了嵌入式视频系统的成本和开发难度。在系统中采用了最新的视频编码标准BT.656压缩算法,并使用8019实现UDP协议。本文比较系统地描述了系统的组成、结构和功能,对系统的各个组成模块进行了分析和设计,使用protel 99se设计电路原理图和PCB图,主要包括视频采集,视频处理,视频输出,音频输入/输出、网络传输串口等模块,并针对DM642高速CPU,分析了系统设计中应注意的问题。我国基于嵌入式技术的网络视频采集压缩传输系统刚刚起步,所以研究并开发一种基于嵌入式系统的网络视频采集压缩传输系统具有很大的工程实际意义。基于DPS的视频采集系统,由于可以灵活地修改其图像处理算法,它的应用主要面向用
6、户的特定需求和对实时性有较高要求的场合。因此,有理由相信在嵌入式系统的基础上构建视频图像采集,处理及压缩传输系统具有广阔的市场前景。1.3 国内外研究现状现在采集系统中,应用了基于DSP的图像处理技术,特别是在图像的模式识别问题上充分发挥了DSP的硬件结构和具有特色的编程指令。图像模式识别的典型算法是卷积运算,即乘累加,正好发挥DSP软、硬件的特长。传统的处理方法是基于计算机的硬件和软件的,计算机完成一次乘累加运算需要11个机器周期,而 DSP 完成同样的运算只需1个机器周期。本系统采用 DSP 芯片实现图像的模式识别,提高了处理速度,解决了图像处理过程中由于图像识别速度慢而影响整个图像的处理
7、流程的实际问题,收到了良好的效果。图像处理技术的发展与计算机以及硬件技术的发展是紧密联系的。最早发表有关计算机处理图像信息的文章的时间要追溯到20世纪50年代,随着计算机以及硬件技术的高速发展,性能大幅度提高,而价格却大幅度下降,无疑推动了图像处理技术的发展,图像处理系统的发展大致上可以划分为四个阶段。(1)图像数据采集与处理系统发展的第一阶段第一阶段的时间大体上是20世纪60年代到80年代中期,这个时期的图像处理系统采用机箱式结构,主流计算机采用小型机,并采用双屏操作方式,所以系统的体积比较大,功能也比较强,当然价格也比较贵。当时的代表是美国I2S公司推出的MODEL-70、MODEL-50
8、图像计算机,英国JOYCELOBEL公司推出的MAGISCAN图像分析系统以及美国VICOM系统公司推出的VICOM-VEM图像处理工作站。(2)图像处理系统发展的第二阶段第二阶段是的时间大体上是20世纪80年代中期到90年代初期,这个阶段的主要特点是小型化,外形不再是机箱式而是插卡式,绝大部分都是采用PC系列微机构成图像处理系统,计算机总线采用ISA总线,并采用双屏操作方式。图像卡的体积较小,一般图像卡都是采用大规模集成电路甚至是制作专用集成电路,从而使价格降低了。这个时期的代表作是美国Imaging Technology公司推出的PCCISION图像卡、PCVISIONPlus图像卡,美国
9、DT公司推出的DT2851图像卡,加拿大MATROX公司的一系列图像卡。(3)图像处理系统发展的第三阶段第三阶段的时间大体上是从20世纪90年代初开始,这一阶段图像处理系统突出特点是单屏方式,以微机PCI总线(Peripheral Component Interconnect bus)为支持的单屏方式和以图像压缩传输为特点的图像通信方式成为主流方式,但仍然主要是依靠微机来进行图像处理,在Windows平台上编制图像处理软件包,这个时期的代表有美国Intel公司推出的MMX(多媒体指令系统)等。(4)基于DSP的图像处理系统随着微型计算机的发展和普及,现代的图像处理方式越来越向高速、小型、简洁的
10、方向发展,图像处理逐渐由专用、笨重的图像处理机过渡到通用、小型的微型机方式,但是由于图像的数据量很大,算法复杂程度高,人们经常使用软件来处理,软件往往局限于计算机的配置,使得图像处理速度比较慢、实时性差、价格高,不适宜在小规模、小环境内使用。与此同时数字信号处理各种算法日趋完善,特别是运算能力的很强的数字信号处理器(DSP)的问世,使现代图像处理系统进入了和计算机紧密结合的全数字体制的阶段。以DSP为核心的硬件系统同样可以用来进行图像处理,为这个问题的解决带来了新的途径。DSP的运算速度和运算精度不断地提高,片内的存储容量不断地加大,系统功能、数据处理能力以及与外部设备的通信功能不断地增强,完
11、全可以脱离 PC机开发出基于DSP的图像系统。这种设计方案的优点是设计简单、灵活,成本比较低,便于实际中使用。1.4 本课题研究的内容提出了一种通用的基于DSP的视频采集系统的设计与实现方法,介绍了系统的软件和硬件构成,重点研究了系统软件部分所涉及到的视频采集处理,编解码,图像实时显示与控制等关键视频技术。完成的主要工作如下:(1)以TMS320DM642构建成视频采集的硬件系统。将TVP5150作为视频采集芯片。(2)掌握8019网络传输技术,实现UDP协议;(3)灵活运用C6000系列DSP外围电路的设计与开发,使用Protel 99se设计电路原理图和PCB图;(4)了解视频信号的实时压
12、缩与解压方法,掌握其中一种解压缩的编程,实现一个windows平台下的图像编码。.(5)代码移植,对代码进行修改,使之符合DSP编程需要,把代码移植到DSP上,使之能在硬件平台上实现。根据DSP处理芯片的特性对代码进行优化,提高代码性能。2 DSP系统开发平台的分析2.1 数字信号处理器DSP(digital singnal processor)是一种独特的微处理器,是以数字信号来处理大量信息的器件。其工作原理是接收模拟信号,转换为0或1的数字信号,再对数字信号进行修改、删除、强化,并在其他系统芯片中把数字数据解译回模拟数据或实际环境格式。它不仅具有可编程性,而且其实时运行速度可达每秒数以千万
13、条复杂指令程序,远远超过通用微处理器,是数字化电子世界中日益重要的电脑芯片。它的强大数据处理能力和高运行速度,是最值得称道的两大特色。现代社会对数据通信需求正向多样化、个人化方向发展。而无线数据通信作为向社会公众迅速、准确、安全、灵活、高效地提供数据交流的有力手段,其市场需求也日益迫切。正是在这种情况下,3G、4G通信才会不断地被推出,但是无论是3G还是4G,未来通信都将离不开DSP技术(数字信号处理器),DSP作为一种功能强大的特种微处理器,主要应用在数据、语音、视像信号的高速数学运算和实时处理方面,可以说DSP将在未来通信领域中起着举足轻重的作用。 内置数字信号处理器(DSP,Digita
14、lSignalProcessor)是车载主机内以逻辑电路对音视频数字信号进行再加工处理的专用元件,是一个统称名词,包括数字效果器、EQ、3D环绕等等。数字信号处理器(DSP,即DigitalSignalProcessor)是进行数字信号处理的专用芯片,是伴随着微电子学、数字信号处理技术、计算机技术的发展而产生的新器件。数字信号处理器并非只局限于音视频层面,它广泛的应用于通信与信息系统、信号与信息处理、自动控制、雷达、军事、航空航天、医疗、家用电器等许多领域。以往是采用通用的微处理器来完成大量数字信号处理运算,速度较慢,难以满足实际需要;而同时使用位片式微处理器和快速并联乘法器,曾经是实现数字信
15、号处理的有效途径,但此方法器件较多,逻辑设计和程序设计复杂,耗电较大,价格昂贵。数字信号处理器DSP的出现,很好的解决了上述问题。DSP可以快速的实现对信号的采集、变换、滤波、估值、增强、压缩、识别等处理,以得到符合人们需要的信号形式。对于车载主机而言,数字信号处理器DSP目前主要是提供特定的音场或效果,例如剧场、爵士乐等等,有些还能接收高清晰度(HD)无线电和卫星无线电等等,以达到最大的视听享受。数字信号处理器DSP增强了车载主机的性能和可用性,提高了音视频质量、提供了更多的灵活性和更快的设计周期。随着技术的发展,相信以后还能提供更多的听觉和视觉特效,而使车载主机成为车内的高科技信息和娱乐中
16、心。2.2 DSP选型的依据参考了市场上主流的DSP芯片之后,现将其特点总结如下:Nexperia系列的PNX1300 DSP处理能力稍弱,PNX1500和PNX1700处理能力较强,而且其外设功能也较强,价格在同类产品中属于中等。DM64X系列优势在于其计算能力和指令集功能都很强大,且片上外设丰富,资料齐全便于开发,缺点是芯片价格贵。Cradle公司的DSP处理能力强大,而且其I/O 外围接口可编程,因此外设实现方便。但是,由于是多核芯片,所以协调难度较大,功耗也较大,芯片资料缺乏。ADI的Blackfin系列DSP体积小,功耗低,非常适合做手持式产品开发,价格便宜,但相比较Philips和
17、TI的DSP,其劣势在于能够支持Blackfin的第三方算法较少。Equator的BSP系列芯片的优点在于片上I/O接口丰富,完全采用C语言编程,灵活性高,价格也较低,但与同系列的Philips和TI的DSP相比,软件开发难度较大,功耗也稍大。由于本系统是运用于视频采集压缩系统,因此其特性直接决定了视频采集压缩系统核心DSP所需要具备的性能。其功能特点包括:音视频录象、音视频检索与回放、压缩、传输等等。(1)系统要能够实时压缩多路信号并传输到视频服务器,就必须采用高压缩比的压缩算法。当前广泛应用的BT.656算法和MPEG-4算法以及最新的比H.263节省50%码率的H.264标准都对DSP芯
18、片的计算能力提出了巨大的挑战。(2)系统的管理是基于对网络视频服务器IP地址的列表管理,监控端软件能够连接所有的前端网络视频服务器,并将其IP地址列入管理清单;用户还能够任意选择区域内的音视频通道。同时,系统需要提供报警功能,当监视区域有异常情况时,监控端主机会及时以声像报警,并可控制外接警报器报警和控制现场设备实现报警联动。此外,在一般情况下,摄像机采用定焦距、定方向的固定方式,但在光照度变化大的场所应选用自动光圈镜头,大范围监控区域宜选用带有转动云台和可变镜头的摄像机。监控中心通过控制端软件,能够控制远端摄像机镜头和云台的转动。以上这些特性决定了DSP芯片需要具备丰富的外设资源,以满足网络
19、视频监控的需要。综合以上两点考虑,本系统采用TI公司DM64x系列中性能较高的DM642芯片。DM642强大的计算能力和指令集功能、丰富的片上外设以及齐备的开发资料完全满足系统的设计及应用要求。2.3 基于TMS320DM642的视频采集压缩系统的总体方案TMS320DM642是TI公司C6000系列DSP最新的定点DSP,其核心是C6416型高性能数字信号处理器,具有极强的处理性能,高度的灵活性和可编程性,同时外围集成了非常完整的音频、视频和网络通信等设备及接口,特别适用于机器视觉、医学成像、网络视频监控、数字广播以及基于数字视频/图像处理的消费类电子产品等高速DSP应用领域。本课题针对市场
20、客户的需求,设计并实现了一款以TVP5150为视频输入解码器,以TLV320AIC23B为音频输入采集电路,以TMS320DM642型DSP为核心处理器的多路视频采集兼压缩处理PCI板卡,以RTL8019AS为网卡芯片,并将其应用于构建高稳定性的多媒体数字监控系统,取得了较好的社会效益和经济效益。基于 TMS320DM642 的视频采集压缩系统的硬件框图如图1所示。系统的设计目标为 4 路网络视频监控系统。每个摄像头采集到的视频信号经过视频 A/D 芯片转换为 DM642 视频口识别的 BT.656 的视频流格式,4 路音频 LINE_IN信号由音频 A/D 转换后通过 IIS 接口与 DM6
21、42 相连。DM642 芯片对输入的音视频流进行压缩编码,编码后的音视频流通过以太网口(EMAC)发送给远端的视频服务器,从而实现远程视频监控。图 基于 TMS320DM642 的视频采集压缩系统的硬件框图2.4 DSP开发平台所涉及的关键技术及其方案选型2.4.1 视频解码TVP5150是一种低功耗芯片,正常工作时的功耗为113mW,在节电模式下得功耗为1mW,该芯片内核电源电压为1.8V,输入/输出电源电压为3.3V。TVP5150芯片的引脚定义如图2所示,它是一种32引脚TQFP封装的芯片,外部时钟频率14.318MHz或27MHz,通过I2C接口配置内部的寄存器。图2 TVP5150芯
22、片引脚定义2.4.2 音频编解码DM642的音频接口外部需要接音频解码芯片或者音频编码芯片,通过编解码芯片的D/A或者A/D进行模拟音频信号和数字音频信号之间的转化。TLV320AIC23B是一款高性能的立体声音频编解码芯片。片上带有耳机输出放大器,支持MIC和LINE IN两种方式,输入和输出可增益编程。TLV320AIC23B芯片集成了基于Sigma-delta采样技术的A/D转换电路和D/A转换电路,可在8K或96K采样速度下提供16位、20位、24位或32位的采样数据,A/D和D/A的信噪比可以达到90dB或100dB。TLV320AIC23B芯片是一种低功耗器件,回放模式下功耗仅为2
23、3mW,省电模式下功耗小于15W。TLV320AIC23B芯片的数字音频接口包括了LRCIN、DIN、LRCOUT、DOUT和BCLK等引脚。图3 TLV320AIC23B芯片引脚定义2.4.3 本系统的压缩方案及视频压缩的标准视频压缩通过减少和去除冗余视频数据的方式,达到有效发送和存储数字视频文件的目的。在压缩过程中,需要应用压缩算法对源视频进行压缩以创建压缩文件,以便进行传输和存储。要想播放压缩文件,则需要应用相反的解压缩算法对视频进行还原,还原后的视频内容与原始的源视频内容几乎完全相同。压缩、发送、解压缩和显示文件所需的时间称为延时。在相同处理能力下,压缩算法越高级,延时就越长。视频编解
24、码器(编码器/解码器)是指两个协同运行的压缩-解压算法。使用不同标准的视频编解码器通常彼此之间互不兼容;也就是说,使用一种标准进行压缩的视频内容无法使用另外一种标准进行解压缩。例如,MPEG-4 Part 2解码器就不能与H.264编码器协同运行。这是因为一种算法无法正确地对另外一个算法的输出信号进行解码,然而我们可以在同一软件或硬件中使用多种不同的算法,以支持对多种格式的文件进行压缩。由于不同的视频压缩标准会使用不同的方法来减少数据量,因此压缩结果在比特率、质量和延时方面也各不相同。ITU-R BT.656国际电信联盟的无线通信部门(ITU-R)制定的标准。严格来说,ITU-R BT.656
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 学位 论文 基于 dsp 视频 采集 压缩 传输 系统 设计 正文
限制150内