基于DM6446的智能视频监控系统的设计.pdf
智能化仪器及其应用?电?子?测?量?技?术?ELECTRONICMEASUREMENTTECHNOLOGY第 33 卷 第3 期2010 年 3 月?基于 DM6446 的智能视频监控系统的设计杨金玲1?柴?颖1?狄红卫1,2(1.暨南大学光电工程研究所?广州?510632)(2.广东省高等学校光电信息与传感技术重点实验室(暨南大学)?广州?510632)摘?要:达芬奇技术是一款集成 DSP 处理器、软件、开发工具和技术支持的综合型解决方案系列。以达芬奇技术为支持,针对视频监控中的运动目标,引入自主跟踪思想,提出了一种基于双核 TMS320DM6446 的运动目标跟踪智能监控系统方案,完成了相应的软硬件设计。系统采用相邻帧差法进行运动检测,并通过运动目标形心偏移量控制云台实现运动目标跟踪。该方案作为单片系统,设计简单,具有良好的扩展性和灵活性,运行算法具有可重构性。关键词:视频监控;DM6446;达芬奇;运动检测;目标跟踪中图分类号:T P391?文献标识码:ADesign of intelligent video surveillance system based on DM6446Yang Jinling1?Chai Ying1?Di Hongwei1,2(1.Institute of OptoElectronic Engineering,Jinan University,Guangzhou 510632;2.Key Laboratory of Optoelectronic Information and Sensing T echnologies ofGuangdong Higher Educational Institutes,Jinan University,Guangzhou 510632)Abstract:Davinci technology is a series of synthesizing solution integrated DSP processor,software,development toolsand technical support into one part.T o the motion targets,taking Davinci technology as a support and bringing up self?traced idea,an intelligent video surveillance system based on the dual core TMS320DM6446 is proposed.Thecorresponding software and hardware design is completed.T he system adopts adjacent frame difference method todetect motion,and control holder to complete motion target tracing by offset of motion target centroid.As a monolithicsystem,this project has the advantages of simple design,good expansibility and flexibility,and reconfigurableoperation arithmetic.Keywords:video surveillance;DM6446;Davinci;motion detection;target tracking0?引?言随着人们对安全需求的增长以及监控信息的急剧膨胀,采用人工方式来监管视频监控已不能满足实际需求1。智能视频监控包括大量运动检测、目标跟踪、数据压缩等算法,且对实时性要求很高,需要计算能力强大的处理器和大量的外部存储器支持,适合在 DSP 上实现;而对于外部数据采集,终端显示等控制行为则比较适合用ARM 处理器来实现。若用 DSP 单独来实现上述算法处理和对外围接口的控制,则 DSP 的流水线操作势必会被频繁的中断,工作效率下降且实时性得不到保证。近年来视频监控芯片方案逐步向 SoC 演变,提供的解决方案主要包括 CPU+DSP 结构、CPU+ASIC 结构、FPGA 结构等 2。但以上各方案均存在灵活性较差、不适合做单片系统、系统控制和算法处理分离等缺陷。TMS320DM6446是 TI C6000系列中速度达到4800MIPS的双核处理器,能很好地解决上述矛盾。DM6446 片上集成了高速 C64x+DSP 处理器和 ARM926EJ?S 处理器。DSP 处理器单独完成运动检测,视频压缩算法,ARM 处理器完成对整个系统的控制,二者协同工作。DM6446 片内集成 VPSS,相比早期的单核处理器 DM642 省略了后端解码芯片。除此之外,DM6446 比 DM642 外围接口更丰富,简化了接口电路的设计,更适合做单片系统。本文以达芬奇技术为支持,针对视频监控中的运动目标,引入自主跟踪思想,提出了一种基于双核 TMS320DM6446 的运动目标跟踪智能监控系统方案,分别对系统软硬件的设计进行了详细的讨论,完成了视频的采集、运动检测、目标跟踪、压缩和传输等功能。1?系统的总体结构系统结构如图 1 所示,主要由图像采集模块、图像处理模块、图像存储模块、图像显示模块、报警电路等构成。?113?第 33 卷电?子?测?量?技?术系统的整体控制由 DM6446 所带的 ARM 子系统来完成,DSP 子系统完成算法。采集到的视频信号通过 TVP5146来完成 A/D 转换并直接送到 VPFE 中。系统采用 1 个256 MB 的 32 位 DDR 与 DM6446 的 DDR 存储控制器相连,并设 DDR起始地址为 0 x80000000。DDR 内存控制器通过专有总线连接到中央交换网络(Switched CentralResource,SCR),可满足 DM6446 中各个子系统模块依照优先级对 DDR 内存进行访问。报警方式选择声音报警,利用串行音频接口(Audio Serial Prot,ASP)连接音频编码器来实现。为了存储压缩后的报警视频序列,DM6446 通过 ATA 控制器外接 40 G 硬盘。图 1?系统结构框图2?系统硬件设计2.1?视频采集模块本设计选用 TI 公司的视频解码芯片 TVP5146 完成A/D 转换。TVP5146 的优点是场同步信号 VS、行同步信号 HS、奇偶场信号 FID、时钟输出信号 PCLK 均由引脚直接引出,省去了同步时钟电路的设计。如图 2 所示,摄像头采集到的视频信号经过 TVP5146 内部转换实现并行数字信号 BT.656 码流格式输出,输出到 DM6446 的 VPFE后直接通过 EDMA 方式送至 DDR 中指定的空间存储。当 TVP5146 转换完完一帧图像,产生 EDMA 中断信号,并在 EDMA 中断服务程序中由 DSP 子系统完成运动检测、形心计算等算法。在软件中设置采集数据格式为Y:Cb:Cr 4:2:2格式。由于 DM6446 使用的是 8 位YCbCr图 2?DM6446 与 TVP5146接口原理图输入数据格式,而 TVP5146 使用的是 10 位 YCbCr 数据格式,因此 TVP5146 输出的像素信息最后两位将会丢失。系统对TVP5146 的控制由ARM 子系统通过 I2C 总线对其内部寄存器进行设置来完成,在使能TVP5146 之前,首先必须完成对 TVP5146 如表 1 所示的寄存器进行初始化 2。表 1?TVP5146 寄存器设置I2C Sub addressI2C Data0 xE80 x200 xE90 x000 xEA0 x800 xE00 x010 xE80 x600 xE90 x000 xEA0 xB00 xE00 x010 xE00 x002.2?视频显示模块DM6446 视频末端(VPBE)由在线视频显示处理器(OSD)和视频编码器(VENC)组成。OSD 能够显示两组独立的视频窗口或两组独立的 OSD窗口,还可以显示一个视频窗口、一个 OSD 窗口和一个属性窗口。VENC 可以通过内部LCD 控制器直接输出数字视频信号,也可以通过4 路 10 bit DACs 进行 D/A 转换来提供 NTSC/PAL 等格式的视频输出。本系统采用 7 inch TFT LCD 作为显示屏直接与 DM6446 的显示接口相连。3?工作原理针对DSP 核具有高速的数据处理能力和 ARM 核对外设进行控制的特点,系统使用 C64x+DSP 核进行运动检测、形心计算、MPEG?4 压缩等算法处理,ARM9 内核主要负责目标跟踪、内部数据的传输控制、外设的控制等。二者之间通过相互中断和共享内存 DDR、L1、L2 进行通信。ARM 通过 4 个通用中断和一个不可屏蔽中断来控制中断DSP,DSP可以通过 2个通用中断来控制中断 ARM3。硬件上 ARM控制DSP 的时钟、电源、复位和引导。3.1?算法原理运动检测是指从序列图像中将变化区域从背景中分割出来,它是图像处理和分析的关键技术。目前常用的运动检测方法有光流法、背景差法和相邻帧差法 4。光流法计算复杂、耗时多,显然这种方法不适合对于实时性要求很高的智能视频监控系统。背景差法的实现比较简单,但是它受光线、天气等外界条件影响较大。因此,本设计选择使用相邻帧差法来进行运动检测。相邻帧差法基本原理就是将前后两帧图像对应像素值相减,如果图像区域某处的像素值变化很大,可以认为这是由于图像中运动物体引起的,将这些区域标记下来,利用这些标记的像素区域,就可以求出运动目标在图像中?114?杨金玲 等:基于 DM6446 的智能视频监控系统的设计第 3 期的位置。设视频图像序列中选取相邻的 k 和k+1 两帧图像,分别用 fk和fk+1来表示5,则:fk=bk(x,y)+m(x,y)+nk(x,y)(1)fk+1=bk+1(x,y)+m(x+?x,y+?y)+nk+1(x,y)(2)式中:bk(x,y)和 bk+1(x,y)分别为第 k帧和k+1 帧背景,m(x,y)和m(x+?x,y+?y)为两帧图像中的运动目标。?x 和?y 为两帧图像间的运动矢量,nk(x,y)和 nk+1(x,y)分别为 k、k+1 帧中的噪声。故差分图像可表示为:g(x,y)=fk+1-fk=m(x+?x,y+?y)-m(x,y)+bk+1(x,y)-bk(x,y)+nk+1(x,y)-nk(x,y)(3)式中:m(x+?x,y+?y)-m(x,y)+bk+1(x,y)-bk(x,y)是运动部分,nk+1(x,y)-nk(x,y)为残留噪声,即差分图像包括了运动部分和噪声。系统选取?+3(?和 分别为图像的噪声分布的均值和方差)作为阈值 T,若差分图像大于阈值 T,则认为有运动事件发生。系统选用形心算法来实现目标跟踪,它需要对目标和背景进行有效分割,并对其二值化以后进行。二值化公式为:g(x,y)=1,g(x,y)T0,others(4)式中:(x,y)为像点坐标。T 为灰度阈值。从二值化结果中即可得到目标的形心坐标为 5?6:xc=Mx=1 Ny=1x?g(x,y)Mx=1 Ny=1g(x,y)yc=Mx=1 Ny=1y?g(x,y)Mx=1 Ny=1g(x,y)(5)式中:(xc,yc)为目标形心位置,M,N 分别为图像长、宽方向的像点数,因此依据本场的数据即可计算出目标的位置。3.2?共享内存的设计在系统设计中,DDR2 存储空间分配如表 2 所示,Capbuffer 用来存储采集的数据,Tempbuffer 作为临时存储器存储压缩 数据,DSP 子系统 和 ARM 子 系统在Tempbuffer 中完成数据交换。Disbuffer 存储待显示的视频数据。表 2?DDR2 存储空间地址分配Capbuffer0 x81000000 0 x84FFFFFFT empbuffer0 x85000000 0 x8AFFFFFFDisbuffer0 x8B000000 0 x8FFFFFFF3.3?图像的采集软件设置 TVP5146 参数使视频采集数据格式转化为YCbCr4:2:2,在 CCS3.3ARM 端软件设置 VPFE 中各类相关寄存器,系统中并没有使用 VPFE 中除 CCDC(CCDController)之外的其余功能模块,故 CCDC 采集到视频数据直 接通 过 EDMA 送 至 Capbuffer。VPFE _ SDR _ADDR=0 x81000000 设置视频数据在 DDR2 中存储的起始地址。只有在设置完 VPFE 寄存器后,最后才能使能寄存器 VPFE_PCR 打开 CCDC 开始接受从 TVP5146 转换后的数据 6。3.4?图像的显示图像的显示主要通过在 ARM 子系统对 OSD 和VENC 寄存器进行设置,主要设置寄存器有设置显示窗口坐标、打开 DAC 通道和视频输出格式,具体配置寄存器如下所示。由于内存数据通过 DMA 方式一次传送到 OSD的数据为32 字节,故Disbuffer 首地址数值必须设置为 32字节的整数倍 7。void vpbe_init(Uint32 buffer,Uint32 width,?Uint32 height,Uint32 cb_enable)?/*显示的窗口设置*/OSD_VIDWIN0OFST=width?4;/*控制待显图像存放在 DDR2 中的首地址*/OSD_VIDWIN0ADR=buffer;/*对应 OSD窗口原点坐标*/OSD_BASEPX?=BASEP_X;/*对应 OSD窗口原点坐标*/OSD_BASEPY?=BASEP_Y;/*显示窗口的宽度*/OSD_VIDWIN0XL?=width;/*显示窗口的高度*/OSD_VIDWIN0YL?=height?1;/*打开第一通道*/VENC_DACTST?=0 x0000D000;/*设置打开的第一通道输出为 S?Video*/VENC_DACSEL?=0 x00000010;4?系统软件结构软件实现的关键是硬件底层寄存器的设置和算法的编写,所有的开 发都是基于 CCS3.3(Code ComposerStudio)来完成,该软件开发环境支持双核开发,比较方便,能有效提高子系统的运算效率。在 CCS 下 DSP 子系统和ARM 子系统分别编写工程文件并生成各自的.out 文件,加载到不同的存储空间内运行,二者通过相互中断和共享内存来实现通讯和数据交换。由于在 DSP 上没有运行操作系统,而是将系统的整个操作过程依次叠加在 main 上,系统的软件流程如图 3 所示。DSP 处理器主要以流水线运行算法,存储完一帧数据,为了减少 DSP 处理的数据量,运动检测算法基于视频序列灰度图像进行。DSP 仅取走 Capbuffer 中视频数据的?115?第 33 卷电?子?测?量?技?术5?实验结果与分析摄像头以每秒 25 帧采集视频,分辨率为 720!480。系统硬件上电启动完成后,分别打开 CCS 的 ARM 端和DSP 端,将已编译的.out 文件下载到硬件上运行。经测试,摄像头捕捉到有物体运动时,系统云台能在 1 s 左右时间内响应并实施目标跟踪。由软件流程可知,DSP 核能否及时完成视频压缩是监控系统运行的关键,系统视频压缩情况如表3 所示。此时物体运动状态大致分成基本静止、一般运动、快速运动 3 种。表 3?系统测试实验结果测试视频测试时间DSP/ARM负载/%压缩视频大小/MB基本静止3 分 12 秒50/57.5一般运动2 分 20 秒54/810.9快速运动2 分 40 秒58/1211.3表 3 数据表明,在有运动物体移动情况下,系统均能快速检测并压缩视频文件,能满足实时性视频监控设计要求,性能达到预期目的。6?结?论针对 DM6446 中ARM 和 DSP 两种处理器的不同特点,本文设计了一种新的智能视频监控系统方案,该设计简化了外围电路,软件结构清晰灵活,运行算法具有可重构性。系统可实现运动检测、目标跟踪、事件报警和视频存储等功能,可广泛用于车库监控、办公监控、家居看护等场所。与同类产品 DM642 产品相比较,实现简单,价格低,也更适合做单片系统。参 考 文 献1?袁敏,张仁杰,邵娜,等.基于 Linux 的 ARM9多路视频监控系统设计J.国外电子测量技术,2009,28(1):42.2?Texas Instruments Incorporated.TVP5146:NTSC/PAL/SECAM4xl0?bitDigitalVideoDecoderDataManual EB/OL.http:/ Instruments Incorporated.TM S320DM6446Digital MediaSystem?on?Chip EB/OL .http:/ J.仪器仪表学报,2006,27(8):961?962.5?张睿萍.基于运动检测的视频监控系统J.计算机与现代化,2008,10(158):28.6?杜宇人,周爱军.一种基于视频图像的运动车辆跟踪方法 J.电子测量与仪器学报,2009,23(3):46.7?李强,杨涛.形心与匹配跟踪算法的改进 J.光电工程,2000,27(2):28?29.8?Texas Instruments Incorporated.TMS320DM644xDMSoc VPFE Use s Guide EB/OL.http:/ 者 简 介杨金玲,女,1980 年 10 月,硕士研究生,主要从事光电图像处理和嵌入式系统研究。E?mail:tdhw ?116?
