DSP+FPGA折反射全景视频处理系统中双核高速数据通信.pdf
《DSP+FPGA折反射全景视频处理系统中双核高速数据通信.pdf》由会员分享,可在线阅读,更多相关《DSP+FPGA折反射全景视频处理系统中双核高速数据通信.pdf(7页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、第3 2 卷第3 期2 0 1 0 年3 月电子与信息学报J o u r n a lo fE l e c t r o n i c s&I n f o r m a t i o nT e c h n o l o g yV b l 3 2 N o 3M a r 2 0 1 0D S P+F P G A 折反射全景视频处理系统中双核高速数据通信李乐熊志辉王斌张茂军陈立栋(国防科学技术大学信忽系统与管理学院长沙4 1 0 0 7 3)摘要:对于嵌入式折反射全景视频处理系统,由于计算量大,一般采用多处理器协同的结构,但在该结构下多个处理器之间需要进行高速的数据通信。该文提出一种基于D S P+F P G
2、A 架构的双核高速数据通信方法,该方法通过基于地址总线的控制指令编码解析方法协同双核工作,通过逆向波形分析和基于乒乓缓存的间接D M A 通信方式,实现D S P 与F P G A 之间的双核D M A 数据通信。实验结果表明,使用上述方法实现的D S P 与F P G A 之间数据通信速度高达5 8 5M B p s。关键词:数据通信;双核;全景;D M A;F P G A;D S P中图分类号:T P 2 7 4;T N g l 9文献标识码:A文章编号:1 0 0 9-5 8 9 6(2 0 1 0)0 3-0 6 4 9-0 6D O I:1 0 3 7 2 4 S P J 1 1 4
3、 6 2 0 0 9 0 0 3 2 9H i g h-S p e e dD a t aC o m m u n i c a t i o nB e t w e e nD S Pa n dF P G Ai nE m b e d d e dP a n o r a m i cV i d e oP r o c e s s i n gS y s t e mL iL eX i o n gZ h i h u iW a n gB i nZ h a n gM a o-j u nC h e nL i-d o n g(C o l l e g eo yI n f o r m a t i o nS y s t e m s
4、a n dM a n a g e m e n t,N a t i o n a lU n i v e r s i t yo,D e f e n s eT e c h n o l o g y,C h a n g s h a4 1 0 0 7 3,C h i n a)A b s t r a c t:A st h eh u g ec o m p u t a t i o n a ll o a d so fp a n o r a m i cv i d e op r o c e s s i n g,m o s to ft h ee m b e d d e dp a n o r a m i cv i d e
5、op r o c e s s i n gs y s t e ma r eb a s e do nm u l t i-c o r e s T h ep r o b l e mo fh i g h-s p e e dd a t ac o m m u n i c a t i o nb e t w e e nm u l t i-c o r e sm u s tb es o l v e d Ah i g h s p e e dd a t ac o m m u n i c a t i o nm e t h o db e t w e e nD S Pa n dF P G Ai sp r o p o s e
6、d I no r d e rt or e a l i z eh i g h s p e e dd a t ac o m m u n i c a t i o n,t h ea d d r e s s-b u si su s e dt ot r a n s p o r tc o m m a n d s,t h ew a v eo fd a t ac o m m u n i c a t i o nb e t w e e nd u a l-c o r e si nD M Am o d ei sa n a l y z e da n ds i m u l a t e d T h ee x p e r i
7、m e n t ss h o wt h a tt h ed a t at r a n s m i s s i o ns p e e di su pt o5 8 8M B p sb e t w e e nD S Pa n dF P G Ab yu s i n gt h o s em e t h o d s K e yw o r d s:D a t ac o m m u n i c a t i o n;D u a l-c o r e s;P a n o r a m i c;D M A;F P G A;D S P1 引言全景视频技术可以在任意时刻同时获取周围3 6 0。观察方向上的场景,使得观察者能
8、够更快更准确地感知周围场景的变化,该技术可广泛应用于战场环境侦察、视频监控、机器人导航等领域1 1-4 。在嵌入式系统上实现折反射全景成像处理获取全景视频,需要对折反射全向视频图像进行实时采集、预处理及柱面全景展开等,整个过程算法复杂、计算量大,一般的单核嵌入式视频处理系统难以达到实时处理的要求【5 J,因此在实际应用中常采用多个嵌入式处理器协同的方法(例如D S P+F P G A 协同)完成折反射全景成像处理。文献6 1 采用F P G A 和多个D S P 互连的并行处理结构,实现了一个高速数据传输带宽、低延迟且计算性能强大的实时图像处理系统。文献f 7 1 采用双F P G A 加双D
9、 S P 的结构,使2 0 0 9-0 3-1 3 收到,2 0 0 9-0 7-2 7 改回国家自然科学基金项目(6 0 7 7 3 0 2 3,6 0 7 0 5 0 1 3),国家8 6 3 计划项目(2 0 0 9 A A 0 1 2 3 2 8),中国博士后科学基金项目(2 0 0 7 0 4 1 0 9 7 7)和湖南省自然科学基金项目(0 8 J J 4 0 1 8)资助课题通信作者:李乐x c a t l 8 5 0 9 7 8 3 1 6 3 c o l n用流水线的技术,设计了每秒可处理5 0 帧分辨率为2 4 0 3 2 0 的视频图像的嵌入式系统。但是,在这种多核协同的
10、结构中,各个处理器芯片之间需要进行大数据量高速传输。以每秒采集处理2 5 帧4 0 0 万像素的折反射全向图为例,假设图像中每像素2 个字节的Y C b C r4:2:2 格式为例计算,则多核之间的数据传输速率约为1 6G b p s(即2 0 0M B p s l。若进一步要求每个芯片至多只能用5 0 的时间用于数据传输,另外5 0 的时间用于其他运算处理,这样,实际设计中要求多核之间的数据传输速度至少在3 2G b p s(R P4 0 0M B p s)以上。为了解决上述问题,本文提出一种D S P+F P G A 协同处理结构中的双核问高速数据通信方法。在硬件上将D S P 的E M
11、I F 接口与F P G A 相连建立了双核高速数据传输通道;使用基于地址总线的控制指令编码解析的方法实现了双核之间控制指令的快速交互,有效协同了F P G A 和D S P 的工作:通过逆向波形分析的方法【8】分析研究D S P 执行D M A 操作的时序,在F P G A 上模拟D M A 传输模块,使用基于乒乓缓存机制的间接D M A 通信方法【9 J实现D S P 和F P G A 之间高速数据通信。实验结果 万方数据电子与信息学报第3 2 卷表明,D S P 与F P G A 之间的双核数据传输速度最高可达4 6 8 3G b p s(即5 8 5M B p s)。2D S P+F
12、P G A 双核全景视频处理系统结构基于D S P+F P G A 双核折反射全景视频处理系统的结构如图1 所示,系统核心为D S P 和F P G A,并集成了感光C M O S 图像采集设备、大容量的存储器(F L A S H 和S D R A M)、多个标准的外部接口(视频、网络和A T A 接口)。其中,D S P 作为系统的主控芯片,控制整个系统的运行。并根据D S P 和F P G A 的特点,对系统任务进行了划分,平衡二者的任务负载。F P G A 负责折反射环状全向图像采集、预处理及展开运算,D S P 则负责柱面全景图的后期处理(视频压缩、目标检测等)、视频输出和存储等工作。
13、该系统具体的工作流程如下:;一一一!蜜!:鱼(1)系统起始运行时,首先由D S P 发起指令,通知F P G A 控制C M O S 图像采集设备采集一帧折反射环状全向视频;(2)F P G A 采集一帧原始的折反射环状全向视频并对其进行颜色空间转换等预处理操作,最后将结果存入外部S D R A M;f 3)F P G A 对该帧全向视频执行柱面展开运算,得到柱面全景图像;(4)D S P 从F P G A 读取展开的柱面全景图像,然后对其进行运动目标检测、图像压缩等后期处理;(5)通过外部的A 1 队、网络和视频输出等接口对处理完的柱面全景视频数据进行存储和输出。3D S P 与F P G
14、A 硬件互连基于F P G A+D S P 双核架构的折反射全景视频处理系统在运行过程中,D S P 和F P G A 之间存在大量的高分辨率柱面全景视频数据需要传输。在双核之间建立条高速、可靠的数据传输通道,实现对海量视频数据的实时传输,就成为影响整个系统性能的关键因素。通过研究D S P 和F P G A 芯片实现外部数据存储、传输常用的方法和特点,在设计基于D S P+F P G A 的双核视频处理系统时,使用了D S P 的E M I F 接口与F P G A 互连。E M I F 接口是D S P 的外部存储器接口,通过对该接口寄存器进行设置,可以将其灵活配置成同步、异步等各种类型的
15、高速数据接口,使用该接口,D S P 可以与外部据存储器实现每秒数百兆字节的数据传输速率;相应地,F P G A只需要根据D S PE M I F 接口的工作时序,灵活地配置芯片内部资源和外部通用I O,即可实现与D S PE M I F 接口的无缝对接,在双核间建立高速数据传输通道。如图2 所示,将F P G A 的I O 引脚分别与D S PE M I F 接口的数据、地址、读写控制、G P I O 等信号线相连,在双核之间构建了6 4 位宽的数据总线、2 5 位宽的地址总线、以及读写、时钟、命令使能等信号用于双核数据通信。其中,通过数据总线、地址总线、命令使能信号实现了D S P 和F
16、P G A 之间控制指令的交互,协同双核工作。使用F P G A 内部的B l o c kR A M 模拟了2 个数据缓存和1 个状态寄存器,状态寄存器用于标识数据缓存和S D R A M 存储器的状态,而数据缓存则作为视频数据从S D R A M 到D S P 传输过程的中间缓存,它们采用乒乓机制轮流将全景视频数据从S D R A M 送到D S P,实现双核之间无缝的高速数据通信。并且,在F P G A内部构建了一个主控逻辑,用于接收和解析D S P 发送的地址、数据和控制指令,并根据接收的控制指令,控制数据缓存和S D R A M 等模块的工作,保证了D S P 与F P G A 高效协
17、同工作,实现双核之间的高速数据通信。广_。1 数据总线厂_ I 画酞“。总对旧;搴一 露1 愕 蹄k!lG 嚣斟端慝;芷堕酬=:4D S P 与F P G A 高速数据通信根据上述的硬件电路设计方案,建立D S P 与F P G A 数据通道,通过基于地址总线的控制指令编码解析方法实现双核之间控制指令交互,协调双核工作;通过D M A 逆向波形分析在D S P 与F P G A之间模拟D M A 传输,使用基于乒乓缓存机制的间接D M A 通信等方法完成全景视频数据在D S P 和F P G A 之间的高速传输。万方数据第3 期李乐等:D S P+F P G A 折反射全景视频处理系统中双核高
18、速数据通信6 5 14 1 基于地址总线的控制指令编码解析机制基于D S P 与F P G A 架构的全景视频处理系统中,双核之间不仅要进行视频数据传输;同时,D S P作为主控芯片,还要控制和协调双核的工作,双核之间需要进行控制指令的交互,以保证整个视频处理系统正常、高效的运行。常用的控制指令传输方法是主控芯片通过一次写操作将控制指令写入外部芯片的指令寄存器,然后外部芯片读取指令寄存器并执行相关操作,最后再由主控芯片通过一次读操作读取返回结果或应答信息。使用该方法在D S P 与F P G A 之间进行控制指令交互,每次都需要一读一写共两个周期。对于一些简单的控制指令,还可以进一步简化该过程
19、,以减少控制指令传输时占用的双核通信时间,提高双核通信效率。文中提出了基于E M I F 接口异步通信模式下的使用地址总线进行控制指令交互的方法,将控制指令进行编码后通过地址总线进行传输,接收方F P G A 根据地址总线的信号解析并执行控制指令,最后通过数据总线返回执行结果,这样每次只需要一个读周期就可以在D S P 与F P G A 之间完成指令传输和结果返回整个过程。使用基于地址总线的控制指令编码解析的方法传输控制指令,通过D S PE M I F 接口的信号,在D S P 和F P G A 之间构建命令使能、地址总线和数据总线用于实现双核之间的控制指令交互。命令使能信号线为双核通信提供
20、指令收发的使能信号,通过地址总线的不同编码组合表示D S P 向F P G A 发送的不同指令,而数据总线则用于返回执行结果。为了完成D S P 与F P G A 之间控制指令交互,实现双核高效协同工作,控制指令交互过程如图3所示。D S P 首先进行通信命令使能表示即将传输控制指令,通过地址总线向F P G A 发出控制指令编码,F P G A 解析地址总线上的控制指令后立即执行相关操作,并将相关执行情况或结果通过数据总线返回给D S P。具体过程如下:(1)指令使能:D S P 进行通信指令使能,通知(3)F P G A 解析地址总线的拧制指令编码(4)F P G A 执行接收的控制指令F
21、 P G A 接收控制指令。(2)指令发送:D S P 通过E M I F 接口向F P G A发起一次“读”操作周期,并根据控制指令的内容进行编码给地址总线赋值。(3)指令解析:F P G A 接收地址总线上的地址数据,并将其解析成相关的控制指令。(4)执行指令:F P G A 按照解析的控制指令执行相关操作。(5)结果返回:F P G A 将指令执行状态或者返回结果“赋值”给数据总线,D S P 采集数据总线的数据,得到F P G A 对该控制指令的执行情况。对于简单的控制指令使用上述的方法在双核之间进行控制指令交互,而对于复杂的控制指令仍采用传统的写指令寄存器的方法传输控制指令,综合使用
22、这两种指令交互方式,提高双核之间控制指令的传输效率,高效协同D S P 和F P G A 的工作。4 2D S P 与F P G A 高速D M A 通信4 2 1D S P 与F P G A 双核D M A 时序逆向波形分析在D S P+F P G A 的双核嵌入式系统中,D S P 和F P G A 分别有各自的S D R A M 存储器。而双核数据传输过程中,D S P 需要通过E M I F 接口读取F P G A端S D R A M 存储器中的视频数据。此时,由于F P G A端S D R A M 存储器并未直接与D S P 相连,D S P 如果直接读取F P G A 端S D R
23、 A M 中的数据,就会存在了两级V oP a d、三态门开关逻辑等导致的延迟,无法满足D S P 的E M I F 接口访问S D R A M 的时序要求,因此D S P 不能直接采用高速的D M A 方式访问F P G A 端S D R A M 存储器。为了使D S P 与F P G A 进行双核D M A 通讯,需要在F P G A 上实现模拟D M A 传输模块,这样,当D S P 发出D M A 请求时,F P G A 上的模拟D M A传输模块就可以给出数据响应,完成D M A 方式的高速数据传输。为了解决此问题,结合逆向工程的思想,使用逆向波形分析方法【8】分析、总结并归纳D S
24、 P 上的D M A 操作中通讯双方的信号波形时序关系,然后用F P G A 模拟满足D M A 时序要求的模拟D M A 传输模块,从而实现D S P 和F P G A 之间的双核D M A模式的高速数据传输。其原理如图4 所示。-在线逻辑分析T 具(e g X i I i I I xC h i p S c o p e l注:当运行D M A 读写例程时E M I F 总线j:有D M A波形,此时J 在F P G Al:用在线逻辑分析L 疑采集该波形图3D S P 与F P G A 控制指令交互过程执行序列图图4F P G A 逆向波形分析获取D M A 波形的原理图 万方数据6 5 2电
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- DSP FPGA 反射 全景 视频 处理 系统 中双核 高速 数据通信
限制150内