DSPFPGA折反射全景视频处理系统中双核高速数据通信H.pdf

《DSPFPGA折反射全景视频处理系统中双核高速数据通信H.pdf》由会员分享，可在线阅读，更多相关《DSPFPGA折反射全景视频处理系统中双核高速数据通信H.pdf（6页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第 32 卷第 3 期 电 子 与 信 息 学 报 Vol.32No.3 2010 年 3 月 Journal of Electronics&Information Technology Mar.2010 DSP+FPGA 折反射全景视频处理系统中双核高速数据通信 李 乐 熊志辉 王 斌 张茂军 陈立栋(国防科学技术大学信息系统与管理学院 长沙 410073)摘 要：对于嵌入式折反射全景视频处理系统，由于计算量大，一般采用多处理器协同的结构，但在该结构下多个处理器之间需要进行高速的数据通信。该文提出一种基于 DSP+FPGA 架构的双核高速数据通信方法，该方法通过基于地址总线的控制指令编码解析

2、方法协同双核工作，通过逆向波形分析和基于乒乓缓存的间接 DMA 通信方式，实现 DSP 与 FPGA 之间的双核 DMA 数据通信。实验结果表明，使用上述方法实现的 DSP 与 FPGA 之间数据通信速度高达 585 MBps。关键词：数据通信；双核；全景；DMA；FPGA；DSP 中图分类号：TP274;TN919 文献标识码：A 文章编号：1009-5896(2010)03-0649-06 DOI:10.3724/SP.J.1146.2009.00329 High-Speed Data Communication Between DSP and FPGA in Embedded Panor

3、amic Video Processing System Li Le Xiong Zhi-hui Wang Bin Zhang Mao-jun Chen Li-dong(College of Information Systems and Management,National University of Defense Technology,Changsha 410073,China)Abstract:As the huge computational loads of panoramic video processing,most of the embedded panoramic vid

4、eo processing system are based on multi-cores.The problem of high-speed data communication between multi-cores must be solved.A high-speed data communication method between DSP and FPGA is proposed.In order to realize high-speed data communication,the address-bus is used to transport commands,the wa

5、ve of data communication between dual-cores in DMA mode is analyzed and simulated.The experiments show that the data transmission speed is up to 588 MBps between DSP and FPGA by using those methods.Key words:Data communication;Dual-cores;Panoramic;DMA;FPGA;DSP 1 引言 全景视频技术可以在任意时刻同时获取周围360观察方向上的场景，使得观

6、察者能够更快更准确地感知周围场景的变化，该技术可广泛应用于战场环境侦察、视频监控、机器人导航等领域1 4。在嵌入式系统上实现折反射全景成像处理获取全景视频，需要对折反射全向视频图像进行实时采集、预处理及柱面全景展开等，整个过程算法复杂、计算量大，一般的单核嵌入式视频处理系统难以达到实时处理的要求5，因此在实际应用中常采用多个嵌入式处理器协同的方法(例如 DSP+FPGA 协同)完成折反射全景成像处理。文献6采用 FPGA 和多个 DSP 互连的并行处理结构，实现了一个高速数据传输带宽、低延迟且计算性能强大的实时图像处理系统。文献7采用双 FPGA 加双 DSP 的结构，使 2009-03-13

7、 收到，2009-07-27 改回 国家自然科学基金项目(60773023,60705013)，国家 863 计划项目(2009AA01Z328)，中国博士后科学基金项目(20070410977)和湖南省自然科学基金项目(08JJ4018)资助课题 通信作者：李乐 用流水线的技术，设计了每秒可处理 50 帧分辨率为240320 的视频图像的嵌入式系统。但是，在这种多核协同的结构中，各个处理器芯片之间需要进行大数据量高速传输。以每秒采集处理 25 帧 400 万像素的折反射全向图为例，假设图像中每像素2个字节的YCbCr 4:2:2格式为例计算，则多核之间的数据传输速率约为 1.6 Gbps(即

8、 200 MBps)。若进一步要求每个芯片至多只能用 50%的时间用于数据传输，另外 50%的时间用于其他运算处理，这样，实际设计中要求多核之间的数据传输速度至少在 3.2 Gbps(即 400 MBps)以上。为了解决上述问题，本文提出一种 DSP+FPGA 协同处理结构中的双核间高速数据通信方法。在硬件上将 DSP 的 EMIF 接口与 FPGA 相连建立了双核高速数据传输通道；使用基于地址总线的控制指令编码解析的方法实现了双核之间控制指令的快速交互，有效协同了 FPGA 和 DSP 的工作；通过逆向波形分析的方法8分析研究 DSP 执行DMA 操作的时序，在 FPGA 上模拟 DMA 传

9、输模块，使用基于乒乓缓存机制的间接 DMA 通信方法9实现 DSP 和 FPGA 之间高速数据通信。实验结果650 电 子 与 信 息 学 报 第 32 卷 表明，DSP 与 FPGA 之间的双核数据传输速度最高可达 4.683 Gbps(即 585 MBps)。2 DSP+FPGA 双核全景视频处理系统结构 基于 DSP+FPGA 双核折反射全景视频处理系统的结构如图 1 所示，系统核心为 DSP 和 FPGA，并集成了感光 CMOS 图像采集设备、大容量的存储器(FLASH 和 SDRAM)、多个标准的外部接口(视频、网络和 ATA 接口)。其中，DSP 作为系统的主控芯片，控制整个系统的

10、运行。并根据 DSP 和FPGA 的特点，对系统任务进行了划分，平衡二者的任务负载。FPGA 负责折反射环状全向图像采集、预处理及展开运算，DSP 则负责柱面全景图的后期处理(视频压缩、目标检测等)、视频输出和存储等工作。该系统具体的工作流程如下：图 1 DSP+FPGA 双核全景视频处理系统(1)系统起始运行时，首先由 DSP 发起指令，通知 FPGA 控制 CMOS 图像采集设备采集一帧折反射环状全向视频；(2)FPGA 采集一帧原始的折反射环状全向视频并对其进行颜色空间转换等预处理操作，最后将结果存入外部 SDRAM；(3)FPGA 对该帧全向视频执行柱面展开运算，得到柱面全景图像；(4

11、)DSP 从 FPGA 读取展开的柱面全景图像，然后对其进行运动目标检测、图像压缩等后期处理；(5)通过外部的 ATA、网络和视频输出等接口对处理完的柱面全景视频数据进行存储和输出。3 DSP 与 FPGA 硬件互连 基于 FPGA+DSP 双核架构的折反射全景视频处理系统在运行过程中，DSP 和 FPGA 之间存在大量的高分辨率柱面全景视频数据需要传输。在双核之间建立一条高速、可靠的数据传输通道，实现对海量视频数据的实时传输，就成为影响整个系统性能的关键因素。通过研究 DSP 和 FPGA 芯片实现外部数据存储、传输常用的方法和特点，在设计基于 DSP+FPGA 的双核视频处理系统时，使用了

12、 DSP 的EMIF 接口与 FPGA 互连。EMIF 接口是 DSP 的外部存储器接口，通过对该接口寄存器进行设置，可以将其灵活配置成同步、异步等各种类型的高速数据接口，使用该接口，DSP 可以与外部据存储器实现每秒数百兆字节的数据传输速率；相应地，FPGA只需要根据 DSP EMIF 接口的工作时序，灵活地配置芯片内部资源和外部通用 IO，即可实现与 DSP EMIF 接口的无缝对接，在双核间建立高速数据传输通道。如图 2 所示，将 FPGA 的 IO 引脚分别与 DSP EMIF 接口的数据、地址、读/写控制、GPIO 等信号线相连，在双核之间构建了 64 位宽的数据总线、25 位宽的地

13、址总线、以及读/写、时钟、命令使能等信号用于双核数据通信。其中，通过数据总线、地址总线、命令使能信号实现了 DSP 和 FPGA 之间控制指令的交互，协同双核工作。使用 FPGA 内部的Block RAM模拟了2个数据缓存和1个状态寄存器，状态寄存器用于标识数据缓存和 SDRAM 存储器的状态，而数据缓存则作为视频数据从SDRAM 到 DSP 传输过程的中间缓存，它们采用乒乓机制轮流将全景视频数据从 SDRAM 送到 DSP，实现双核之间无缝的高速数据通信。并且，在 FPGA内部构建了一个主控逻辑，用于接收和解析 DSP 发送的地址、数据和控制指令，并根据接收的控制指令，控制数据缓存和 SDR

14、AM 等模块的工作，保证了 DSP 与 FPGA 高效协同工作，实现双核之间的高速数据通信。图 2 DSP 与 FPGA 互连结构图 4 DSP 与 FPGA 高速数据通信 根据上述的硬件电路设计方案，建立 DSP 与FPGA 数据通道，通过基于地址总线的控制指令编码解析方法实现双核之间控制指令交互，协调双核工作；通过 DMA 逆向波形分析在 DSP 与 FPGA之间模拟 DMA 传输，使用基于乒乓缓存机制的间接 DMA 通信等方法完成全景视频数据在 DSP 和FPGA 之间的高速传输。第 3 期 李 乐等：DSP+FPGA 折反射全景视频处理系统中双核高速数据通信 651 4.1 基于地址总

15、线的控制指令编码解析机制 基于 DSP 与 FPGA 架构的全景视频处理系统中，双核之间不仅要进行视频数据传输；同时，DSP作为主控芯片，还要控制和协调双核的工作，双核之间需要进行控制指令的交互，以保证整个视频处理系统正常、高效的运行。常用的控制指令传输方法是主控芯片通过一次写操作将控制指令写入外部芯片的指令寄存器，然后外部芯片读取指令寄存器并执行相关操作，最后再由主控芯片通过一次读操作读取返回结果或应答信息。使用该方法在 DSP 与FPGA 之间进行控制指令交互，每次都需要一读一写共两个周期。对于一些简单的控制指令，还可以进一步简化该过程，以减少控制指令传输时占用的双核通信时间，提高双核通信

16、效率。文中提出了基于 EMIF 接口异步通信模式下的使用地址总线进行控制指令交互的方法，将控制指令进行编码后通过地址总线进行传输，接收方 FPGA 根据地址总线的信号解析并执行控制指令，最后通过数据总线返回执行结果，这样每次只需要一个读周期就可以在DSP 与 FPGA 之间完成指令传输和结果返回整个过程。使用基于地址总线的控制指令编码解析的方法传输控制指令，通过 DSP EMIF 接口的信号，在DSP 和 FPGA 之间构建命令使能、地址总线和数据总线用于实现双核之间的控制指令交互。命令使能信号线为双核通信提供指令收发的使能信号，通过地址总线的不同编码组合表示 DSP 向 FPGA 发送的不同

17、指令，而数据总线则用于返回执行结果。为了完成 DSP 与 FPGA 之间控制指令交互，实现双核高效协同工作，控制指令交互过程如图 3所示。DSP 首先进行通信命令使能表示即将传输控制指令，通过地址总线向FPGA发出控制指令编码，FPGA 解析地址总线上的控制指令后立即执行相关操作，并将相关执行情况或结果通过数据总线返回给 DSP。具体过程如下：(1)指令使能：DSP 进行通信指令使能，通知 图 3 DSP 与 FPGA 控制指令交互过程执行序列图 FPGA 接收控制指令。(2)指令发送：DSP 通过 EMIF 接口向 FPGA发起一次“读”操作周期，并根据控制指令的内容进行编码给地址总线赋值。

18、(3)指令解析：FPGA 接收地址总线上的地址数据，并将其解析成相关的控制指令。(4)执行指令：FPGA 按照解析的控制指令执行相关操作。(5)结果返回：FPGA 将指令执行状态或者返回结果“赋值”给数据总线，DSP 采集数据总线的数据，得到 FPGA 对该控制指令的执行情况。对于简单的控制指令使用上述的方法在双核之间进行控制指令交互，而对于复杂的控制指令仍采用传统的写指令寄存器的方法传输控制指令，综合使用这两种指令交互方式，提高双核之间控制指令的传输效率，高效协同 DSP 和 FPGA 的工作。4.2 DSP 与 FPGA 高速 DMA 通信 4.2.1 DSP 与 FPGA 双核 DMA

19、时序逆向波形分析 在 DSP+FPGA 的双核嵌入式系统中，DSP 和FPGA 分别有各自的 SDRAM 存储器。而双核数据传输过程中，DSP 需要通过 EMIF 接口读取 FPGA端 SDRAM 存储器中的视频数据。此时，由于 FPGA端 SDRAM 存储器并未直接与 DSP 相连，DSP 如果直接读取 FPGA 端 SDRAM 中的数据，就会存在了两级 I/O Pad、三态门开关逻辑等导致的延迟，无法满足 DSP 的 EMIF 接口访问 SDRAM 的时序要求，因此 DSP 不能直接采用高速的 DMA 方式访问 FPGA 端 SDRAM 存储器。为了使 DSP 与 FPGA 进行双核 DM

20、A 通讯，需要在 FPGA 上实现模拟 DMA 传输模块，这样，当 DSP 发出 DMA 请求时，FPGA 上的模拟 DMA传输模块就可以给出数据响应，完成 DMA 方式的高速数据传输。为了解决此问题，结合逆向工程的思想，使用逆向波形分析方法8分析、总结并归纳 DSP 上的DMA 操作中通讯双方的信号波形时序关系，然后用FPGA 模拟满足 DMA 时序要求的模拟 DMA 传输模块，从而实现 DSP 和 FPGA 之间的双核 DMA模式的高速数据传输。其原理如图 4 所示。图 4 FPGA 逆向波形分析获取 DMA 波形的原理图 652 电 子 与 信 息 学 报 第 32 卷 图 5 FPGA

21、 获取的 DMA 通讯波形示例(1)获取 DSP 在 DMA 模式下数据通讯波形。具体方法是，在DSP 上运行一个对DSP端 SDRAM存储器进行 DMA 读/写的小程序，同时在 FPGA上利用在线逻辑分析工具(例如 Xilinx ChipScope)实时获取 EMIF 总线上在进行 DMA 通信时的信号波形(如图 5 所示)。(2)在获得的 DSP 进行 DMA 操作的波形后，再利用逆向波形设计方法，依据该波形在 FPGA 上模拟实现能与 DSP 进行 DMA 通讯的模拟 DMA 传输模块。4.2.2 基于乒乓缓存机制的间接 DMA 通信 在DSP+FPGA 双核全景视频处理系统中，展开后的

22、柱面全景数据存储在 FPGA 端的 SDRAM 存储器中，但是该 SDRAM 存储器并未直接与 DSP 相连，DSP 无法直接采用高速的 DMA 方式从存储器中读取视频数据。因此，通过逆向波形分析的方法在FPGA 端模拟双核 DMA 的传输模块，并使用基于乒乓缓存机制的间接 DMA 通信方式9实现双核DMA 高速数据传输。DSP与FPGA的间接DMA高速通信方法如图6 所示，在 FPGA 上定义了 3 个模块，即双核 DMA控制模块、乒乓缓存模块、SDRAM 控制模块。其中，双核 DMA 控制模块与 DSP 相连，负责接解析来自 DSP 的 DMA 指令，并将乒乓缓存的数据转发给 DSP；乒乓

23、缓存模块中包含有两个独立的双口数据缓存，用于缓存双核 DMA 传输的数据；SDRAM控制模块与 FPGA 端 SDRAM 存储器相连，以FullPage模式从FPGA端SDRAM存储器中高速读写数据。其中，FPGA 与外部 SDRAM 存储器接口数据总线为 64 位宽，当以 FullPage 模式从 SDRAM中读取数据时，会连续读取 256 个时钟周期的数据，大小正好 2 kB；因此建立的每个乒乓缓存容量为 2 kB，并同时对 FPGA 端 SDRAM 存储器进行分块，每块大小也为 2 kB，以便于数据传输。图 6 基于乒乓缓存机制的间接 DMA 通信 当 DSP 通过双核 DMA 模式访问

24、 FPGA 端SDRAM 存储器中的数据时，首先发送 DMA 指令，并指定访问 FPGA 端 SDRAM 存储器的块地址；FPGA 则根据地址信息，每次以 2 kB 为单位从SDRAM 将数据搬移到数据缓存 1 或缓存 2；然后双核 DMA 控制模块将缓存 1 或缓存 2 中数据以DMA 方式传入 DSP 端 SDRAM 存储器。其中，数据缓存1和缓存2以乒乓模式交替工作，即在FPGA向缓存 1 中写入数据的同时将缓存 2 中的数据传输给 DSP，而在 DSP 读取缓存 1 中数据的同时 FPGA向缓存 2 中写入新的数据，实现了对双数据缓存读写访问时间的交叉隐藏，减少了 DMA 通信过程中数

25、据准备的时间，提高了双核 DMA 通信的速度。第 3 期 李 乐等：DSP+FPGA 折反射全景视频处理系统中双核高速数据通信 653 5 实验结果 本文所设计的 DSP+FPGA 双核架构的折反射全景视频处理系统如图 7 所示。其中，DSP 芯片选取 TI 公司的 C6000 系列 TMS320DM642 芯片，主频为 600 MHz，通过 EMIF 接口与 FPGA 和外部SDRAM 相连，该接口工作时钟为 1/6 主频(100 MHz)，数据总线宽度为 64 bit。FPGA 是选用 Xilinx公司的 Spartan 3 系列的 XC3S1000，内部工作频率为 120 MHz，与外部

26、 SDRAM 接口的数据总线宽度64 bit，同步时钟频率为 120 MHz。外部 SDRAM存储器使用 Micron 公司的 MT48LC4M32B2 芯片，最高可支持 166 MHz 的工作频率。在 FPGA 内部构建乒乓缓存，大小为 2 kB；同时根据乒乓缓存大小对 FPGA 端 SDRAM 进行分块，每块大小 2 kB。图 7 DSP+FPGA 折反射全景视频处理系统实物图 基于上述的实验设定，对 DSP+FPGA 折反射全景视频处理系统进行反复测试运行。经统计，系统每采集一帧 25602560 分辨率的环状全向视频，并将其展开为 32641076 分辨率的柱面全景视频，最后输出到显示

27、设备，平均耗时为 36.3 ms，帧速率可达 27 fps。在 DSP 与 FPGA 的双核数据通信中，每帧待传输的柱面全景视频分辨率为 32641076，格式为YCbCr 4:2:2，大小为 6.7 MB，共分成 3430 个 2 kB大小数据块。这里，每个数据块从 FPGA 端 SDRAM以 FullPage 模式传输到乒乓缓存，平均耗时 2.20 s，整帧视频共耗时 7.55 ms；同时，测得 DSP 通过 DMA 方式从乒乓缓存连续读取一帧全景视频数据大约需要 12.0 ms，比乒乓缓存的数据准备时间长；由此得出 DSP 与 FPGA 之间每帧 6.7 MB 的视频数据传输时间为 12

28、.0 ms。经过计算，使用本文方法得到的 DSP 与 FPGA 之间数据传输速度高达4.683 Gbps(585 MBps)。6 结论 本文针对双核处理平台中高速数据通信困难的问题，设计了 DSP 和 FPGA 双核的硬件连接方案，使用地址总线传输 DSP 与 FPGA 之间的控制指令，提高控制指令传输效率，使用逆向波形分析和基于乒乓缓存的间接 DMA 通信方式，实现 DSP 与FPGA 之间的双核 DMA 高速数据通信，其传输速度高达 585 MBps，满足了基于 DSP+FPGA 结构的高分辨率全景视频处理系统中对控制指令和视频数据高速通讯的需要。在后续的工作中，将通过提高 DSP 和 F

29、PGA 通信的时钟频率来提高双核数据通信速度，通过数据压缩来提高双核之间数据传输效率，从而提高 DSP+FPGA 全景视频处理系统的性能。参 考 文 献 1 Nayar S K.Catadioptric omnidirectional cameraC.Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition,San Juan,PR,USA,Jun.17-19,1997:482-488.2 张茂军,徐玮,王炜等.二次凸曲面反射成像的实景空间构造方法及其装置P.专利申请受理号

30、 200510031552.X,中华人民共和国国家专利局,2005.Zhang Mao-jun,Xu Wei,and Wang Wei,et al.Real space construction and its instruments for conicoid reflective imagingP.Patent Application No.200510031552.X,Patent Office of the Peoples Republic of China,2005.3 Scotti G,Cuocolo A,and Coelho C,et al.A novel pedestrian c

31、lassification algorithm for a high definition dual camera 360 degrees surveillance systemC.Proceedings of IEEE International Conference on Image Processing,Genova,Italy,Sep.11-14,2005:880-883.4 Xiong Zhi-hui,Zhang Mao-jun,and Wang Yun-li,et al.Fast panorama unrolling of catadioptric omni-directional

32、 images for cooperative robot vision systemsC.Proceedings of IEEE International Conference on Computer Supported Cooperative Work in Design(CSCWD),Melbourne,Australia,Apr.26-28,2007,(2):1100-1104.5 谭亚刚.全景环形成像的嵌入式DSP处理研究D.硕士论文,浙江大学,2005.Tan Ya-gang.The research of panoramic annular imaging based on D

33、SPD.Masteral Dissertation,Zhejiang University,2005.6 Yan Lu-xin,Zhang Tian-xu,and Zhong Sheng.A DSP+FPGA-based parallel architecture for real-time image processingC.Proceedings of the 6th World Congress on Intelligent Control and Automation,Dalian,China,Jun.21-23,2006:10022-10025.7 Sun Li-hui,Wang Y

34、ong-zhong,and He Yong-qiang.Design and implement of infrared small target real-time detection system based on pipeline technologyC.27th International Congress on High-speed Photography and Photonics(SPIE),2007,Vol.6279:627956(1-6).654 电 子 与 信 息 学 报 第 32 卷 8 熊志辉,陈立栋,张茂军,李乐.DSP与FPGA协同全景成像中用逆向波形分析实现双核D

35、MA通讯J.计算机应用,2008,28(10):2693-2695.Xiong Zhi-hui,Chen Li-dong,Zhang Mao-jun,and Li Le.Dual-core DMA communication between DSP and FPGA in panoramic imaging system based on reverse wave analyzingJ.Computer Application,2008,28(10):2693-2695.9 陈立栋,张茂军,王炜等.异构双核的高分辨率折反射全景高速处理系统J.电子与信息学报,2009,31(4):822-826

36、.Chen Li-dong,Zhang Mao-jun,and Wang Wei,et al.A heterogeneous dual-core high-speed processing system for high resolution catadioptric panoramaJ.Journal of Electronics&Information Technology,2009,31(4):822-826.李 乐：男，1983 年生，博士生，研究方向为多媒体信息系统与虚拟现实技术、嵌入式系统设计.熊志辉：男，1976 年生，博士后，讲师，研究方向为数字图像处理、全景成像及嵌入式系统技术.王 斌：男，1983 年生，博士生，研究方向为多媒体信息系统与虚拟现实技术、嵌入式系统设计.张茂军：男，1971 年生，教授，博士生导师，研究方向为多媒体信息系统与虚拟现实技术.陈立栋：男，1985 年生，博士生，研究方向为多媒体信息系统与虚拟现实技术、嵌入式系统设计.