基于Hi3511的H_264编解码器的设计与实现_于凤.docx

《基于Hi3511的H_264编解码器的设计与实现_于凤.docx》由会员分享，可在线阅读，更多相关《基于Hi3511的H_264编解码器的设计与实现_于凤.docx（74页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 西安电子科技大学 学位论文创新性声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在导 师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注 和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果： 也不包含为获得两安电子科技大学或其它教育机构的学位或证书而使用过的材 料。与我 同工作的同志对本研究所做的任何贡献均己在论文中做了明确的说明 并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名 : 曰期 1,4 辦糊 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学冇关保留和使用学位论文的

2、规定，即：研究生 在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保留 送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容 . 可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后结合 学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学。 本学位论文属于保密，在 _年解密后适用本授权书。 本人签名 : 导师签名 : 曰期 扣 日期 二 随着人们对视频质量的要求越来越高，视频处理技术也得到了前所未有的重 视。H.264 视频压缩标准凭借其高压缩比和良好的图像质量得到了广泛的应用 。一 些高性能视频编解码芯片的出现使实时的 H.264 编

3、解码器得到高速发展，并因为 其超高的性价比逐渐应用于视频监控等领域。 本文基于海思公司 Hi3511 芯片设计并实现了一套 H.264 视频编解码器系统， 本文主要从系统硬件设计和软件程序开发两个方面对所设计的系统进行介绍。硬 件设计方面，作者首先基于 Hi3511 芯片，提出了 H.264编解码器系统的实现方案， 随后对几个关 键模块原理图设计进行了说明，然后根据设计好的原理图进行高速 电路的 PCB 板设计。在高速电路设计时，作者基于 cadence 软件重点对高速电路 模块进行了仿真。通过布线前仿真，得出高速电路模块的布线规则，根据设计好 的布线规则，绘制完 PCB 后，接着又对高速电路

4、模块进行布线后仿真，通过布线 后仿真对高速模块布线进行调整，最终使信号质量达到系统要求。由于时间的关 系，作者设计的 PCB 板没有进行最后的制板，而是买的成板进行软件程序开发。 在软件程序开发部分，作者首先搭建嵌入式开发环境，并在开发板上移植 Hi3511 内 核和根文件系统，基于 Hi3511 提供的媒体处理接口进行音视频编解码器处理程 序的开发，并对编码后的 H.264 码流进行了码流分析。最终实现了基于设备端编 码，设备端和 PC 端分别进行解码的两种编解码器设计。其中基于 PC 端解码采用 客户端 /服务器模式，两者通过 socket 进行通信，并在最后给出了解码后的图像。 关键词：

5、 H. 264 编解码器 PGB 仿真 Linux ABSTRACT As the demand for video quality increases, video processing technology has got unprecedented attention.H.264 video compression standard, with its high compression ratio and excellent image quality gradually been accepted . Real-time H.264 codec has got high-speed d

6、evelopment because of the emergence of some high-performance video codec chip, and it has been gradually applied for engineering application fields such as video surveillance due to its high cost performance. The author design and implement a H. 264 codec system based on Hi3511 chip of Haisi Company

7、, this paper mainly introduced two aspects of the system hardware design and software programs design. In the part of hardware design, the authors first proposed the implementation of H.264 codec system based on Hi3511? and then described several key modules in the schematic design ,finally conduct

8、high-speed PCB design according to designed schematic.When designed the high-speed circuit, the author focused on simulation of high-speed circuit module with the help of cadence. The author got the wiring rules for high-speed circuit module by pre-wiring simulation,then she finished the PCB drawing

9、 according to the designed wiring rules .In the last,the author conduct the after-wiring simulation to adjust the wiring of high-speed module, and so the signal quality reach the system requirements. Due to time, the authors PCB design was not be made,and the author bought a made PCB to carry on sof

10、tware development. In the section of software development , the author first built embedded development environment and transplanted Hi3511 kernel and root file system on the PCB, then carried out the audio and video codecs development based on media processing interface provided by Hi3511. The auth

11、or also analysised H.264 stream encoded .In the end,this paper achieve the result that H.264 coded on the device side ? and decoded on the device side and PC side. The system use the client/server model when H.264 stream is decoded on PC side, and they communicates through the socket, and last the a

12、uthor gives the decoded image. 第一章绪论 . 1 1.1引言 . 1 1.2视频压缩芯片比较 . 2 1.3论文内容及章节安排 . 3 第二章 H.264 标准和高速 PCB 设计基础 . 5 2.1 H.264 标准概述 . 5 2.2 H.264 编解码器原理 . 5 2.2.1编码器的结构 . 5 2.2.2解码器结构 . 6 2.3高速 PCB 设计 . 7 2.3.1传输线效应 . 7 2.3.2避免传输线效应的措施 . 7 2.3.3 IBIS 模型 . 8 第三章 Hi3511 编解码器系统硬件设计与仿真 . 9 3.1 Hi3511 芯片简介 .

13、 9 3.1.1芯片架构 . 9 3.1.2芯片主要接 . 10 3.2系统方案设计 . 10 3.3关键电路设计 . 12 3.3.1 DDR2模块设计 . 12 3.3.2 FLASH 模块设计 . 13 3.3.3视频输入输出模块设计 . 13 3.3.4以太网控制模块设计 . 15 3.4高速 PCB 设计 . 15 3.4.1原理图到 PCB 设计 . 15 3.4.2 PCB 叠层设计 . 16 3.4.3 PCB 尺寸和布局 . 17 3.5高速电路布线前仿真 . 18 3.5.1布线前设置 . 18 3.5.2布线前仿真 . 19 3.6 PCB 布线设计 . 27 3.7 P

14、CB 布线后仿真 . 28 3.7.1 DDR2 SDRAM 布线后仿真 . 28 3.7.2布线 后信号串扰仿真 . 32 3.8 PCB 完成图 . 39 第四章 Hi3511 编解码器系统软件开发 . 41 4.1 嵌入式系统简介 . 41 4.1.1嵌入式系统开发流程 . 41 4.1.2嵌入式开发环境搭建 . 41 4. 2内核和根文件系统的移植 . 42 4.2.1安装交叉编译环境 . 42 4.2.2 Linux 内核和根文件系统移植 . 43 4.3 设备端音视频编解码程序开发 . 44 4.3.1 MPP 平台初始化 . 44 4.3.2视频编码设计 . 45 4.3.3设备

15、端视频解码设计 . 47 4.3.4音频编解码设计 . 49 4.3.5音频和视频复合编解码设计 . 50 4.3.6基于设备端解码的 H.264 编解码实现 . 51 4.4 码流分 析 . 53 4.4.1 H.264 句法元素 . 53 4.4.2 H.264 码流结构 . 54 4.5 基于 PC 端解码的 H.264 编解码器设计 . 56 4.5.1 PC 端解码程序设计 . 57 4.5.2基于 PC 端解码的 H.264编解码器的实现 . 59 第五章辦吉与展望 . 61 5.1 总结 . 61 5.2 展望 . 61 顏 . 63 参考文献 . 65 第一章绪论 1.1 引言

16、 随着人类对视频数据需求的增加，各种视频处理技术得到了快速的发展。其 中由于视频压缩技术很好的应对了庞大的视频数据亟需的的存储和传输问题，受 到了越来越多的重视，也取得了一系列发展。 ISO 和 ITU 共同制定的视频压缩标 准 H.264,具有压缩比高和网络传输安全性的优点，很快受到了人们的亲睐，逐渐 应用到视频监控、视频会议等领域。 目前基于 H.264 标准的视频压缩实现一般采用 3种方式： (1) 基于 DSP 芯片实现。 利用 DSP 芯片软件实现编解码器优点是用户开发自由度大，可以灵活的实现 多种功能，芯片功耗低。缺点是首先由于 H.264 算法的复杂性，软件编程时，虽 然有开源H

17、.264 代码可以参考，但代码的修剪和移植仍然相当复杂，消耗了过多 的人力和物力。又因为受到 DSP 本身运算能力的制约，如果要达到更快的视频处 理速度和更高的图像质量，对 DSP 芯片的处理速度和延时要求也就越高，由此不 但提高了 DSP 芯片的成本，也增加了开发难度。尤其是对于视频监控等需要进行 实时编码和解码的场合，使用 DSP芯片实现不能兼顾视频质量和价格两个方面的 要求。 (2) 基于 FPGA 实现。 基于 FPGA 实现 H.264编解码器，能充分发挥 FPGA 的优势，不仅具有 了 DSP 芯片的可编程可升级性，而且具有了因为硬件实现所带来的快速编码性能，并且 处理速度快。但同

18、时缺点是使用 FPGA 数字电路实现具有高复杂度的 H.264算法， 开发周期比较长，实现代码复杂，而且 FPGA 的功耗比较高。 (3) 基于成熟的编码和解码芯片实现。 基于一些成熟 H.264 编解码器芯片实现方案，产品开发周期短，无需考虑复 杂的H.264算法，芯片本身不但可以实现编码、解码或者同时进行编解码的功能 而且处理速度快，非常适合需要实时地进行编码和解码的场合的要求。芯片内部 集成了处理器和多种外设接口，比如串口、 以太网接口等，某些芯片在设计时还 增加了硬件加速、图像去噪等模块，使芯片在完成快速编解码功能的同时，还可 以实现多种业务的开发，从而弥补了成熟编解码器芯片不可编程性

19、的缺憾。并且 这类芯片由于批量生产的原因，所以价格低廉，成为越来越多视频监控、网络摄 像机等业务开发的首选，因此具有广阔的发展前景。 考虑到本项目的开发投入和开发周期，作者使用成熟 H.264 编解码器芯片实 现方案，不但可以缩短开发周期，而且价格低廉，系统稳定性好。 1.2视频压缩芯片比较 目前市场上的 H.264 芯片主要有两类，第一类是博通，意法半导体和美芯盟 等公司提供的产品，主要用途为机顶盒和光盘播放器，缺点是只能进行解码。第 二类是海思公司生产的 Hi3511/Hi3512 芯片、富士通公司生产的 MB86H51芯片和 飞利浦公司生产的 Nexperia 系列芯片，它们的特点是在解

20、码的同时増加了编码的 功能，可以很好地实现H.264编解码器的功能。 1、 Hi3511/Hi3512 Hi3511 内部集成 ARM9 处理器和视频硬件加速引擎，并添加了丰富的外设接 口，可以支持 H.264 等多种协议，被广泛用于视频监控、网络摄像机等领域。依 托 Hi3511强大的处理器功能和丰富的外设接口， Hi3511芯片主要提供了视频编解 码和图形处理功能： (1) 视频编解码功能： Hi3511 实现了 H.264 应用的基本档次和主要档次的硬 件编码器和解码器功能，单独进行编码或者解码 75fpsDl， 同时进行编解码 30fj?sDl。 并且支持 H.264 码率控制，支持运

21、动检测、时域滤波等编码前处理功 能。 (2) 图形处理： Hi3511 提供的图形处理功能主要有图像去除噪声功能、图形 缩小播放功能、色彩和对比度增强、后 OSD 图像叠加、 4个区域的视频遮挡、图 像抗闪烁以及 2D 硬件加速功能。 Hi3511 和 Hi3512 芯片的差异主要在于 Hi3511 支持 4 个 54MHzBT656 接口， 而Hi3512支持 2个 54MHz BT656 接口，除视频输入个别管脚不同外，其余管脚 完全兼容。 2、 MB86H51 MB86H51是富士通公司开发的半双工可以进行实时 H.264编解码的芯片，最 大可支持的编嘛和解码的分辨率是 1920x108

22、0，最大编码数据速率为 20Mbit /秒。 该芯片有四种数据接口，分别为主机控制接口、视频 I/O 接口、音频 I/O 接口和码 流 I/O 接口。芯片内嵌入了两个 256Mbit 快速周期 RAM， 并添加了 “ 自调节 ” 算 法，对运动程度不同的区域进行不同压缩率的编码，使得最后得到的图像质量相 同。 该芯片的优点是功耗仅 750mW， 而且外形体积比较小，能够实现高清视频压 缩。但它不可以进行移植编码解码，限定了开发的灵活性，而且工作方式是半双 工，无法同时进行编解码操作。相对于海思的编解码芯片而言，价位更是比较高。 3、 PNX1500 系列芯片 PNX1500 系列 DSP 微处

23、理器是由飞利浦公司开发生产的，通过软件实现 H.264 编码和解码器功能。 PNX1500 系列芯片提供网络接口、高清视频输出接口、视频 处理单元和 2D 图形加速器，芯片还添加了看门狗和两个复位管脚，可以使设计更 为可靠。 PNX1500 系列处理器优点是外设接口丰富，处理器功能强大并且功耗比较低。 同时具有可编程能力，具有比较高的开发灵活性。缺点就是开发时间比较长，算 法实现会比较复杂。 综合芯片功能、开发时间和成本考虑，本文作者在设计时，选取了 Hi3511 芯 片，这款芯片不但为 H.264编解码器提供了比较标 准的算法，还支持开发人员进 行灵活开发设计，可以根据自己的要求进行开发和剪

24、裁，为整个设计减小了投入 的成本，并大大缩短了投入开发的时间。随着视频监控等需要进行实时编解码场 合需要的不断增加，基于Hi3511芯片设计的具有高的性能价格比 H.264编解码器 一定会得到更广泛的应用。 1.3论文内容及章节安排 本文首先简要介绍了 H.264 视频压缩编码的标准以及高速 PCB 设计的基本知 识，然后提出了基于海思公司的 Hi3511 芯片的编解码器的系统的方案，并对原理 图进行了设计，并介绍了关键电路模块的工作原理。随后对 PCB 板进行了布局布 线，重点介绍了高速模块的布线前仿真和布线后仿真，通过性能仿真确保设计的 电路板能够正常工作。最后，在电路板上进行了编解码器实

25、现程序的开发，实现 了基于设备端编码，设备端和PC 端分别进行解码的编解码器系统，并详细介绍了 基于 PC 端解码的客户端 /服务器运行模式的视频监控系统。 论文具体章节安排如下： 第一章：绪论，首先说明了选择成熟编解码器芯片实现 H.264 编解码器的原 因，然后对目前现有的视频编解码芯片进行了介绍，最后介绍了论文的主要内容。 第二章：首先详细介绍了 H.264 编解码器的基 本原理以及关键实现技术，然 后简要介绍了高速电路设计的基本知识。 第三章：主要对基于 Hi3511 芯片的 H.264编解码器的硬件设计进行了介绍， 包括原理图设计和 PCB 设计，重点对高速电路模块进行布线前的仿真和

26、布线后的 仿真验证，最后给出了总体 PCB 设计图。 第四章 :详细介绍了基于 Hi3511 芯片的 H.264 编解码器的软件程序开发设计， 首先对内核和根文件系统的移植进行了简单介绍，然后重点说明了音视频编解码 器程序的开发，并对设备端编码后的码流进行分析。最后基于 C/S 模式，编程实 现客户端图像解码输出。 第五章：总结和展望。 第二章 H.264标准和高速 PCB 设计基础 2.1 H.264 标准概述 H.264是由 ITU-T 和 ISO 共同制定的新一代视频压缩标准，由于其优越的性 能，被广泛用于实时的视频通信、网络视频通信和数字电视等多个领域。 H.264相对于其它视频压缩标

27、准的优越性，主要体现在： (1) 压缩比高：在同等图像质量要求下，采用 H.264技术，进行压缩后的数 据量只有 MPEG-2的 1/2 到 1/3。由此可见，使用 H.264 压缩技术会很大地节省存 储容量和信道带宽等。 (2) 图像质量高：在同等压缩大小的情况下，采用 H.264 技术能够得到更好 地图像质量。 (3) 应用范围广： H.264的不同档次基本满足了市场上的各种需求，比如对 时延要求高的实时视频通信和对时延要求不高的视频存储、流媒体等。 (4) 鲁棒性好： H.264在网络传输时容错能力比较强。 (5) 网络适应性强： H.264 中增加了 NAL层，使得 H.264 文件可

28、以适应不同 网络传输环境。 为了实现优异的性能， H.264技术相对也比较复杂，所运用的关键技术如下： (1) 帧内预测：主要利用一帧图像内 a 前预测块和已预测块的空间相关性， 把图像划分 16x16、 8x8、 4x4等多种预测模式，从而使得图像在空间域相似度很 高时，采用帧内预测提高了压缩效率，降低了码率。 (2) 整数 DCT 变换：为了提高变换速度，对残差进行整数变换，这样不仅 大大降低了 H.264 实现的功耗，也提高了残差变化后的解码鲁棒性。 (3) 熵编码；针对量化后残差系数进行熵编码，提高了编码效率。 (4) 多帧参考：与以往标准单帧参考不同， H.264 的参考帧可以选择从

29、 1帧 到15帧，从而最大限度的利用了时域相关性。 2.2 H.264 编解码器原理 2.2.1编码器的结构 编码器结构如图 2.1 所示，假设目前需要预测的帧或场为 ，预测时以宏块为 单位进行帧内预测或帧间预测。 如果编码器采用帧间预测方式进行编码，参考图像用表示，预测值 P 是通 过对预测运动补偿得到的。其中为已完成编解码重建，并进行滤波后的图 像。编码时，把当前需要预测的帧或场巧和预测值 P 相减，得到一个残差块 /， 然后经过块变换和量化，去除空间冗余后产生一组量化后的变换系数 X，把这组 系数先经过重排序之后，再进行熵编码，去除变换系数的冗余，最后再添加解码 需要的一些参数和相关信息

30、，共同构成压缩后的码流，通过网络自适应层 （ NAL) 开始传输或者存储。 编码器还提供重建通道，为编码器进一步预测提供与测试使用的参考图像。 在重建时变换系数 X 先经过反量化，然后经过反变换后得到它和预测值 P 进 行 相 加 ，得 到通过环路滤波器的输出 u32PackCount; i+) fwrite(pstStream-pstPacki .pu8 Addr0, pstStream-pstPacki.u32Len0? 1, fpH264File); fflush(fpH264F ile); if (pstStream-pstPacki.u32Lenl 0) fwrite(pstStre

31、am-pstPacki .pu8 Addr 1 , pstStream-pstPacki.u32Lenl? 1, fpH264File); fflush(fpH264File); return HI_SUCCESS; 当处理完码流后，调用接口 HI MPI VENC ReleaseStream 释放码流即可。 4.3.3设备端视频解码设计 设备端解码主要是接收编码后的 H.264 码流，并输出解码图像，输出图像格 式为PAL。 视频解码模块提供驱动 Hi3511 芯片视频解码硬件工作的 MPI 接口，可 以实现包括 H.264、 MJPEG 和 JPEG 格式的视频解码功能，下文作者主要介绍

32、H.264 码流格式的解码。 视频解码程序处理流程如图 4.6所示： 图 4.6 视频解码程序处理流程 关键步骤分析： 1、 创建解码通道，启动获取码流然后发送 在创建解码通道之前首先配置并启动视频输出接口 （ V0)， 然后调用 HI_MPI_VDEC_CreateChn 接口，创建视频解码通道，此时需要正确设置创建解码 通道所需的一些输入参数 HI_MPI_VDEC_SetChnAttr， 主要包括解码协议、码流缓 冲区大小 和 解 码 协 议 的 具 体 属 性 ， 然 后 就 可 以 启 动 获 取 码 流 HI_MPI_VDEC_StartRecvStream， 启动获取码流之后，用

33、户就可以发送码流到视频 解码通道用于解码 HI_MPI_VDEC_SendStream。 解码通道属性配置为： VDEC_CHN ATTR S stAttr; VDEC ATTR H264 S stH264Attr; memcpy(&stH264Attr,pstAttr,sizeof(VDEC_ATTR_H264_S); stAttr.enType=PT_H264; stAttr.u32BufSize=(stH264Attr.u32PicWidth)*0 (stH264Attr.u32PicHeight)l); stAttr.pValue=(void*)&stH264Attr; 2、 获取解码

34、后的图像，送输出通道显示 创建一个线程用于从解码通道获取图像 HI_MPI_VDEC_GetData， 用户可以通 过阻塞、非阻塞或者 select 方式来获取图像信息。如果图像获取成功，则发送图像 信息到 V0通道显示 HI_MPI_VO_SendFrame， 如果失败，则重新获取图像。发送 成功后，释放获取到的图像信息 HI_MPI_VDEC_ReleaseData。 HI_S32 s32ret; while(l) VDEC DATA S stVdecData; s32ret=HI_MPI_VDEC_GetData(0,&stVdecData,HI_IO_BLOCK);/* 获取解码后 数

35、据 */ if(HI_SUCCESS=s32ret) if(stVdecData.stFrameInfo.bValid) H I M P I V OS endF rame(0, &st V decData. stFramelnfo. st VideoFramelnfo); usleep(40000); HI_MPI_VDEC_ReleaseData(0,&stVdecData); else printf(channel had been destroyedn); return NULL; return NULL; 3、停止并销毁视频解码 停止并销毁视频解码时，首先等待解码完成，不断查询目前的解

36、码状态 HI_MPI_VDEC_Query， 根据现在的状态来决定是否销毁解码通道，当所有图像获 取或者显示完毕，调用 HI_MPI_VDEC_StopRecvStream 停止通道获取码流再退出 解码。 4.3.4音频编解码设计 音频处理模块分为音频输入、输出、编码和解码。音频编解码的格式为 ADPCM、 G726、 G711 和 AMR。 音频处理程序实现流程如图 4.7所示： 音频处理模块实现原理：首先启用 AI 设备，并获取音频帧数据，包括设置 AI 设备属性 HI_MPI_AI_SetPubAttr， 启用 AI 设备 HI_MPI_AI_Enable， 启用 AI 通道HI_MPI

37、_AI_EnableChn， 成功启用 AI 通道后，就可以开始启动音频帧数据的 捕获 HI MPI AI GetFrame， 可以选择阻塞或非阻塞方式，也可以使用 select 接口。 图 4.7 音频处理程序流程图 获得音频数据后，就可以开始创建 AENC 通道、发送音频帧编码并获取码流 了。首先创建音频编码通道 HI MPI AENC CreateChn， 并开始设置相应的编码协 议所需要的编码通道的属性，随后将从 AI 中获取的音频帧数据发送到音频编码通 道进行相应编码格式的编码，调用接口 HI_MPI_AENC_SendFrame。 编码后，就可 以从编码通道获取编码后码流 HI_M

38、PI_AENC_GetStream， 音频码流使用完后，例 如存文件或发网络，要及时释放 HI_MPI_AENC_ReleaseStream。 音频码流编码完成后，就可以开始启动解码了。首先创建音频解码通道 HI_MPI_ADEC_CreateOm， 并设置相应的解码协议的解码通道属性，随后将来自 文件或 者 网 络 的 音 频 码 流 数 据 发 送 到 音 频 解 码 通 道 进 行 相 应 格 式 的 解 码 HI_MPI_ADEC_SendStream。 解码后，调用 HI_MPI_ADEC_GetData 接口，从解码 通道获取解码后的音频帧数据，最后音频帧数据就可以发送到 AO 输

39、出了，发送 完后要及时归还音频帧数据，调用接口 HI_MPI_ADEC_ReleaseData。 音 频 帧 发 送 时 ，应 该 保 证 已 经 设 置 并 启 动 AO 设 备 ，调 用 接 口 HI MPI AO SetPubAttr 和 HI_ MPI_ AO_ Enable ， 然 后 开 启 AO 通道 HI_MPI_AO_EnableChn， 这些都做完后就可以将音频数据发送到 AO 设备的某个 通道输出，同样有三种方式可以选择，阻塞、非阻塞和使用 select 接口。 4.3.5音频和视频复合编解码设计 在很多 H.264 编解码器应用的场景中，都要求在看到图像的同时可以听到声 音。Hi3511的媒体处理平台提供了音频和视频码流数据的同步输出的功能接口， 通过调用这些接口，可以实现音频数据和视频数据同步输出的功能。 音视频复合模块的运作机制