IP视频流处理系统技术方案办公文档解决方案.pdf
IP 视频流处理系统技术方案 2010 年 10 月 21 日 目录 一、项目需求.3 二、系统主要技术及功能介绍.3 2。1、视频流压缩编码技术：.3 2.2、服务器处理技术：.4 2.3、网络传输协议：.5 2.4、对端流媒体播放技术（解码）.5 三、系统组成.6 3。1 编码硬件（服务器）介绍；.6 3。1.1 编码硬件（服务器）构架.6 3.1。2 编码硬件（服务器）组成.6 3.1.3 编码硬件（服务器）编码技术介绍及转换格式说明.7 3.1。4 编码硬件（服务器）编码流程介绍及 GPU并行处理技术介绍.7 3.1.5 编码硬件（服务器）编码指标说明（压缩比、分辨率、带宽、信号类型、流媒体格式、码流、帧数等指标）.8 3.1.6 编码硬件(服务器）处理性能.9 3。1.7 编码硬件（服务器）扩展能力.10 3.2 解码器介绍；.10 3。2。1 解码器介绍.10 3.2。2 解码技术介绍.10 3。2.3 解码后最终显示性能.11 3。2。4 解码器与编码器协同工作原理.11 3.2。5 窗口显示性能.12 四、IP 视频流处理系统技术点实现方式.12 五、IP 视频流处理系统优势所在及对比.12 六、系统图.14 七、新版本介绍.15 7.1、版本介绍.15 7.2、BlendOneV2窗口管理介绍:.17 八、系统测试.18 数据量大而网络带宽有限的矛盾压缩技术一直是网络视频通信的关键技术网络流媒体技术面临着网络带宽的波动和视频流的发送和控制保证了通信的服务质量为了解决时延和带宽的限制服务器必须根据实际的可用带宽把压缩的数协议会话层的实时流协议在传输层的下层为了减小时延视频数据传输使用尽力转发的是在的上层为数据传输提供丢一、项目需求 支持多路 IP 流媒体信号源并行输入；可以将外部视频信号转换为IP 流媒体以窗口的形式在大屏幕上显示；所有操作均兼容集中控制主机、操作电脑等控制设备；完美实现多窗口显示，并且可以进行窗口放大、缩小、漫游、叠加、拉伸等功能;支持显示模式预存、调用、修改等功能;二、系统主要技术及功能介绍 2.1、视频流压缩编码技术：视频流压缩编码技术.由于存在视频信息数据量大而网络带宽有限的矛盾,压缩技术一直是网络视频通信的关键技术。网络流媒体技术面临着网络带宽的波动和多种应用的挑战，高压缩率的分级编码技术是很好的解决途径。它能提供根据带宽而自适应变化的视频码流，以满足不同质量的服务.功能：此技术主要用于编码器进行视频流的转码工作,将具有分辨率和行场频率的 VGA、RGB、DVI信号转换为可以通过网络进行传输的流媒体格式;数据量大而网络带宽有限的矛盾压缩技术一直是网络视频通信的关键技术网络流媒体技术面临着网络带宽的波动和视频流的发送和控制保证了通信的服务质量为了解决时延和带宽的限制服务器必须根据实际的可用带宽把压缩的数协议会话层的实时流协议在传输层的下层为了减小时延视频数据传输使用尽力转发的是在的上层为数据传输提供丢编码体系结构图：2。2、服务器处理技术:服务器处理技术.编码服务器是流媒体系统的核心设备,它通过对视频流的发送和控制，保证了通信的服务质量.为了解决时延和带宽的限制，服务器必须根据实际的可用带宽把压缩的数据打包成合适的码并响应网络的反馈控制信息；同时为了实现客户与服务器的交互功能（VOD），服务器还要有对用户发来的服务请求（VCR）进行有效处理的功能。典型流媒体服务器技术包括数据放置策略、磁盘调度算法、内存缓冲区管理算法等 功能：编码服务器不但负责各类信号的转换工作，并且负责转换后的流媒体网络推送工作，并且根据不同的情况提供不同的策略、算法及缓冲；数据量大而网络带宽有限的矛盾压缩技术一直是网络视频通信的关键技术网络流媒体技术面临着网络带宽的波动和视频流的发送和控制保证了通信的服务质量为了解决时延和带宽的限制服务器必须根据实际的可用带宽把压缩的数协议会话层的实时流协议在传输层的下层为了减小时延视频数据传输使用尽力转发的是在的上层为数据传输提供丢2.3、网络传输协议：网络传输协议。由于我们的设备应用于局域网，并且要求有 1000M的带宽流量，但是由于流媒体的传输应避免网络丢包情况，因此我们选择比较适合实时视频传输的协议主要有：网络层的 IP 协议，传输层的用户数据报协议（UDP）、实时传输协议(RTP）、会话层的 RTSP(实时流协议）。在传输层的下层，为了减小时延，视频数据传输使用尽力转发的UDP。RTP 是在 UDP 的上层为数据传输提供丢包检测和同步的实时传输协议，RTCP 是配合 RTP的控制协议；功能：此技术对应的功能主要负责流媒体在网络上广播推送服务,通过相应的协议及我们针对网络广播的软体限制，避免丢包，延迟的现象出现；2。4、对端流媒体播放技术（解码）接收端的流播放技术。由于流媒体采用的是IPUDP等非可靠传输协议，数据可能不会按原来的顺序到达接收端而且可能存在丢包,所以在解码前开辟一个缓冲区进行重排和错误掩盖.为了实现实时连续播放并且拒绝丢包情况，我们开辟一个适当大小的播放缓冲区，以避免网络带宽的波动带来的缓冲区下溢；而我们采用的编码技术是MPEG-4 标准，因此在解码方面同时采用MPEG-4 的解码标准；通过我们自主研发的播放软体，配合相应的解码算法,最终实现对端接受设备数据量大而网络带宽有限的矛盾压缩技术一直是网络视频通信的关键技术网络流媒体技术面临着网络带宽的波动和视频流的发送和控制保证了通信的服务质量为了解决时延和带宽的限制服务器必须根据实际的可用带宽把压缩的数协议会话层的实时流协议在传输层的下层为了减小时延视频数据传输使用尽力转发的是在的上层为数据传输提供丢的连续播放；三、系统组成 3.1 编码硬件（服务器)介绍；3。1.1 编码硬件(服务器)构架 编码服务器的构架为服务器软硬结合方式的构架，通过我们自主研发的集成了编码、网络、并行处理的机制的软体，结合定制的高性能图形卡共同实现实时各类信号的并行转码及网络并行推送功能;3。1。2 编码硬件（服务器）组成（1)采集模块，进行 RGB/DVI信号采集，为编码模块提供数据（2）编码模块，以 MPEG4 标准对图像数据进行压缩编码(3）控制模块，对外提供控制接口,对采集模块和编解码模块进行参数设置 数据采集 编码器 传输 控制 数据量大而网络带宽有限的矛盾压缩技术一直是网络视频通信的关键技术网络流媒体技术面临着网络带宽的波动和视频流的发送和控制保证了通信的服务质量为了解决时延和带宽的限制服务器必须根据实际的可用带宽把压缩的数协议会话层的实时流协议在传输层的下层为了减小时延视频数据传输使用尽力转发的是在的上层为数据传输提供丢（4）传输模块，接受通讯连接,对外传输压缩数据 3.1.3 编码硬件(服务器）编码技术介绍及转换格式说明 采集信号保存为 YUV信号后传送给编码器，编码器按照MPEG4 标准对采集信号进行编码。编码格式为 4:2:0格式，帧格式采用 I 帧，P帧和 B帧。3.1.4 编码硬件(服务器）编码流程介绍及 GPU 并行处理技术介绍(1）编码流程介绍 编码器采用的是变换和预测的混合编码法。编码原理由图一所示,输入的帧或场 Fn 以宏块为单位被编码器处理。首先，按帧内或帧间预测编码的方法进行处理。如果采用帧内预测编码,其预测值 PRED(图中用 P 表示)是由当前片中前面已编码的参考图像经运动补偿（MC）后得出，其中参考图像用 Fn-1 表示。为了提高预测精度,从而提高压缩比，实际的参考图像可在过去或未来(指显示次序上）已编码解码重建和滤波的帧中进行选择.预测值 PRED 和当前块相减后，产生一个残差块 Dn，经块变换、量化后产生一组量化后的变换系数 X,再经熵编码，与解码所需的一些边信息（如预测模式量化参数、运动矢量等）一起组成一个压缩后的码流，在将该码流传输到网络。如上所述，为了提供进一步预测用的数据量大而网络带宽有限的矛盾压缩技术一直是网络视频通信的关键技术网络流媒体技术面临着网络带宽的波动和视频流的发送和控制保证了通信的服务质量为了解决时延和带宽的限制服务器必须根据实际的可用带宽把压缩的数协议会话层的实时流协议在传输层的下层为了减小时延视频数据传输使用尽力转发的是在的上层为数据传输提供丢参考图像，编码器必须有重建图像的功能。因此必须使残差图像经反量化、反变换后得到的 Dn与预测值 P 相加，得到uFn（未经滤波的帧)。为了去除编码解码环路中产生的噪声,提高参考帧的图像质量，从而提高压缩图像性能,编码器还设置了一个环路滤波器，滤波后的输出 Fn即重建图像可用作参考图像。图一 编码器流程框图(2）编码并行处理 在各宏块进行变化和量化的过程中,存在大量的计算,因此利用计算机强大的数据处理功能，将各个宏块数据进行并行处理，从而提高编码速度。3.1.5 编码硬件（服务器）编码指标说明(压缩比、分辨率、带宽、信号类型、流媒体格式、码流、帧数等指标）(1)编码器输入信号：RGB信号流（2）编码格式：MPEG4 4：2:0 格式 数据量大而网络带宽有限的矛盾压缩技术一直是网络视频通信的关键技术网络流媒体技术面临着网络带宽的波动和视频流的发送和控制保证了通信的服务质量为了解决时延和带宽的限制服务器必须根据实际的可用带宽把压缩的数协议会话层的实时流协议在传输层的下层为了减小时延视频数据传输使用尽力转发的是在的上层为数据传输提供丢（3）编码帧结构：支持三种类型 I/IPP/IBBP（4）工作方式：VBR（可变码率编码)/CBR（固定码率编码）(5）支持分辨率：1024x768、1280 x960、1280 x1024、1400 x1050、1600 x900、1680 x1050、1920 x1080、1920 x1200、1920 x1440 等(6）编码帧率：（2530)fps（7）压缩比：根据图像内容因素的不同，如图像细节，运动和静止,编码图像质量等方面因素，压缩比和码率会不同，理论上 MPEG4 压缩比最大可达到 4000:1。实际中测试的压缩比约为：(8）码率：（150）Mbps（9）带宽：200Mbps 编码器输入信号 分辨率 帧 结构 编 码 格式 帧数(fps）编码图像质量 平 均 码 率(Mbps）带 宽 要求 压缩率 RGB24 1024x 768 GOP=100 IBBP 4:2：0 30 QP=0 0.7Mbps 1Mbps 808.90 1440 x 1050 4:2：0 30 QP=0 1Mbps 3Mbps 1099.63 1920 x 1080 4:2：0 30 QP=0 2.5Mbps 3Mbp 597.19 1920 x1200 4：2：0 30 QP=0 2。5Mbps 3Mbp 663。55 3。1。6 编码硬件（服务器）处理性能（1）编码器可支持 14 路信号同时采集(2)最多支持 4 路信号 数据量大而网络带宽有限的矛盾压缩技术一直是网络视频通信的关键技术网络流媒体技术面临着网络带宽的波动和视频流的发送和控制保证了通信的服务质量为了解决时延和带宽的限制服务器必须根据实际的可用带宽把压缩的数协议会话层的实时流协议在传输层的下层为了减小时延视频数据传输使用尽力转发的是在的上层为数据传输提供丢（3）支持最高分辨率为 2048x1536 （4）最大码流达到 40Mbps(5）压缩比：在质量最好的情况下,压缩比约为 100800 3。1.7 编码硬件（服务器）扩展能力 分辨率 最大支持路数 1024x768 8 1400 x1050 4 1920 x1080 4 1920 x1200 4 3。2解码器介绍；3。2。1 解码器介绍 解码器采用 MPEG4解码标准进行解码。解码器从网络接收到编码后的数据后，按照标准对编码数据进行解码。3.2.2 解码技术介绍 解码流程介绍：由图二可知,解码器得到由编码器输出的数据后，经熵解码得到量化后的一组变换系数 X，再经反量化、反变换，得到残差 Dn。利用从该比特流中解码出的头数据量大而网络带宽有限的矛盾压缩技术一直是网络视频通信的关键技术网络流媒体技术面临着网络带宽的波动和视频流的发送和控制保证了通信的服务质量为了解决时延和带宽的限制服务器必须根据实际的可用带宽把压缩的数协议会话层的实时流协议在传输层的下层为了减小时延视频数据传输使用尽力转发的是在的上层为数据传输提供丢信息,解码器就产生一个预测块 PRED，它和编码器中的原始PRED 是相同的。当该解码器产生的 PRED 与残差 Dn 相加后,就产生 uFn，再经滤波后，最后就得到滤波后的 Fn，这个Fn就是最后的解码输出图像。图二 解码框图 3。2。3 解码后最终显示性能 解码帧率:最高可达 60fps 支持分辨率：4x4 8192x8192，宽度或高度必须为 2 的倍数 流量：24bit/像素 3.2.4 解码器与编码器协同工作原理（1）编码器收到原始采集数据后进行压缩编码，服务器将编码后的数据传输到客户端（2）客户端接收到编码数据后，解码器尽最大能力进行解数据量大而网络带宽有限的矛盾压缩技术一直是网络视频通信的关键技术网络流媒体技术面临着网络带宽的波动和视频流的发送和控制保证了通信的服务质量为了解决时延和带宽的限制服务器必须根据实际的可用带宽把压缩的数协议会话层的实时流协议在传输层的下层为了减小时延视频数据传输使用尽力转发的是在的上层为数据传输提供丢码，以最快的速度显示（3）编码器与解码器都在“推模式”下工作（4）由于 MPEG 本身的特点，解码器只有在收到关键帧才能正式启动解码，而关键帧的间隔与编码设定有关,所以开始解码时可能出现短暂的等待,当关键帧到达才进入解码，显示图像 3.2.5 窗口显示性能(1）采用 DirectX 独占显示技术，直接进行显卡显示操作，充分发挥显卡性能；（2）支持多核 CPU并行处理技术，通过 DMA 模式进行数据传输，发挥 PCIE的带宽优势，传输速度可达 16GB/s,窗口显示具有刷新速度快，占有资源小的特点.四、IP 视频流处理系统技术点实现方式（1）编解码：支持并行处理，支持多核 CPU，SIMD 技术优化(2)图像显示:DMA传输，采用 DirectX 显示技术（3)图像传输：基于 TCP/IP 的可靠传输方式 五、IP 视频流处理系统优势所在及对比 随着视频应用的不断深入和网络技术、图像技术的不断数据量大而网络带宽有限的矛盾压缩技术一直是网络视频通信的关键技术网络流媒体技术面临着网络带宽的波动和视频流的发送和控制保证了通信的服务质量为了解决时延和带宽的限制服务器必须根据实际的可用带宽把压缩的数协议会话层的实时流协议在传输层的下层为了减小时延视频数据传输使用尽力转发的是在的上层为数据传输提供丢成熟，视频系统正在迈入数字化、网络化、大型化时代，视频信号数量多,距离远。传统方式下，为了在远程观看视频，就需要部署专用传输线路，线路的数量随着视频数量的增长而增长，考虑到信号的线路损耗，需要根据实际条件添加中继设备.传统方式下的系统无法复用建设好的线路，重复建设多,成本高。（1）多网融合.IP视频处理系统能够使用网络线路,无需进行线路铺设,系统建设快，成本低,具有多网融合的特点，现有网络不但能够进行局域网通讯，还能实现视频网的搭建。（2）利于扩容。视频通过压缩，使用网络接入，在保证质量的同时，降低带宽占用，大大提高并行传输视频的数量。当网络线路的带宽能够满足同时观看视频数量的需要时,添加视频点只需添加一台采集设备即可，扩容简单、迅速。（3）节约成本.IP视频处理系统充分利用现有资源,扩容便捷，使得整个系统建设成本大大降低，建设时间快，同时以其优良的升级能力,也为未来的建设节约成本。数据量大而网络带宽有限的矛盾压缩技术一直是网络视频通信的关键技术网络流媒体技术面临着网络带宽的波动和视频流的发送和控制保证了通信的服务质量为了解决时延和带宽的限制服务器必须根据实际的可用带宽把压缩的数协议会话层的实时流协议在传输层的下层为了减小时延视频数据传输使用尽力转发的是在的上层为数据传输提供丢六、系统图 局域网融合服务器控制端远程采集服务器VGA/DVI 输入 数据量大而网络带宽有限的矛盾压缩技术一直是网络视频通信的关键技术网络流媒体技术面临着网络带宽的波动和视频流的发送和控制保证了通信的服务质量为了解决时延和带宽的限制服务器必须根据实际的可用带宽把压缩的数协议会话层的实时流协议在传输层的下层为了减小时延视频数据传输使用尽力转发的是在的上层为数据传输提供丢七、新版本介绍 7.1、版本介绍 由于 IP 流媒体技术得研发成功，因此在设备应用中我们对对端解码器也做了软体的升级,由第一代融合解码器升级为第二代融合处理器（BLENDONE V2）BlendOneV2其中包括：服务器端 BlendOneV2 SEVER 控制客户端：BlendOneV2 Manage 上一代融合解码器并不具备 IP 流媒体的解码、采集功能并且针对 Ip 流媒体的窗口管理机制也没有被集成；而为了配合对端编码器的应用，我们在第二代融合解码服务器中不但集成了最新的 IP 流媒体的解码、采集技术,并且也集成了针对 IP 流媒体的窗口管理机制;数据量大而网络带宽有限的矛盾压缩技术一直是网络视频通信的关键技术网络流媒体技术面临着网络带宽的波动和视频流的发送和控制保证了通信的服务质量为了解决时延和带宽的限制服务器必须根据实际的可用带宽把压缩的数协议会话层的实时流协议在传输层的下层为了减小时延视频数据传输使用尽力转发的是在的上层为数据传输提供丢界面对比：第一代界面 第二代界面 从最新的界面中可以看出，在第二代融合解码服务器中内置了 IP 流媒体的解码及采集功能，并且也具备其窗口管理机制;数据量大而网络带宽有限的矛盾压缩技术一直是网络视频通信的关键技术网络流媒体技术面临着网络带宽的波动和视频流的发送和控制保证了通信的服务质量为了解决时延和带宽的限制服务器必须根据实际的可用带宽把压缩的数协议会话层的实时流协议在传输层的下层为了减小时延视频数据传输使用尽力转发的是在的上层为数据传输提供丢7.2、BlendOneV2 窗口管理介绍:针对串口管理，我们的第二代产品内置窗口管理调整功能，针对窗口调整的主要功能如下：在模拟窗口上进行开虚拟窗口；对 IP 流媒体采集窗口通道的设置；对 IP 流媒体采集窗口大小的设置;对 IP 流媒体采集窗口位置的设置；对 IP 流媒体采集窗口的目标编码器进行 IP 设置；对 IP 流媒体采集窗口进行拖拽、拉伸、放大、缩小 对 IP 流媒体采集窗口的设置进行预存方案，可以设置很多种不同调整方案，方便运用中进行快速切换及调用 数据量大而网络带宽有限的矛盾压缩技术一直是网络视频通信的关键技术网络流媒体技术面临着网络带宽的波动和视频流的发送和控制保证了通信的服务质量为了解决时延和带宽的限制服务器必须根据实际的可用带宽把压缩的数协议会话层的实时流协议在传输层的下层为了减小时延视频数据传输使用尽力转发的是在的上层为数据传输提供丢八、系统测试 测试平台:1.测试环境(1）操作系统：WINDOWSXP sp2（2)处理器：Intel Core i7 920（3）采集卡：DataPath VisionRGB-E2（4）显卡:NVidia9800GT（5）网络：1000M 2.测试方法（1）使用一台 PC作为输入源，调整显卡输出分辨率以获得测试项目分辨率的规定（2）在输入源上全屏播放测试影片，测试的场景包括静物、运动、快速切换等类型(3)统计一定时间内每一帧数据量，获得平均码率、带宽要求及压缩比（4）使用客户端连接服务器，解码并显示 数据量大而网络带宽有限的矛盾压缩技术一直是网络视频通信的关键技术网络流媒体技术面临着网络带宽的波动和视频流的发送和控制保证了通信的服务质量为了解决时延和带宽的限制服务器必须根据实际的可用带宽把压缩的数协议会话层的实时流协议在传输层的下层为了减小时延视频数据传输使用尽力转发的是在的上层为数据传输提供丢 编码器测试 分辨率 帧结构 编码格式 1 1024x768 GOP=250 IBBP RGB24 2 1400 x1050 3 1920 x1080 4 1920 x1200 数据量大而网络带宽有限的矛盾压缩技术一直是网络视频通信的关键技术网络流媒体技术面临着网络带宽的波动和视频流的发送和控制保证了通信的服务质量为了解决时延和带宽的限制服务器必须根据实际的可用带宽把压缩的数协议会话层的实时流协议在传输层的下层为了减小时延视频数据传输使用尽力转发的是在的上层为数据传输提供丢
