连麦互动直播中混屏技术设计.docx
《连麦互动直播中混屏技术设计.docx》由会员分享,可在线阅读,更多相关《连麦互动直播中混屏技术设计.docx(8页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、连麦互动直播中混屏技术设计本内容全原创因才疏学浅偶有纰漏望不吝指出。本内容由灵声讯音频-语音算法实验室整理创作转载以及使用请与“联络联络方式音频/识别/合成算法QQ群696554058一混屏原理根据当前混屏或者图像合成的研究成果和对市场上成型的混屏产品的分析采用基于视频帧合成的实时流混屏方案。该方案需用高度并发解码方式对RTPP双线交互的两路视频流进展实时解码成为视频帧序列并通过将两个视频帧中的YUV图像合成生成新视频帧再对新视频帧进展编码按要求输出目的格式的实时视频流。该方案的系统架构如图1所示图1实时混屏系统框图解码模块包括两个解码器一个解码器负责对一个实时视频流进展解码获得数据帧后由预处
2、理模块对视频帧进展以下处理。首先根据目的输出视频的像素比例计算该视频画面在目的画面所占的实际大小对视频帧进展缩放操作在此缩放视频帧可以减少后续处理的数据量而不影响转换后的视频质量。然后检查图像的色彩空间格式假如不是YUV格式统一为YUV格式。最后将处理好的视频帧从队列尾部参加到待处理的视频帧队列中。视频合成模块访问各个编码器输出的待处理的视频帧队列从队列头部取出视频帧进展合并。在合并经过中为保证视频同步以其中一个视频流为基准对其他视频流的数据帧采用插帧或者丢弃保证所有数据帧的时间戳一致。解码模块以及视频合成模块对视频帧队列分别进展处理解码模块输出数据帧插入到队列尾而视频合成模块从视频帧队列头开
3、场处理将解码以及编码的耦合度降到最低解码与编码可以同时进展。编码器对视频合成模块输出的视频帧序列进展编码转换生成混屏后的实时视频流。二实现混屏关键技术1.并发解码实时视频流混屏处理多路实时视频流输入并输出实时视频流。解码处理的数据量大实时性要求高对效劳器的解码才能提出很高要求。高度并发解码充分利用多核CPU计算才能是实现实时视频流混屏的关键。为进步并发度并发解码至少包括两级并发一级是两个实时流解码器的并发解码二级是解码器Frame级别的并发解码。两个解码器分别对不同的视频源进展处理并将分别独立输出数据帧以队列的方式保存供后续模块调用。解码器之间互相独立不存在制约关系可并发处理进步CPU利用率。
4、解码器Frame级别的并发解码器采用线程池方式进展解码。在解码器初始化时根据效劳器CPU核数初始化相应数目的解码线程。解码线程接收输入数据并对数据进展解码。外部程序通过解码器提供的调用入口进入解码器的主线程。2.图像合成将两个视频混屏可通过图像合成的方式将两个实时流的数据帧图像合成新图像将合成后的视频帧作为输入进展编码得到实时视频流输出。两个数据帧的图像合成必须采用统一的图像格式。图像数据在存储中的存储格式主要包括RGB以及YUV。YUV格式所需存储空间比RGB格式存储空间小因此YUV格式主要用于多媒体数据传输。高清实时视频流多采用H.264编码方式其采用的色彩空间是YUV。在合成经过中如发现
5、视频源的图像采用RGB方式那么需要将其转换成YUV才可合成。RGB图像以及YUV图像可互相转换从RGB到YUV的转换公式见公式1。Y0.30R0.59G0.11BU0.493(B-Y)1V0.877(R-Y)另外YUV格式也存在多种不同的采样比。在实际应用中为减少运算量可选择使用视频源中最普遍使用的格式而将其他格式的图像进展转换形成统一格式。将两个YUV图像合成一个YUV图像可根据各个图像排列的位置对图像的三个分量重新进展排列组合成新图像。以Planar格式为例将两个YUV图像合成一个YUV图像可将YUV三个通道各自分开处理对每个通道的分量按照每行分量的位置从左到右排列各行从上到下排列。3.视
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 互动 直播 中混屏 技术设计
限制150内