虚拟演播室技术的发展及关键技术的探讨.doc

《虚拟演播室技术的发展及关键技术的探讨.doc》由会员分享，可在线阅读，更多相关《虚拟演播室技术的发展及关键技术的探讨.doc（10页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、虚拟演播室技术的发展及关键技术的探讨前言：当今，随着科学技术的不断发展，广播电视正在成为一种广泛的传播媒体和娱乐工具。广大电视观众对电视艺术效果的要求也越来越高，这就要求电视节目的制作手段也要越来越丰富。“色键”技术在电视节目制作领域的应用已经有很多年了，它的出现不仅丰富了电视节目的制作手段，而且实现了一些在此之前所不能实现的效果，例如：在电视剧西游记的拍摄过程中就曾经大量使用了色键技术，在当时给人有一种耳目一新的感觉，但是现在看起来就显得有些虚假，这主要因为传统的色键技术在实际使用过程中有其自身的局限性，例如：当拍摄色键前景画面（如主持人）的摄象机进行俯、仰、摇、移等操作时，色键的背景画面不

2、随着前景画面作相应的变化，结果在观看最终合成画面时，前景和背景融合性差，就会给人一种主持人在背景上漂浮的感觉，缺乏真实感。为解决上述问题，日本广播公司（NHK）曾经开发了一套图像合成系统，它的基本原理是：用摄象机拍摄前景图像，并通过帧延时（因为背景的生成有延时）后，再用色键技术与经过数字处理的高清晰度背景图像合成，而背景图像的生成是受装在摄象机上的传感器所检测到的参数控制的。这样当摄象机进行变焦、俯仰、摇移等操作时，背景图像也会作相应的改变。通过这种色键合成技术产生的合成图像，就比传统色键产生的图像要生动、真实得多，我想这也许就是现在被炒得火热的“虚拟演播室”的雏形吧。随着当今计算机技术突飞猛

3、进的发展，近年来发展起来的“虚拟现实技术”广泛应用于军事对抗训练、飞行模拟训练及娱乐业，而“虚拟现实技术”在电视节目制作领域的应用还是近几年的事。现今的节目制作技术已经不再满足于简单的二维色键技术，从而开发出了三维“虚拟演播室”系统，“虚拟演播室”系统的商品化进一步丰富了电视节目制作手段，同时也实现了更高的艺术创作效果。“虚拟演播室”的基本工作原理：用拍摄前景画面的摄象机的各种参数控制一台超级图形计算机生成虚拟背景，再通过Z轴深度键和色键技术将前景与3D背景进行色键合成。简单原理如图(一)。 着色处理超级计算机摄象机跟踪器视频延时前景键控器背景键信号合成画面图一 虚拟演播室简单原理下面就这一当

4、今热门技术“虚拟演播室”的有关方面做些简单的探讨，也许会对想要了解这一技术的人有所帮助。主要分以下几方面：1 摄象机跟踪系统2 3D背景生成3 Z轴深度键4 3DK虚拟演播室系统5 虚拟演播室现状一摄象机跟踪系统（定位测量系统）：“虚拟演播室”中的一项关键技术就是如何判断摄象机、主持人、计算机合成场景之间的相对位置关系，现在有许多摄象机定位系统可以应用于“虚拟演播室”系统，选择哪一种简单易用且价格合理的定位系统在“虚拟演播室”系统中是非常重要的。应用在“虚拟演播室”中的传感器都要用到三维空间传感器，并且这个传感器要能够实时地测出摄象机在六个方向上相对于某个物体的位置参数，其中包括X、Y、Z坐标

5、的位置，以及围绕X、Y、Z轴旋转的参数（即摄象机的俯仰、左右摇、上下移动、前后移动、左右移动、Z轴旋转），同时还有镜头的变焦、聚焦、光圈共九个参数（现在一般可以做到七个参数）。对三维空间传感器的性能要求主要有：1 摄象机的定位精度2 传感器的分辨率3 位置修改速率4 延时定位精度是指该传感器所测出的摄象机的位置与实际位置的差异，而分辨率则指该传感器所能检测出的最小位置变化，这二者的概念不能混淆。位置修改速率是指该传感器在一秒钟内所能完成的测量次数。延时则包括两个方面：第一是指摄象机的动作与该传感器测出该动作的时间间隔。第二是指通过计算出来的数据来生成虚拟场景的时间差，这些延时将影响前景与虚拟场

6、景的配合，另外如果延时太大还要考虑音、画同步问题，以决定在系统中是否采用音频延时。就目前在“虚拟演播室”系统中较为流行的跟踪技术，主要有两种方式：1 图形识别方式2 机械传感器方式所谓跟踪技术，就是指如何获取实际摄象机在演播室中的位置参数和动作参数。图形识别方式需要一个画有特殊网格的兰色背景幕布，将摄象机所拍摄的画面送到被称为DVP（数字视频处理器）的设备中进行处理，通过对所拍摄画面中网格的旋转和透视关系的计算，得出有关摄象机的动作参数，这些参数将用于控制虚拟背景的生成。机械传感器方式较为简单，它通过安装在摄象机云台及镜头上的传感器获取摄象机的动作参数。图形识别技术的简单原理所谓“图形识别技术

7、”实际就是一种“运动估测算法”（a motion estimation algorithm）。这种算法可以对运动的画面进行精确的计算，以得到摄象机的运动参数，从而不需要机械传感器。这种算法与一个键控单元和一个兰色背景一起使用。这个兰色背景不象常规键控技术中使用的那种兰色背景，它必须包含足以判断摄象机如何运动的信息，而键信号只是表明前景（如：主持人）信号在背景中的相应位置，所以在做运动估测计算时可以忽略。一般情况下，背景图像的移动和比例的改变都是由于摄象机的推拉、摇移、沿光轴旋转及水平移动引起的，因此为了保证计算机生成的图像的移动可以和摄象机的任何运动相吻合，就要检测出前面提到的七个运动参数。尽

8、管由于摄象机镜头所造成的所拍画面的偏差是微乎其微的但是也应该引起大家的注意。首先，由于光学镜头的缺陷，可以引起画面的几何失真。另外，由于光线通过镜头的边缘部分比通过它的中心部分到达CCD的距离要大，所以在画面的边缘部分图像会有轻微拉长的现象（因为人眼的视网膜是一个球面，所以人眼感觉不出来）。在使用广角镜头时，这两种缺陷就显得更为突出。由于物体的大小的改变是物体与摄象机之间距离的函数，而不是摄象机角度和焦距的函数，所以透视的影响将不会和运动估测计算相抵触。为了计算摄象机所拍画面的运动和比例的改变（即摄象机的各种操作），在背景幕布中必须要有充分的可识别的信息。在大多数用于后期制作的图像跟踪技术中，

9、往往可以用一个简单的兰色背景幕布，以便通过视频信号中RGB三基色信号产生键信号。但是如果要从所拍画面中得到摄象机的运动信息，这种只用简单的兰色幕布的方法就显得无能为力了。因此我们就要在兰色幕布上画一些略淡的网格，但这些网格必须可以用色键产生（分离）出键信号，这个键信号将在“运动估测计算”前，从所拍画面中提取出来，以便用带有网格的背景信号进行计算，这样一来就可以避免画面中前景物体（如主持人）的运动而造成计算上的混乱。通过对画面中许多像素点的亮度信号进行计算，可以得出画面的移动和比例的变化，用这个测量值和运动参数建立一个联立方程。因为这种方法运算量相当大，所以建立一个关于像素子集的联立方程，而不是

10、每一个像素都建立联立方程。同时应当尽量减小测量误差，改善计算的精确度和稳定性。为了减小计算误差，可以选择一个基准帧，计算过程中每个画面的计算是以此基准帧为基准进行计算的。同时为了达到实时处理，就要求计算机的图像处理能力要达到每秒50帧的处理速度。机械传感器方式简单原理：机械传感器跟踪方式是首先应用于虚拟演播室系统的一种跟踪方式，并且至今还在广泛应用，这种蹑踪方式原理很简单，它分为主动方式和被动方式两种。在主动方式中，伺服控制系统通过数据驱动摄象机工作，例如：对摄象机的遥控操作。在被动方式中，传感器对摄象机的动作状态进行检测，得到相应数据并传送给图形计算机，进行3D场景的着色处理，这个传感器通常

11、是一个光学编码器。在镜头和云台的活动部分都要安装上这种传感器，才能检测到摄象机的动作状态参数。机械传感器可以提供很高的精度，在角度测量上精度可以达到千分之一度，在距离上精度可以达到百分之一毫米。当摄象机推到最大画面时，大概有5度的视角范围，画面中每个像素所覆盖的范围不到0.01度，如果传感器有轻微的抖动背景画面就会移动几个像素，使背景画面抖动，这种抖动非常另人讨厌。这也是机械传感器方式应该避免的一个问题。目前市场上的跟踪系统：“Ultimatte Memory Head”是第一个有足够精度的用于虚拟演播室的跟踪系统，它是一个主动式跟踪系统，可以对摄象机的参数进行每帧4次的测量，测量的数据可以存

12、到磁盘上或通过串行电缆与一台计算机相连，同时该系统还可以对来自另一台摄象机或计算机的跟踪数据作出反应。“Institut National DeAudiovisuel(INA)”是早期虚拟演播室系统，称为“Hybrid Vision”。它是一台被动方式的跟踪系统，它在云台和镜头上分别安装了两个高分辨率的传感器，检测摄象机的俯仰、摇动、变焦和聚焦参数，然后用音频编解码器将跟踪数据转换成音频信号，并且和图像信号一起记录在视频磁带上。“Thoma System”是一个包括8个传感器的被动跟踪系统。它可以应用于摄象机基座和吊臂。“Radamec Virtual Reality Encorder Hea

13、h”它是主动式跟踪系统，有很高的测量精度，它的变焦和聚焦分辨率可以达到10,000个采样。“Vinten TSM AutoCam”也是主动式跟踪系统，它可以达到0.01度的测量精度。“Milo”是一种可以沿轨道进行快速移动的主动式跟踪系统。它设计坚固且在任何方向上都活动自如。“Orad Hi-Tech Systems”此系统是目前唯一一种商品化的图形识别系统，它将摄象机拍摄的图像信号送入被称作数字视频处理器的设备中进行每秒30G的运算，得出摄象机的动作数据。两种跟踪方式的比较：无论是图形识别方式还是传感器方式都有其自身的优缺点。首先，图形识别方式可以给摄像师以最大的灵活性，因为用于拍摄的摄象机

14、不受机械传感器的限制，这样就可以采用ENG摄象机，乃至肩扛摄象机，使得摄像员可在场景中自由地移动，这是这种方式的优势所在。它的不足之处在于：第一、由于采用图形识别，不可避免地要对所拍画面进行复杂的大数据量计算，这样就会造成较大的时间延时。第二、由于只有被摄取的画面中包含一定数量的网格时才能进行测量计算，所以使演员的活动范围受到一定的限制。第三、为了精确跟踪计算，必须保持用于识别的背景网格始终清晰，这就使得摄象机的景深范围要受限制。第四、由于网格采用略浅的蓝色，所以要求有较高质量的色键。机械传感器方式可以弥补上述图形识别方式的四点不足，但是它的缺点在于：首先，由于使用机械传感器给摄像员使用肩扛摄

15、象机带来不便。其次，摄象机位置必须固定，每换一个位置都要重新进行定位调整，这就使摄像员的拍摄自由度受到一定的限制。如果在拍摄过程中需要在水平方向或垂直方向移动摄象机，就要将摄象机安装在固定的滑轨上或摄象机吊臂上。另外，如果系统中需要增加一台摄象机的话，就要增加一套传感器。这三点都需要购置额外的设备，以达到自由拍摄的目的，需要更多的资金投入。另外一点，目前本人还没有见到机械传感器可以实现沿Z轴旋转拍摄的报道。因为两种跟踪技术都有其自身的优缺点，所以在现今较为流行的几个虚拟演播室生产厂家的系统中，在以某种方式为主的同时，都容入了另外一种跟踪方式，这就为用户提供了更大的选择余地。二、3D背景生成3D

16、虚拟场景的制作在虚拟演播室中占有举足轻重的地位，它的创作和传统演播室布景的制作同样需要前期设计和创意，不过它的优点在于：可以随时从各种角度观察场景的整体效果，并且可以根据需要进行灵活的修改，另外可以节省一大笔景片运输费和储藏费，这也是人们愿意采用虚拟演播室的一个重要原因。用于生成3D虚拟场景的计算机软件，应包含下述两个模块：1. 场景构筑模块2. 动画模块其中场景构筑模块可以接受各种不同格式的3D物体模型，用户可以用现在较为流行的3D设计软件：3D MAX、SOFTIMAGE、ALLAS、FLAME、CAD等三维动画制作软件进行3D模型的建造。为了给三维场景布光，用户还可以在此模块中设置任意数

17、量的不同形式的光源。同时软件可以准许用户对虚拟物体进行必要的修改，如：物体的旋转、大小、光的反射、透明度及材质等，并且通过实时着色处理可以实时查看修改后的效果。同时软件应具有良好的交互性和灵活的操作性。动画模块应该可以实时地完成虚拟场景的着色与实际摄象机动作的同步（即虚拟摄象机与实际摄象机的同步）。在完成3D物体的建模工作后，将模型文件装入虚拟系统中的图形处理计算机进行着色处理，它可分为下面两种方式：1. 预着色处理：a. 先记录前景信号，并同时记录下摄象机的轨迹参数或通过逐帧计算得出摄象机的轨迹参数，然后用这些参数控制虚拟摄象机的动作，从而完成虚拟背景的着色处理，同时将前景与经过着色处理的背

18、景进行合成。这种方法适用于非实时的后期制作。b. 用动画软件对背景进行实时着色处理，并将此背景画面记录在录象带上，并用进行着色的参数驱动一台伺服控制系统（即带有电动伺服系统的云台）拍摄前景，同时将前景与背景合成。2. 实时着色处理：实时着色处理就是根据摄象机的动作同步产生背景画面层及相应的遮挡信号，但是如果以视频帧为速率产生背景画面，那么当摄象机做快速移动时背景画面就会产生抖动，所以根据CCIR601标准，应该每20ms产生一个720576的图像，即以视频场的速率产生背景信号，因此在做3D模型时就要仔细设计，在满足质量的情况下应尽量减少多边形的数量。同时模型的设计者也应尽量采用最佳化技术，以便

19、减小运算量提高着色速度。在动画模块中，用户不仅可以定义虚拟物体的动画参数，实现虚拟摄象机与实际摄象机的同步，使得主持人可以在3D虚拟场景中自由地行走成为现实，而且使用图形工具还可以修改虚拟物体运动的速度和加速度等参数。三、Z轴深度键（Z混合器）通过检测摄象机的动作得出了生成虚拟背景所需的几个参数，并用超级计算机生成出虚拟背景，接下来是如何将前景画面和虚拟背景进行画面合成。传统色键在日常节目制作中已被广泛采用，在艺术创作方面发挥了重要作用。但是，由于现今观众对视觉真实感要求越来越高，这种普通的色键技术就显得有一定的局限性。“虚拟演播室”的出现对色键技术有了更高一步的要求，因而产生了一种被称作“Z

20、轴深度键”的新技术。这种新的色键技术可以产生一个纵深方向的信息（即Z轴方向的参数值），它不象二维图像处理时所用的“层技术”（layering technique），它是一种基于三维画面的混合技术。这里所说的三维图像是指计算机产生的三维布景，它包含着纵深方向的信息或称Z值即虚拟摄象机到每个像素的距离值。用Z缓冲器（Z-buffer）进行三维的实时处理，是高级图形工作站的一个标准性能。三维场景中每个像素的Z值是“Z混合器”的关键所在，因为一般演播室中的摄象机无法获得Z值。所以，可以用近似的方法判断出前景主持人和摄象机的相对距离，并且用这个值作为整个前景的深度值，如果主持人移动，那么这个值将改变。我

21、们用传统的色键技术将主持人从兰色幕布中提取出来（即作色键），同时产生一个前景遮挡信号，即键信号。然后通过Z键发生器求出色键信号的深度值。Z键发生器和传统混合器一起形成了一个新颖的混合技术，这个技术我们称之为Z混合器（Z mixing）。Z混合执行过程如下：假设色键提供一个二进制信号，0代表背景幕布，1代表主持人，Z键发生器为合成画面上的每个像素进行如下计算：If (chroma-key=0) then Z-key=0Else if (Z1Z2) then Z-key=0Eles Z-key=1Z1和Z2分别代表前景（主持人）和虚拟背景的深度值。Z键为0，则虚拟背景在前(即背景可见)，否则前景主

22、持人在前（即主持人可见）。上面提到的前景Z值（即主持人到摄象机的距离）是靠近似判断的方法得出的，这就会造成诸多不便。为了解决这一问题，自动地获取Z值，我们可以采用“自动主持人跟踪系统”，它主要是由一个别在主持人身上的超声波发射器和一个安装在演播室墙上的超声波接收装置完成。它可以提供很精确的Z值。但是，它也存在一定的缺陷，例如一般情况下，要求前景只有一个主持人，如果主持人不止一个，则要求他们和摄象机有相同的距离。作为一种挑战我们应该精确测得前景画面中每个像素的Z值，才能完成一些特定的效果，演员逐渐走入一个虚拟的球体中。为了获得高质量的图像质量，现在虚拟演播室系统中普遍采用Ultimatte7 或

23、Ultimatte8色键发生器来完成色键部分的合成工作。Ultimatte7System前景背景遮挡信号合成画面合成遮挡信号Ultimatte7系统简单框图四、3DK虚拟演播室系统图(2)是GMD（German National Research Center for Information Technology）的一个典型的虚拟演播室系统。在此系统中每台摄象机对应一套跟踪系统，用来提供摄象机的动作参数，摄象机拍摄前景信号(FG)，同时由一台超级图形计算机产生相应的3D背景信号(BG)及遮挡信号(MASK)，如图(3)所示，用色键发生器完成前景与背景的合成，每个合成信号还要返回到相应的摄象机的

24、寻像器，以便摄像师进行画面构图。 Pipe1 Srius1 Pipe2 Srius2 Pipe3 Srius3 SGI Onyx摄象机1跟踪器1前景1 键控器1背景1遮挡1前景1+ 背景1前景2+背景2前景3+背景3摄象机2跟踪器2前景2 键控器2背景2遮挡2摄象机3跟踪器3前景3 键控器3背景3遮挡3虚拟演播室系统图像处理跟踪器画面合成其它演播室设备图二：3DK虚拟演播室系统框图 a.背景画面b.背景遮挡信号c.前景画面d.前景遮挡信号e.合成画面 f.合成遮挡信号图三： 背景信号和遮挡信号此虚拟演播室系统主要由三部分组成：I. 跟踪部分II. 着色部分III. 画面合成部分此系统每个摄象机

25、通道分别对应一台超级图形计算机和一台色键发生器，因此它可以同时产生三路合成画面，并分别输入到一台数字分量切换台的输入端，故可以进行三台摄象机的混合(MIX)、划像(WIPE)等特级操作。为了节省资金，一般只用一台ONYX超级计算机和一个色键发生器，从而只能完成三台摄象机的快切(CUT)功能。五、虚拟演播室现状自从1991 年在日本NHK 首先使用实时虚拟演播室以来，许多生产厂家一直在致力于这一技术的开发研究，到目前为止已有许多厂家把自己的产品推向市场，表(1) 是本人在有关资料中见到的目前已经商品化的虚拟演播室系统。表（1）名称公司名称机械传感器方式图形识别方式3D2D3DKGMDBestBr

26、ainstormCyberset I/OCyberset D/EOradElsetAccomHybrid VisionINALarus, OtusRT-SetMindSetEvans and SutherlandReality TrackingElectoGIGSynthevision NHKVapour Discreet logicVideoScapeVinten Virtual ScenarioRadamec Virtual TheaterSoftimage 结论：综观各种虚拟演播室系统，尽管在最初几年发展较快，但是最近却没有质的飞跃。在我们看到虚拟演播室诸多益处的同时，也应该看到它的一些

27、不足。例如：不管是机械传感器方式还是图形识别方式，尽管它可以节省景片的运输费和储存场地费，但是我们却要付出上百万美金来购置昂贵的设备和软件。另外，熟悉了传统演播室工作模式的操作员、摄像员及主持人都要有一个适应过程。比如：主持人要学会如何在一个空空荡荡的“蓝盒子”中自由漫步，如何躲避一些看得见摸不着的虚拟物体。但我相信，在不久的将来随着计算机技术的飞速发展，处理速度的不断加快，虚拟演播室技术必将受到越来越多的技术人员和节目导演的欢迎。另外，一个成熟的虚拟演播室系统应该具备如下性能：I. 可以多台摄象机同时使用II. 低价位的预监设备III. 灵活方便的操作性能IV. 摄象机的校准步骤简单易行V. 可接受多种模型文件格式VI. 具备高分辨率的纹理VII. 具有实时抗混淆和实时帖图功能VIII. 实时特技IX. 可输出轨迹参数虚拟演播室系统目前还非常昂贵，我们在选购时应该认真比较不同的虚拟演播室系统的优缺点，根据自己的经济实力及功能要求，选择适合自己的产品。参考文献：1. 2. 3. MONALISA 关于虚拟演播室的有关文章1998年5月29日