虚拟演播室系统的设计与实现.pdf

《虚拟演播室系统的设计与实现.pdf》由会员分享，可在线阅读，更多相关《虚拟演播室系统的设计与实现.pdf（4页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第 2 9卷第 6期 2 0 0 9 年 1 2 月 桂 林 电 子 科 技 大 学 学 报 J o u r na l o f Gu i l i n Un i v e r s i t y o f El e c t r o n i c Te c h no l o g y Vo 1 2 9，No 6 De c 2 0 0 9 虚拟演播室系统的设计与实现 唐 忠，阳革锋(广西 医科大学 信 息中心，广西 南宁 5 3 0 0 2 1)摘要：在虚拟演播室的组成结构的基础上，对其中的虚拟场景成像技术和摄像机跟踪技术这两项关键技术进行 了较深入的研究。虚拟演播室系统以Vc+作为开发平台，O p e n G

2、L作为图形程序接口，设计并实现了一个3 D图 形引擎中的渲染器模块，非常直观地展现了丰富、逼真、多变的教学场景。关键词：虚拟演播室；坐标变换；摄像机跟踪；3 D引擎；渲染 中图分类号：TN9 4 8 1 3 文献标识码：A 文章编号：1 6 7 3 8 0 8 X(2 0 0 9)0 6 0 4 6 3 一 o 4 De s i g n a nd i m pl e m e nt a t i o n o f v i r t u a l s t u di o s y s t e m s TANG Zh o n g，YANG Ge f e n g (I n f o r ma t i o n Ce n

3、 t r e，Gu a n g x i Me d ic a l Un i v e r s i t y，Na n n i n g 5 3 0 0 2 1，C h i n a)Ab s t r a c t：Th e b u i l d i n g o f v i r t u a l s t u d i o i n c o l l e g e h a s b e e n a g r o wi n g c o n c e r n i n e d u c a t i o n a l t e c h n o l o g y Th i s a r t i c l e d i s c u s s e s t

4、h e s t r u c t u r e a n d c o mp o s i t i o n o f t h e v i r t u a l s t u d i o，a n d t wo o f i t S k e y t e c h n o l o g i e s：v i r t u a l s c e n e i ma g i n g c a me r a s a n d t r a c k i n g t e c h n o l o g y Th e y we r e d e t a i l e d l y a n a l y z e d；By u s i n g VC+a s d

5、e v e l o p i n g p l a t f o r m，Op e n GL a s g r a p h i c s AP I，we d e s i g n e d a 3 D g r a p h i c s r e n d e r i n g e n g i n e mo d u l e，a n d l a i d t h e f o u n d a t i o n f o r f u r t h e r l l y r e s e a r c h；t h e p r a c t i c a l a p p l i c a t i o n s o f v i r t u a l s

6、 t u d i o i n me d i c a l c o l l e g e s t e a c h i n g wa s b r i e f l y d i s c u s s e d i n t h e e n d Ke y wo r d s：v i r t u a l s t u d i o；c o o r d i n a t e t r a n s f o r ma t i o n；t r a c k i n g c a me r a；3 D e n g i n e；r e n d e r i n g 虚拟演播室(Vi r t u a l S t u d i o)技术，简称 Vs

7、，又 称虚拟布景技术，是一种区别于传统色键抠像的电视 节目制作技术。传统色键抠像技术，是当摄像机做任 何运动时，背景不发生变化，播音员好像浮在背景上，效果失真。而虚拟演播室技术能够在摄像机的位置发 生变化时，使背景 与摄像机同步运动，实现前景与背 景的完美结合。将虚拟演播室系统应用到高校教学 中，不仅能展现传统教学无法比拟 的丰富、逼真、多变 的教学 场景，而且在客观上调动 了学 生学 习的积极 性，在教育技术界具有很好的教育及现实意义。音频切换台构成的节 目制作系统 1 。主持人在蓝箱 里做着各种表演，真实摄像机对其进行拍摄，背景图 像大都是 由计算机生成的三维立体图(预先生成)，在 录制

8、或传送的过 程中，再将前景与背景 图像进 行混 合。要实现这种混合，真实的和虚拟的摄像机必须始 终是锁定的。跟踪系统把真实摄像机的运动参数(如 倾斜、转动、翻转)和摄像机镜头设置参数(如变焦、聚 焦、光圈)送入到图形工作站 中，后者分析这些参数，才能实时生成与前景图像保持正确透视关系的场景。系统的结构原理如图1所示。1 虚拟演播室的结构设计 2 虚拟演播室关键技术的实现 虚拟演播室是一套 由计 算机软件、主机、现场摄 像机、摄像机跟踪器、图形图像发生器、色键器以及视 虚拟演播室 系统的核心技术是摄像机跟踪和虚 拟场景的实时生成，即首先运用摄像机跟踪技术实时 收稿 日期：2 0 0 9 0 4

9、2 4 基金项 目：广西教育厅科研项 目(2 0 0 9 1 1 MS 3 6)作者简介：唐忠(1 9 6 8 一)，男，广西富 川人，高级工程师，硕士，主要研究方向为现代教育技术、计 算机网络。E ma i l：z h o n g t g x mu n e t c n 4 6 4 桂林电子科技大学学报 2 0 0 9 年 1 2月 图 1 虚拟演播室 的系统原理 获取演员的位置信息，然后运用虚拟场景生成技术根 据演员的位置实时地生成其相应的背景 z 。2 1 虚拟场景成像技术 虚拟演播室中的场景通常都 由计算机产生的，这 是因为：一方面在常规演播室中不可能做到那些复杂 而庞大的背景；另一方面

10、现实生活中人们不可能见到 某些特殊景观。随着计算机计算能力、绘图能力和视 频处理能力的提高，那些常规演播室中难以实现的场 景都可以在虚拟演播室中得以实现。三维虚拟场景可由两种不同的方式产生：预生成 三维方式(K称二维半方式)和真三维方式。两者最大 区别在于是否实时读取场景源文件并对源文件实时 渲染。二维半采用事先生成背景和遮挡掩膜的图片文 件，场景生成 比较简单；而真三维是读取三维建模软 件制作 的场景源文件，系统功能更为强大。本文采用 真三维方式从场景源文件中产生系统所需场景。系统读取场景源文件时，通过透视投影模型可以 将三维空间中的点映射到二维图像空间。这需要对几 何对象的三维坐标进行一系

11、列的坐标变换，这些变换 的算法称为摄像机成像模型。从客观场景到数字图像 的成像变换 由以下几步组成，如图 2 所示。图 2 三维图形显示流程 根据针孔成像模型有：z，：_=-f x，yrf yY 。(1)，一2。(1)而从世界坐标系到摄像机坐标系的变换关系为 f 尺 7 一I 0 r 1 摄像机成像公式为 X y Z 1 1 u 0 1 u o 0 0 1 (2)(3)其 中：厂伪相机焦距，尺 7 1 为相机相对于世界坐标的 旋转和平移矩 阵，A x A y为 x y方 向上的物理尺寸，光 心点的像素坐标为(“。，7 3 0)。将上述几个公式联合得出 由三维世界坐标到屏 幕坐标的变换关系为：f

12、M 1 Z l N l=I 1 J 1 瓦u 1 u瓦 0 O O 1 X y Z 1 (4)2 2 摄像机跟踪技术 在虚拟演播室系统中，实时析取摄像机参数是关 键。摄像机跟踪技术可以获取摄像机在演播室中的实 际位置参数和动作参数，以此来判断摄像机、主持人、虚拟场景间的相对位置关系，实现真实摄像机与虚拟 摄像机的锁定。目前用于获取摄像机参数的方法中，由于模式识别及特征匹配方法具有使用简单、可靠性 好，硬件改装成本低等方面的优势，已成 为获取摄像 机参数的主要方法。该方法在演播室中放置特别制作 的蓝色 网格 图形，拍摄 时系统会对 网格进行 定位追 踪。这样所拍摄的图像中既有演员本身图像 又有蓝

13、色 网格图形，再运用模式识别方法从蓝色网格 中析取摄 像机参数。摄像机成像几何模型和透视变换过程是摄像机 参数计算的基础，也是计算机视觉的基础 2 。图 3 给 出了基于图像识别的摄像机参数的析取过程。，R ，f_、J O O O 0 O 1 第 6期 唐 忠等：虚拟演播室系统 的设计 与实现 4 6 5 图 像 中 值 滤 波 消 于 H图 像 H H 线 性 色 键 原 理 适 应 阀 值 I I计 算 基 于 中 心 坐 标 法 l l 由透视变换约束求解摄像机参数 1)空间位置参数x Y Z 2)空问方位参数 3 1 焦距 根据标定模板编码计算 各特征点的世界坐标 图 3 摄像 机参数

14、析取过程 3 3 D图形引擎中渲染器的初步实现 VC是 Mc i o r o s t 开发套件 中最强大的可视化面 向对象的语言开发工具，它采用消息响应机制，具有 强大的窗 口管理机制和菜单功能，在人机交互方面具 有其它语言所无法比拟的优点。O p e n GL是近年来发 展起来的一个性能卓越的三维图形工业标准，它实现 了对三维物体 的计算机模拟，具有三维模型构造、场 景渲染、物体表面纹理贴图等操作功能。本系统以 VC+6 0和Op e n GL作为软件开发 平台，结合二者的强大功能开发出一个简单 3 D 图形 引擎中的渲染器，为进一步研 究打下基础。3 D图形是 由一系列的点和多边形面组成

15、的，而 这些数据表示并不能直接 被显示计算机屏幕上，而 3 D渲染就是把 3 D场景中的数据变换到计算机显示 硬件能够接收到数据的过程。引擎的渲染过程是 以渲 染管线(p i p e l i n e)来实现的。下面以场景的产生和场 景的渲染为例，简单描述一下 3 D图形引擎 中渲染器 的具体实现过程C 。3 1 场景产生模块 虚拟演播室虚拟场景的产生一般要经过系统初 始化、渲染数据的读取、渲染环境的设置、根据虚拟摄 像机的运动参数进行视图变换、裁剪不可见物体、场 景渲染、输出背景图像数据的过程，为此，本文设计了 场景产生算法，其算法流程图如图4所示。算法实现过程如下：(1)系统初始化：包括初始

16、化 D i r e c t 3 D设备，设 置系统渲染环境；(2)场景数据管理模块读入 自定义场景格式文件；(3)渲染环境管理模块设置渲染环境；(4)接收主系统 的虚拟摄像机运动参数，生成视 图变换矩阵，进行视图变换；由水平垂直直线计算特 征 点图像坐标 系统启动 系统初 始化 l 碹 染 数 据 的 读 取 与 管 理l 渲染环境 殴置 i 取主程序传递进来 的摄 像机模拟运动参数 l 进行视 图变 换 J 剪裁掉 可见物体 J 场景渲染 l 输出背景 图像数据 Y 图 4 场 景产生模块流程 图(5)场景渲染模块：进行可见物体计算，裁剪掉 不需要渲染的物体，只将需要渲染的物体送入渲染管 道

17、，进行虚拟场景的渲染；(6)数据输出模块：将渲染好的三维背景图像数 据转成 自定义的 2 4位格式，放入缓 冲区并通知主系 统进行读取；(7)等待主程 序发送继续渲染指令，重复前面的 过 程。3 2 场景渲染模块 二维图形加速卡是 虚拟演播室系统的重要组成 4 6 6 桂林 电子科技大学学报 2 0 0 9年 1 2月 部分，我们所看到的虚拟场景就是通过三维图形加速 卡渲染出来的。虚拟演播室系统既要保证场景的复杂 度、贴图精度，还要保证这样的场景能够 以每秒 5 O场(P AL制)的速度渲染 出来，这就要 求系统的核心部 件三维图形加速卡具备优秀的硬件加速能力。如今三 维 图形加速卡的核心GU

18、P(图形处理器)所集成的晶 体管的数量大大超过 了C P U(中央处理器)的晶体管 数量。该模块主要有两部分组成：第一部分的渲染工 作是在 C P U 中完成的，三维图形引擎把场景节点从 局部坐标系变换到世界坐标系中来；第二部分的渲染 工作是在GP U 中完成的，首先GP U 对各个顶点进行 光照计算，计算出顶点的颜色，经过一系列变换及光 栅化，就变换 了屏幕上一个点。场景渲染模块流程 图 如 图 5。图 5 场景渲染模块流程 图 4 虚拟演播室在医学院校中的具体应用 虚拟演播室的优势可总结为：创意 自由、置景轻 松、节省空间、减少费用。虚拟演播室技术营造出虚拟 的教学环境，可以在很大程度上替

19、代实际环境。因此 将虚拟演播室虚拟现场的特性应用于医学院校实训 教学环节，可以在校内创设出各 种虚拟教学场景，极 大地方便了实训教学的开展和学生医学实践技能水 平的提高。在 医学基础课程教学过程 中，可以利用虚拟演播 室技术创设虚拟实验环境，解决实验演示教学中遇到 的各种难题，可以把微观抽象的东西直观地展现在学 生眼前。如利用虚拟演播室技术实现的 HI V 人类免 疫缺陷病 课程，可以让教师直观地 为学生讲解病毒 细胞，取得了很好的教学效果。在临床医学专业的实践教学 中，病人病例的讲解 和实际操作训练是十分重要的教学环节，但 由于临床 实习基地数量、时间和经费等条件的限制，往往难 以 按计戈

20、完成训练。现在使用虚拟演播系统，在虚拟演 播室模拟 医院场景和病人，学生在校 内即可随时置身 于医院现场场景中，极大地方便 了实训教学的开展。5 结束语 本文在分析了虚拟演播室系统的两项关键技术：虚拟场景成 像技术和摄像机跟踪技术 的基 础上，以 VC+作为开发平 台，Op e n GL作为图形程序接 V I，设计并实现 了一个 3 D图形引擎 中的渲染器，研究了 渲染器的场景产生模块和场景渲染模块的实现方法，实验结果表 明是有效的。最后对虚拟演播室在 医学院 校教学中的应用进行了分析，指出随着计算机技术的 发展，虚拟演播室技术在高校教学 中将会发挥出越来 越重 要 的作 用。参考文献：1 3

21、 骆德渊，秦东兴，黄大贵摄像机运动参数实时跟踪算法 J 电 子科技大学学报，2 0 0 5(2)：8 1 8 4 2 3 郑南宁计 算机视觉与模式识别 M 国防工业 出版社，1 9 9 8：6 6 7 O 3 3 史迎 春，周献 中基于摄像机 运动的 简单 虚拟场景 生成 J 系 统仿真学报，2 0 0 4(2)：3 1 9-3 2 2 4 E DWARD ANGE L 交互式 计算机 图形学 M 吴文 国，译清 华大学出版社，2 0 0 7：3 6 4 3 6 9 5 刘 皓3 D图 形渲 染 引擎 的 设计 与 实现 I-D 电子 科 技 大学，2 0 0 7：5 9 6 2 6 3 邓伟 基 于虚拟演播室 的高职 实训教学的实践与 思考 J 3 宁 德 师专学报(自然科学 版)，2 0 0 8(5)：1 6 1-l 6 3 7 3 当容，赵 刚，陈迪 虚拟 演 播 室 的教 育运 用 J 教 育 信 息化，2 0 0 6(1 4)：6 O 一 6 3 责任编辑 林 建 玲 英文编辑 陆 小明