分布式媒体应用系统设计原理一.ppt

《分布式媒体应用系统设计原理一.ppt》由会员分享，可在线阅读，更多相关《分布式媒体应用系统设计原理一.ppt（48页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、分布式多媒体系统与技术分布式多媒体系统与技术应用系统设计原理1A distributed multimedia system (DMS)is an integrated communication,computing,and information system that enables the processing,management,delivery,and presentation of synchronized multimedia information with quality-of-service guarantees.分布式多媒体系统分布式多媒体系统:Definition2分

2、布式多媒体系统分布式多媒体系统:Overview相 关 产 业系统开发涉及的问题应用系统的类型使能技术3Resource ManagementData CompressionNetworkingMultimedia Operating SystemSynchronizationMultimedia ServerMultimedia Database System分布式多媒体系统分布式多媒体系统:Key Technologies4第一章：Hypermedia AppHyperTextMultimediaHyperMedia支持节点、链接等复杂的浏览关系引入多媒体表现、尤其是时间的概念 5超媒体应

3、用的核心问题：信息模型构造信息模型的目的就是提供一种计算机可以接受的（即最终可以用合适的计算机数据结构表示出来的）信息表示和处理方法。多媒体信息模型的基本任务就是：能够表示不同媒体数据的构造及其属性特征；能够指出不同媒体数据之间的相互关系，包括信息结构对高层应用语义的反映，以及媒体特性之间的关系，主要是时空特性关系。6分布式多媒体信息模型的主要特点：数据的多样性：多媒体信息模型必须支持多种信息类型，包括对字符文本、向量图形、位图图象、数字音频、动画、数字视频等与应用无关的基本信息类型的准确定义，和对与应用有关的信息类型提供建模工具及在演示时将它们映射到基本信息类型的说明。7分布式多媒体信息模型

4、的主要特点：同步特性：表现（Presentation）是多媒体信息系统所特有的，它不同于一般系统的显示，而是多种媒体数据的合成再现，加工再现，有交互性参与的创作再现。这其中同步问题被认为是多媒体系统的一个重要特征。8分布式多媒体信息模型的主要特点：交互特性：交互性将向用户提供更加有效的控制和使用信息的手段和方法，同时也为应用开辟了更加广阔的领域。交互可以做到自由地控制和干预信息的处理，增加对信息的注意力和理解。当引入交互后，活动本身作为一种媒体便介入了信息转变为知识的过程。9分布式多媒体信息模型的主要特点：组织结构：超媒体在高层上对节点和链的区分很适合表现文档结构的高层语义，直接反映了人类联想

5、式思维的模式，是多媒体信息最为有效的组织形式:v超媒体文献各部分的结构关系v对象之间的语义关系，如超链v多媒体信息表现时的时空关系10分布式多媒体信息模型的主要特点：分布特性：分布式多媒体信息模型应满足存储、编辑、传输、演示各阶段的要求:v将数据本身与其表示分开，利于数据共享和建立有效的存储管理机制，同时，数据与其表示的分离还支持信息按类型的传输：对结构信息提供无误差传输，对数据提供不同质量的传输；v同步方法应当基于相对时间概念，在数据和处理分布的情况下，相对时间的定义总能保证媒体对象间的时间关系；v结构上基于超媒体，支持几个层次上的结构组合，这些结构可据需要对信息进行分解和组合，以便于管理和

6、分布式处理111.多媒体同步 同步问题被认为是多媒体系统的一个重要特征 同步一般指多媒体系统中媒体对象间的时间关系，更广泛的概念则包括内容、空间和时间的关系。在多媒体系统的许多系统部件上都存在并应支持多媒体同步，如操作系统、通信系统、数据库、文档，以及应用程序等各个层次上。时间关系的定义可以是隐式的，也可以是显式定义的。121.1多媒体同步的基本概念 内容关系内容关系是指从某种数据定义媒体对象的相关性。例如，电子表格中的数据表可以显示为表格或图形，文本可以显示为格式文本或以文语转换的形式读出。其特点是相同的数据以不同的形式显示出来，这样可以使系统能够自动地升级相同数据的不同视图（view）。1

7、.1.1多媒体同步问题的范畴13空间关系空间关系是指多媒体演示中某一时间点上对象在输出设备上的布局关系。对于立体声音频输出设备则指演示中音频源的定位（如在视频会议中产生临场感，有位置次序感）。1.1多媒体同步的基本概念 1.1.1多媒体同步问题的范畴14时间关系时间关系不仅指基本的反映媒体对象之间简单的出现顺序的“时序关系”，还应包括由活动的媒体对象间通过消息传递或状态访问产生进一步动作的“制约关系”，并考虑在多媒体演示过程中，“用户交互”对媒体对象活动的影响。1.1多媒体同步的基本概念 1.1.1多媒体同步问题的范畴151.1多媒体同步的基本概念 1.1.2对象内和对象间同步：对象内同步对象

8、内同步一个跳动的小球视频序列中帧之间的对象内同步 161.1多媒体同步的基本概念 1.1.2对象内和对象间同步：对象内同步对象内同步AVS文件结构示意图171.1多媒体同步的基本概念 对象间同步对象间同步指媒体对象之间的同步同步定义方法1.1.2对象内和对象间同步181.1多媒体同步的基本概念 在现场同步现场同步（livesynchronization）中，同步的目的是准确再现一个演示中在采集过程就存在的时间关系。例如，在两个人进行讨论的一个计算机会议中，现场同步包括音频/视频的唇同步，以及屏幕显示中鼠标指针的移动与讲话的同步。在目的端要同样再现源端的信号关系。其根本要求是根据在媒体对象的采集

9、阶段就存在的时间关系显示数据。1.1.3现场同步和合成同步191.1多媒体同步的基本概念 在合成同步合成同步（syntheticsynchronization）中，每个对象数据都是独立生成的，时间关系是人工定义的。合成同步通常用在演示和用来生成新的复合多媒体对象的系统中，它强调的是支持媒体对象间灵活的同步关系。合成同步有两个阶段：定义阶段要有合适的方法充分定义对象间的时间关系，演示阶段是在运行时保证以同步的模式显示数据。1.1.3现场同步和合成同步201.1多媒体同步的基本概念 1.1.4同步的服务质量一个媒体对象内同步的一些QoS参数媒体媒体图象图象视频视频音频音频QoS颜色深度颜色深度颜色

10、深度颜色深度线性或逻辑采样线性或逻辑采样分辩率分辩率分辩率分辩率采样大小采样大小帧率帧率采样率采样率抖动抖动抖动抖动错误率错误率错误率错误率211.1多媒体同步的基本概念 1.1.4同步的服务质量媒体模式，应用QoS视频动画内容相关+/-120ms音频唇同步；特指人讲话的场景中音频视频的同步，QoS参数与讲话人显示的身体部位相关，头部像要比全身像的参数要求高。+/-80ms图象相覆盖；该模式下图象是视频内容的附加描述，两者的同步显示对于观众正确理解演示内容很是重要。+/-240ms不覆盖；该模式下两类媒体在不同的窗口显示，观众的视线在两个窗口间切换，一般在图象上的停留时间为1秒，因此保持+/-

11、500ms的偏差余量对此类应用是足够的。+/-500ms文本相覆盖；（应用模式同图象）+/-240ms不覆盖；（应用模式同图象）+/-500ms音频动画事件相关；例如，演示舞蹈中舞步的动画序列与伴奏音乐的配合是很重要的。+/-80ms音频紧耦合；例如，两个立体声声道间的配合偏差要在+/-11ms以内（对采样率44kHz而言）。+/-11ms松偶合；有多个人参加的对话情形，可容忍的偏差是120ms。+/-120ms松耦合；多个音频声道中一个是讲话者、其他是背景音乐的情况下可容忍的同步偏差是500ms。+/-500ms图象紧耦合；例如，在音乐教学中，音乐的演奏与音符的显示间的配合是一种很严格的紧密

12、偶合。+/-5ms松耦合；像在幻灯显示这类应用中，幻灯片的切换需要1秒左右的时间，演示过程中人还可以不时地插话，这种配合要求并不严格。+/-500ms文本文本注释或音频注释；两者内容的表示要配合一致。+/-240ms指针音频与指针所指的项目相关；计算机会议中屏幕显示中鼠标指针的移动与讲话的同步。-500ms,+750ms对象间同步的QoS参数221.2同步参考模型 同步参考模型体现了不同层次上对于同步的要求。每层实现一个由适当的接口提供的同步机制，这些接口可以用于定义和保证时间关系。231.2同步参考模型：接口和任务接口和任务 层接口任务描述层由完成本层任务的工具提供接口；本层本身没有向上的接

13、口编辑格式化将面向用户的QoS映射为对象层的QoS对象层同步定义对象（隐藏所包含的媒体的类型）面向媒体的QoS（可接受的偏差和抖动）规划演示时间表通过流层初始化与时间相关的媒体对象的演示初始化与时间无关的媒体对象的演示初始化演示预备活动流层流和流组流内同步保证组内流间同步保证资源预留和规划LDU处理时间表媒体层对LDU的与设备无关的访问对单一LDU处理的保证文件和设备访问241.3同步定义方法 方法要支持对象的一致性和维护同步定义；媒体对象在定义中应保持为一个逻辑单元。方法应提供对媒体对象内容的某种抽象机制，以允许按照媒体对象的一部分定义时间关系，但同时保持媒体对象为一个逻辑单元。所有类型的同

14、步关系应当方便描述。应支持时间相关、以及时间无关的媒体对象的集成。定义方法应支持定义QoS需求；最好定义方法本身要能够直接表述。要支持大型的复杂的同步场景的分层描述。251.3同步定义方法 1.3.1基于时间片的定义法两个对象间的基本时间关系261.3同步定义方法 1.3.1基于时间片的定义法基于时间间隔的方法中的操作271.3同步定义方法 1.3.1基于时间片的定义法一 段 配 有 解 说（Audio）的 幻 灯 演 示（Slidei,1=i=n）在这种方法中可以描述为：Slide1cobegin(0)AudioSlideibefore(0)Slidei+1,1=i=n281.3同步定义方法

15、 1.3.1基于时间片的定义法：评价优势缺陷可以保持逻辑对象定义复杂对媒体内容的较好抽象对允许的偏差需要附加的定义便于集成与时间无关的对象能直接定义媒体对象间的时间关系，但不能面向媒体对象的子单元便于集成交互对象处理不确定问题会在运行时产生不一致性支持定义不确定的时间关系291.3同步定义方法 1.3.2基于时间轴的定义法将媒体对象映射到一个时间轴上，每个对象的启动、结束、持续时间都表示在时间轴上，对象与轴关联，彼此之间互不影响301.3同步定义方法 1.3.2基于时间轴的定义法：评价优势缺陷易于理解不能集成持续时间未知的对象，因此需要扩展的定义便于实现分层允许的偏差的定义不直接，必须另外给出

16、QoS定义由于相互独立，便于管理对媒体对象的较好抽象便于集成与时间无关的媒体对象311.3同步定义方法 1.3.3基于控制流的定义法：分层模型321.3同步定义方法 1.3.3基于控制流的定义法：参考点模型331.3同步定义方法 1.3.3基于控制流的定义法：OCPNM，标记(token)集合 资源集合有时间间隔集合有向弧集合变迁节点集合位置节点集合341.3同步定义方法 1.3.3基于控制流的定义法：OCPNOCPN的触发规则是：当一个变迁节点ti的每个输入位置节点都有解锁标记(unlockedtoken)时，该变迁节点立即触发；一旦一个变迁节点ti触发，即从其每个输入位置节点移出标记加到其

17、输出位置节点上；一个位置节点pj得到一个标记后，在其运行时间j内处于活动状态，该标记处于加锁状态(locked)；j后或pj变为非活动状态时，标记变为解锁状态。351.3同步定义方法 1.3.3基于控制流的定义法：OCPN361.3同步定义方法 1.3.3基于控制流的定义法：OCPN371.3同步定义方法 1.3.3基于控制流的定义法：评价基于控制流的同步定义最大的缺陷就是定义复杂，操作起来十分不便。例如，TimedPetriNet是很强大的描述工具，但是如何快速正确的生成这样的描述却是有待解决的问题。381.3同步定义方法 1.3.4基于事件的定义法基于事件（Event-based）的同步定

18、义方法中，演示动作由同步事件来初始化。典型的演示动作包括：启动一个演示停止一个演示准备一个演示初始化演示动作的事件可以是外部的（如由计时器生成），也可以是由演示中与事件相关的媒体对象生成的内部事件（如媒体对象到达某一个LDU）。391.3同步定义方法 1.3.4基于事件的定义法EventActionStartAudio1.stopTimer1.readyAudio1StartVideoStartPic.1StartStopTimer1Start(3)Pic2Start401.3同步定义方法 1.3.4基于事件的定义法：评价优势缺陷易于集成交互对象难以控制可以方便扩展新事件定义复杂灵活要通过使用

19、附加的计时器来集成与时间无关的对象对允许偏差QoS的定义是分离的难以实现分层411.3同步定义方法 1.3.5事件驱动的多媒体同步方法“事件驱动”是指系统的运行表现为一系列动作的执行，而只有事件才能激发动作。动作即是对事件的响应。动作将改变系统的运行状态，如演示的暂停、继续、退出等，逻辑内容的跳转，启动、停止、移动对象等。基本事件有定时器事件（timer）、按钮事件（button-click）等。421.3同步定义方法 1.3.5事件驱动的多媒体同步方法：定时器事件与虚拟时间保证时序关系（先后、同时）431.3同步定义方法 1.3.5事件驱动的多媒体同步方法：按钮事件最常见的交互方式是通过鼠标

20、点按按钮，以此来改变系统的运行状态，选择或改变演示的内容。为描述复杂动作设计的面向对象的描述语言ArkScript内嵌在系统中，用来描述演示过程中必需的动作：语言的基本要素、描述动作的函数、对象属性等441.3同步定义方法 1.3.5事件驱动的多媒体同步方法：基于时间的数据对象播放等事件把不确定的时间转化成确定的时间451.3同步定义方法 1.3.5事件驱动的多媒体同步方法“事件驱动”是指系统的运行表现为一系列动作的执行，而只有事件才能激发动作增强时间轴和Script的有机结合兼顾了同步定义的方便性和应用程序的灵活性与交互性实现的工具已成功地用于国家大型多媒体信息系统的研制462.超媒体结构

21、是内容与结构的建模，反映的是高层的信息语义关系超媒体是多媒体信息最为有效的组织形式，此观点已在学术界和应用领域得到了广泛的认同，因此，超媒体的研究也受到普遍重视。其实现趋势为，或是开放、分布但相对低性能的，或是精细但专用的。前者构成开放标准：如MHEG、HyTime、WWW，后者构成为学术或商业目的建立的无数的系统，并多以Dexter为参考。但目前尚没有一个标准化的方法组合复杂、交互的多媒体演示，将其存储在媒体上，通过网络传输，并能在任何其他人的机器上播放。47参考文献Roure1997D.D.RoureandW.Hall.DistributedMultimediaInformationSys

22、tems.IEEE Multimedia,1997,Oct-Dec:68-73Little1990cT.D.C.Little,A.Ghafoor.Multimedia Object Models forSynchronizationandDatabase.In:6th Data Engineering Conference,20-27Blakowski1992Gerold Blakowski,Jens Hubel,Ulrike Langrehr.Tool Support for the Synchronization and Presentation of DistributedMultime

23、dia.Computer Communications,1992,15(10):611-618Little1990aT.D.C.Little,A.Ghafoor.Synchronization and StorageModelsforMultimediaObjects.IEEE Journal on Areas in Communications,1990,8(3):413-427史&裴1998史元春，裴云彰，徐光祐.一个事件驱动的超媒体模型.软件学报,1998,9(2):97-100Little1990bT.D.C.Little,A.Ghafoor.Network Considerations forDistributed Multimedia Objects Composition and Communication.IEEE Network Magazine,1990,4(6):32-3948