流媒体技术概述课件.ppt

流媒体技术流媒体技术Streaming Media Technology南京工程学院南京工程学院计算机工程学院计算机工程学院徐梦溪徐梦溪参参 考考 资资 料料v流媒体技术宝典流媒体技术宝典Steve Mack 著，电子工著，电子工业出版社业出版社v流媒体技术与应用完全手册肖磊流媒体技术与应用完全手册肖磊 等等 著，著，清华大学出版社清华大学出版社v多媒体通信技术李小平多媒体通信技术李小平 等等 著，北京航空著，北京航空航天大学出版社航天大学出版社vhttp:/内内 容容 介介 绍绍v1.1.流媒体技术概述流媒体技术概述v2.2.流媒体技术的主流产品流媒体技术的主流产品v3.3.适应流式应用的多媒体编码解码技术适应流式应用的多媒体编码解码技术 v4.4.流式文本文件的制作流式文本文件的制作 v5.5.同步多媒体集成语言同步多媒体集成语言 SMIL SMIL v6.6.流媒体的网络传输与控制协议流媒体的网络传输与控制协议v7.7.流媒体的平台搭建流媒体的平台搭建 v8.8.流媒体的制作和发布流媒体的制作和发布 v9.9.移动流媒体技术概述移动流媒体技术概述实实 验验 内内 容容v1.流媒体节目的制作流媒体节目的制作 v2.流媒体的转换流媒体的转换 v3.SMIL的编程的编程 v4.流媒体服务器的安装和运行流媒体服务器的安装和运行 v5.流媒体的嵌入流媒体的嵌入 Chapter 1 流媒体综述流媒体综述1.多媒体技术多媒体技术v利用计算机技术把文本、图形、图像、动画、利用计算机技术把文本、图形、图像、动画、音频及视频等多种媒体综合一体化，音频及视频等多种媒体综合一体化，v使之建立起逻辑上的联系，使之建立起逻辑上的联系，v并能够对它们进行获取、编码、编辑、处理、并能够对它们进行获取、编码、编辑、处理、存储、传输和再现。存储、传输和再现。1.1 流媒体的概念流媒体的概念1.1.1 多媒体多媒体2.多媒体技术的基本特征多媒体技术的基本特征v信息载体的多样性（采集、传输、存储、信息载体的多样性（采集、传输、存储、处理、呈现）处理、呈现）v集成性（如文本、图形、图像、视频、音集成性（如文本、图形、图像、视频、音频）频）v交互性交互性v协同性和实时性协同性和实时性3.多媒体关键技术：多媒体关键技术：v视频视频/音频数据的压缩和解压缩技术音频数据的压缩和解压缩技术v多媒体数据存储技术多媒体数据存储技术v多媒体数据库技术多媒体数据库技术v超文本与超媒体技术超文本与超媒体技术v基于内容的多媒体信息检索基于内容的多媒体信息检索v多媒体通信网络技术多媒体通信网络技术v虚拟现实技术（涉及三维实时图形显示、三虚拟现实技术（涉及三维实时图形显示、三维定位跟踪、触觉及传感技术、人工智能等）维定位跟踪、触觉及传感技术、人工智能等）v多媒体计算机的软、硬平台多媒体计算机的软、硬平台4.多媒体传播途径多媒体传播途径v信息存储媒体信息存储媒体v网络网络5.多媒体信息特征多媒体信息特征v数据量庞大：数据量庞大：v码率可变、突发性强码率可变、突发性强v复合性信息多，同步性、实时性要求高复合性信息多，同步性、实时性要求高1.1.2 流媒体概念流媒体概念v流媒体：指在流媒体：指在Internet/Intranet网络中使网络中使用流式传输技术的连续时基媒体，如音频、用流式传输技术的连续时基媒体，如音频、视频或多媒体文件。视频或多媒体文件。v简单来说，应用流技术在网络上传输的多简单来说，应用流技术在网络上传输的多媒体文件。媒体文件。v流媒体技术：一种可以使音频、视频和其流媒体技术：一种可以使音频、视频和其他多媒体文件能在他多媒体文件能在Internet及及Intranet上以上以实时的、无需下载等待的方式进行播放的实时的、无需下载等待的方式进行播放的技术。技术。Real Player 播放器播放器1.1.3 流媒体的发展历史流媒体的发展历史Windows Media 媒体播放器媒体播放器Apple公司的公司的 Quick Time 播放软件播放软件1.2 流式传输的基础流式传输的基础v主要指通过网络传送媒体（如音频、视频）主要指通过网络传送媒体（如音频、视频）的技术总称。的技术总称。v其特定含义为通过其特定含义为通过Internet将影视节目传送到将影视节目传送到PC机。机。1.2.1 流式传输的定义流式传输的定义1.2.2 支持流媒体传输的网络协议支持流媒体传输的网络协议v实时传输协议实时传输协议RTPv实时传输控制协议实时传输控制协议RTCPv实时流协议实时流协议RTSPv资源预留协议资源预留协议RSVPv多用途多用途Internet邮件扩展协议邮件扩展协议MIME(Multipurpose Internet Mail Extensions)识别流媒体类型的途径识别流媒体类型的途径1.2.3 流式传输的方式流式传输的方式1.1.顺序流式传输顺序流式传输顺序流式传输顺序流式传输v顺序下载，并在下载文件的同时播放在线媒体；在顺序下载，并在下载文件的同时播放在线媒体；在给定时刻，用户只能播放已下载的部分，而不能跳给定时刻，用户只能播放已下载的部分，而不能跳到还未下载的部分到还未下载的部分vHTTP流式传输流式传输v文件播放的部分是无损下载文件播放的部分是无损下载v点播技术点播技术2.2.实时流式传输实时流式传输实时流式传输实时流式传输v实时传送，特别适合现场事件；支持随机访问，用实时传送，特别适合现场事件；支持随机访问，用户可快进或后退，以观看前面或后面的内容户可快进或后退，以观看前面或后面的内容v需要专用的流媒体服务器与传输协议需要专用的流媒体服务器与传输协议v匹配连接宽带匹配连接宽带实时流式传输：实时流式传输：视频为实时广播，视频为实时广播，或使用流式传输媒体服务器，或使用流式传输媒体服务器，或应用如或应用如RTSP的实时协议的实时协议顺序流式传输：顺序流式传输：使用使用HTTP服务器服务器1.3 流媒体实现流媒体实现v预处理预处理v缓存（环形链表结构）缓存（环形链表结构）v传输协议：传输协议：HTTP/TCP传输控制信息；传输控制信息；RTP/UDP传输实时声音数据传输实时声音数据v流式传输的基本原理流式传输的基本原理流式传输基本原理流式传输基本原理WebBrowserWebServerA/V PlayerA/V ServerRTSP(RTP)/TCP(UDP)HTTP/TCPMeta FileOrientation1.4 流媒体的网络播放方式流媒体的网络播放方式v单播单播v组播组播v点播点播v广播广播客户端与服务器之间的点到点连接，在客户端客户端与服务器之间的点到点连接，在客户端与媒体服务器之间建立一个单独的数据通道。与媒体服务器之间建立一个单独的数据通道。通过启用组播网络传递内容流，网络中的所有通过启用组播网络传递内容流，网络中的所有客户端共享同一流。客户端共享同一流。用户被动接收流。用户被动接收流。客户端与服务器之间的主动的连接。客户端与服务器之间的主动的连接。1.4 流媒体的网络播放方式（流媒体的网络播放方式（contd）v点播单播点播单播v广播单播广播单播v广播组播广播组播客户端连接到服务器以接收特定内容，客户端连接到服务器以接收特定内容，该内容也只传往一个客户端。该内容也只传往一个客户端。客户端通过发布点上的别名访问流。客户端通过发布点上的别名访问流。被动的用户通过监视特定的被动的用户通过监视特定的IP地址接收地址接收组播组播ASF流。流。1.5 流式技术的主要解决方案流式技术的主要解决方案v组成：组成：Real Producer,Real Server,Client Softwarev流媒体文件：流媒体文件：Real Audio,Real Video,Real Presentation,Real FlashvSure Stream技术：自动地并持续地调整数技术：自动地并持续地调整数据流的流量以适应实际应用中的各种不同网据流的流量以适应实际应用中的各种不同网络带宽需求；在网上实现音频、视频和三维络带宽需求；在网上实现音频、视频和三维动画的回放动画的回放1.5.1 Real System1.5.2 Windows Media TechnologyvASF是一种数据格式，音频、视频、图像以是一种数据格式，音频、视频、图像以及控制命令脚本等多媒体信息通过这种格式，及控制命令脚本等多媒体信息通过这种格式，以网络数据包的形式传输，实现流式多媒体以网络数据包的形式传输，实现流式多媒体内容发布。内容发布。v组成：组成：Media Tools,Media Server,Media Player保证文件的保密性，保证文件的保密性，不被未授权下载，不被未授权下载，使每个使用者都能以最佳的影片品质使每个使用者都能以最佳的影片品质浏览网页，浏览网页，具有多种文件发布形式具有多种文件发布形式和监控管理功能。和监控管理功能。提供提供流信息的流信息的播放功能播放功能1.5.3 Quick Timev组成：组成：Quick Time Streaming Server,Quick Time Player,Quick Time Pro,Picture Viewer,Quick Time Plug-in Unitv支持流类型：实时流和快速启动流支持流类型：实时流和快速启动流RTP传输数据传输数据HTTP/FTP传输数据传输数据vvMacromedia的的Shockwave技术技术 在在Web页面中加入图像、动画以及交互式页面中加入图像、动画以及交互式界面等操作界面等操作 产品：产品：Flash,Shockwave for Authorware,Shockwave for DirectorvvMeataCreation的的Meta Stream技术技术 在网上创建、发布及浏览被缩放的在网上创建、发布及浏览被缩放的3D图形图形 eg.游戏开发厂商、页面设计者、电子商游戏开发厂商、页面设计者、电子商务务1.6 流媒体文件格式流媒体文件格式1.6.1 压缩媒体文件格式压缩媒体文件格式常用视频、常用视频、音频压缩音频压缩文件类型文件类型文件压缩过程文件压缩过程 1.6.2 流式文件格式流式文件格式常常用用流流式式文文件件格格式式流式文件编码过程流式文件编码过程 1.6.3 媒体发布格式媒体发布格式常用媒体发布格式常用媒体发布格式 1.7 流媒体系统的构成流媒体系统的构成v包括媒体采集与编码包括媒体采集与编码v转档转档/转码软件：可将普通格式的音频、视频或动转码软件：可将普通格式的音频、视频或动画媒体文件通过压缩转换为流服务器进行流式传输画媒体文件通过压缩转换为流服务器进行流式传输的流格式文件。（的流格式文件。（Real Producer,Windows Media Encoder）v流媒体编辑软件：对流媒体文件进行编辑，常与转流媒体编辑软件：对流媒体文件进行编辑，常与转档档/转码软件捆绑在一起。转码软件捆绑在一起。v合成软件：可将各类图片、声音、文字、视频、幻合成软件：可将各类图片、声音、文字、视频、幻灯片或网页同步，并合成为一个流媒体文件。灯片或网页同步，并合成为一个流媒体文件。（Real Slide Show,Real Presenter,Windows Media Author）v编程软件：可开发流式传输的新数据类型，创建客编程软件：可开发流式传输的新数据类型，创建客户端应用，自定义流媒体系统。（户端应用，自定义流媒体系统。（SDK）1.7.1 媒体内容制作媒体内容制作1.7.2 媒体内容管理媒体内容管理v包括流媒体文件的存储、查询及节目管理、创建包括流媒体文件的存储、查询及节目管理、创建和发布。和发布。v视频业务管理媒体发布系统：包括广播和点播的视频业务管理媒体发布系统：包括广播和点播的管理，节目管理，创建、发布及计费认证服务，管理，节目管理，创建、发布及计费认证服务，提供定时按需录制、直播、传送节目的解决方案，提供定时按需录制、直播、传送节目的解决方案，管理用户访问及多服务器系统负载均衡调度的服管理用户访问及多服务器系统负载均衡调度的服务。务。v媒体存储系统：必须配备大容量的磁盘阵列，具媒体存储系统：必须配备大容量的磁盘阵列，具有高性能的数据读写能力，访问共享数据，高速有高性能的数据读写能力，访问共享数据，高速传输外界请求数据，并具有高度的可扩展性、兼传输外界请求数据，并具有高度的可扩展性、兼容性，支持标准的接口。容性，支持标准的接口。v媒体内容自动索引检索系统：对媒体源进行标记，媒体内容自动索引检索系统：对媒体源进行标记，捕捉音频、视频文件并建立索引，建立高分辨率捕捉音频、视频文件并建立索引，建立高分辨率媒体的低分辨率代理文件。媒体的低分辨率代理文件。1.7.3 用户管理用户管理v涉及用户的登记、授权、计费和认证涉及用户的登记、授权、计费和认证v用户身份验证：限制非法用户使用系统用户身份验证：限制非法用户使用系统v计费系统：根据用户访问的内容或时间进行计费系统：根据用户访问的内容或时间进行相应的费用统计相应的费用统计v媒体数字版权加密系统（媒体数字版权加密系统（DRM）：允许内容）：允许内容提供商在其发布的媒体或节目中对指定的时提供商在其发布的媒体或节目中对指定的时间段、观看次数及其内容进行加密和保护。间段、观看次数及其内容进行加密和保护。1.7.4 视频服务器视频服务器v网络视频的核心网络视频的核心v采用时间片调度算法采用时间片调度算法v存储量大，数据率高，具备接纳控制、请求存储量大，数据率高，具备接纳控制、请求处理、数据检索、按流传送等功能处理、数据检索、按流传送等功能v存储设备多采用存储设备多采用SCSI接口，以确保高速、并接口，以确保高速、并行、多重行、多重I/O总线能力总线能力v流媒体系统通常支持多服务器协同工作，服流媒体系统通常支持多服务器协同工作，服务器之间能自动进行负载均衡务器之间能自动进行负载均衡1.7.5 客户端系统客户端系统v支持实时音频、视频直播和点播支持实时音频、视频直播和点播v可嵌入到流行的浏览器中可嵌入到流行的浏览器中v可播放多种流行的媒体格式可播放多种流行的媒体格式v支持流媒体中的多种媒体形式支持流媒体中的多种媒体形式v带宽充裕时，可自动侦测视频服务器的连接带宽充裕时，可自动侦测视频服务器的连接状态，选用更适合的视频状态，选用更适合的视频vv点播型应用点播型应用点播型应用点播型应用 在同一时间可多点点播相同或不同的节目在同一时间可多点点播相同或不同的节目 Eg.视频点播（视频点播（VOD），电子商务，网络广告，远），电子商务，网络广告，远程教育程教育vv直播型应用直播型应用直播型应用直播型应用 用户只能观看播放的内容，无法进行控制用户只能观看播放的内容，无法进行控制 Eg.Internet的多媒体新闻发布，重大体育赛事，重的多媒体新闻发布，重大体育赛事，重大时事的视频直播大时事的视频直播vv会议型应用会议型应用会议型应用会议型应用 一般双方都要有包括媒体采集的硬件和软件，还有一般双方都要有包括媒体采集的硬件和软件，还有流传输技术流传输技术 Eg.会议研讨，会议研讨，IP可视电话，实时视频会议可视电话，实时视频会议1.8 流媒体的应用流媒体的应用The EndThe End超文本与超媒体技术超文本与超媒体技术v建立并使用信息之间的链接结构建立并使用信息之间的链接结构 v非线性结构非线性结构 v以结点作为表达信息的一个单位以结点作为表达信息的一个单位 v组织信息在结点之间通过表示它们之间关组织信息在结点之间通过表示它们之间关系的超链接加以连接，构成表达特定内容系的超链接加以连接，构成表达特定内容的信息网络的信息网络 基于内容的多媒体信息检索基于内容的多媒体信息检索v基于内容的检索：以媒体所包含的内容信基于内容的检索：以媒体所包含的内容信息作为媒体的索引息作为媒体的索引v利用图像处理、模式识别、计算机视觉、利用图像处理、模式识别、计算机视觉、图像理解等领域的知识作为基础，还需从图像理解等领域的知识作为基础，还需从认知科学、人工智能、数据库管理系统、认知科学、人工智能、数据库管理系统、人机交互等领域引入新的媒体数据表示和人机交互等领域引入新的媒体数据表示和数据模型，从而设计出可靠、有效的检索数据模型，从而设计出可靠、有效的检索算法、系统结构以及友好的人机界面算法、系统结构以及友好的人机界面1、有事业的峰峦上，有汗水的溪流飞淌；在智慧的珍珠里，有勤奋的心血闪光。2、人们走过的每一个足迹，都是自己生命的留言；留给今天翻过的日历，留给未来永久的历史。3、人生是一座可以采掘开拓的金矿，但总是因为人们的勤奋程度不同，给予人们的回报也不相同。4、理想之风扯满人生的帆；奋斗之杆举起理想之旗。5、人应该学会走自己的路，但更应该掌握手中的罗盘。6、不能因为人生的道路坎坷，就使自己的身躯变得弯曲；不能因为生活的历程漫长，就使求索的脚步迟缓。7、人生的意义在理想的光辉中闪烁；生命的价值在创造的生活中闪现。8、只有走完平凡的路程，才能达到伟大的目标。9、奋斗目标是人生的精神支柱。10、共同的事业，共同的斗争，可以使人们产生忍受一切的力量。奥斯特洛夫斯基11、属于每个人的道路，都在每个人的足下；属于每个人的历史，都在每个人的身后。12、终于有一天，海水和泪都是甜的。13、有志者自有千方百计，无志者只有千难万难。14、贫不足羞，可羞是贫而无志。吕坤15、人，只要有一种信念，有所追求，什么艰苦都能忍受，什么环境也都能适应。丁玲16、人生的途程是遥远的，只要双脚不息地前行，道路就会向远方延伸。17、理想是人生的坚实支柱，如果失去了生活的理想，精神也就会随之而瘫痪。18、目标不是都能达到的，但它可以作为瞄准点。28、我学习了一生，现在我还在学习，而将来，只要我还有精力，我还要学习下去。别林斯基29、任何时候我也不会满足，越是读书，就越是深刻的感到不满足，越是感到自己的知识贫乏。马克思30、外国语是人生斗争的一种武器。马克思31、学习这件事不在乎有没有人教你，最重要的是在于你自己有没有觉悟和恒心。法布尔32、笔落惊风雨,诗成泣鬼神。杜甫33、别裁伪体亲风雅,转益多师是汝师。杜甫28、我学习了一生，现在我还在学习，而将来，只要我还有精力，我还要学习下去。别林斯基29、任何时候我也不会满足，越是读书，就越是深刻的感到不满足，越是感到自己的知识贫乏。马克思30、外国语是人生斗争的一种武器。马克思31、学习这件事不在乎有没有人教你，最重要的是在于你自己有没有觉悟和恒心。法布尔32、笔落惊风雨,诗成泣鬼神。杜甫33、别裁伪体亲风雅,转益多师是汝师。杜甫