多媒体通信系统中的关键技术.ppt
《多媒体通信系统中的关键技术.ppt》由会员分享,可在线阅读,更多相关《多媒体通信系统中的关键技术.ppt(60页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、多媒体通信技术:多媒体通信系统中的关键技术多媒体通信技术:多媒体通信系统中的关键技术信息科学与工程学院信息科学与工程学院宁波大学宁波大学宁波大学宁波大学 Ningbo UniversityNingbo University多媒体通信系统中的关键技术 Still waters run deep.流静水深流静水深,人静心深人静心深 Where there is life,there is hope。有生命必有希望。有生命必有希望多媒体通信技术:多媒体通信系统中的关键技术多媒体通信技术:多媒体通信系统中的关键技术信息科学与工程学院信息科学与工程学院宁波大学宁波大学宁波大学宁波大学 Ningbo Un
2、iversityNingbo University5.1 多媒体信息输入输出技术多媒体信息输入输出技术多媒体计算机所涉及的多媒体计算机所涉及的输入输出技术输入输出技术包括视频图包括视频图像技术、音频技术、语音技术、图形技术和文本像技术、音频技术、语音技术、图形技术和文本技术等。技术等。多媒体系统通过一些具有多媒体系统通过一些具有特定功能的卡特定功能的卡来支持媒来支持媒体数据的输入输出。(如视频卡、声卡、体数据的输入输出。(如视频卡、声卡、VGA与与TV转换卡、图形加速卡、光盘接口卡等)转换卡、图形加速卡、光盘接口卡等)多媒体计算机多媒体计算机正是通过这些卡,完成与各种外部正是通过这些卡,完成与
3、各种外部设备的连接,从而形成一个设备的连接,从而形成一个制作和播放制作和播放多媒体应多媒体应用的工作环境。用的工作环境。多媒体通信技术:多媒体通信系统中的关键技术多媒体通信技术:多媒体通信系统中的关键技术信息科学与工程学院信息科学与工程学院宁波大学宁波大学宁波大学宁波大学 Ningbo UniversityNingbo University5.1.1 视频信息输入输出技术视频信息输入输出技术视频卡是多媒体计算机用来完成视频信息视频卡是多媒体计算机用来完成视频信息输入输出功能的主要器件。输入输出功能的主要器件。主要种类主要种类:电视接收卡电视接收卡视频转换视频转换/捕获卡捕获卡视频编码卡视频编码
4、卡MPEG卡卡实际应用中常把多种功能集成于一块卡中实际应用中常把多种功能集成于一块卡中多媒体通信技术:多媒体通信系统中的关键技术多媒体通信技术:多媒体通信系统中的关键技术信息科学与工程学院信息科学与工程学院宁波大学宁波大学宁波大学宁波大学 Ningbo UniversityNingbo University1.视频卡的基本工作原理视频卡的基本工作原理选选择择视视频频源源ADCADCVRAMVRAM显示器显示器DACDACVGAVGA卡卡视频视频处理芯片处理芯片PC总线总线视频源视频源0 0视频源视频源1 1视频源视频源2 2录像机录像机影碟机影碟机摄像机摄像机I/O多制式多制式数字解码器数字解
5、码器RGB用于视频信号用于视频信号捕获、播放和捕获、播放和显示的专用控显示的专用控制芯片制芯片可以完成输入信号的裁剪、比例可以完成输入信号的裁剪、比例变化、变化、VGA同步、色键控制、同步、色键控制、PC总线接口和对帧存储器的操作总线接口和对帧存储器的操作视频随机视频随机访问存储器访问存储器数模转换数模转换多媒体通信技术:多媒体通信系统中的关键技术多媒体通信技术:多媒体通信系统中的关键技术信息科学与工程学院信息科学与工程学院宁波大学宁波大学宁波大学宁波大学 Ningbo UniversityNingbo University2.常用视频卡常用视频卡视频接收卡(电视接收卡)视频接收卡(电视接收卡
6、)一般与视频转换一般与视频转换/捕获卡组合在一起捕获卡组合在一起电视电视信号信号高频高频调谐器调谐器模拟模拟视频信号视频信号视频视频数字化数字化帧存储器帧存储器VGA卡卡数字数字视频信号视频信号显示器显示器模拟信号模拟信号VGA RGB数字信号数字信号主要功能:主要功能:接收电视台发送的电视信号;将模拟电视信号数字化后叠加接收电视台发送的电视信号;将模拟电视信号数字化后叠加显示在显示在VGA中并完成最后的显示。中并完成最后的显示。接收电视台发接收电视台发送的电视信号送的电视信号多媒体通信技术:多媒体通信系统中的关键技术多媒体通信技术:多媒体通信系统中的关键技术信息科学与工程学院信息科学与工程学
7、院宁波大学宁波大学宁波大学宁波大学 Ningbo UniversityNingbo University视频转换视频转换/捕获卡捕获卡视频转换卡视频转换卡完成计算机视频信号和电视视频完成计算机视频信号和电视视频信号间的转换信号间的转换完成由计算机的完成由计算机的VGA信号到各种标准制式的电视信号到各种标准制式的电视信号的转换并在电视机上播放或进行录像(信号的转换并在电视机上播放或进行录像(PC-TV,VGA-TV)完成将标准的各种制式电视信号转换成计算机屏完成将标准的各种制式电视信号转换成计算机屏幕上显示的幕上显示的VGA信号(信号(TV-VGA)该类卡在电视上的显示质量不能与专业视频该类卡在
8、电视上的显示质量不能与专业视频卡相比,且有些转换卡不能在卡相比,且有些转换卡不能在VGA和和TV上同时输上同时输出视频图像。出视频图像。多媒体通信技术:多媒体通信系统中的关键技术多媒体通信技术:多媒体通信系统中的关键技术信息科学与工程学院信息科学与工程学院宁波大学宁波大学宁波大学宁波大学 Ningbo UniversityNingbo University视频转换视频转换/捕获卡捕获卡视频捕获卡视频捕获卡主要功能是从视频图像信息中实主要功能是从视频图像信息中实时或非实时地捕获静态或短时间的动态视频时或非实时地捕获静态或短时间的动态视频图像。图像。视频转换视频转换/捕获卡的基本原理捕获卡的基本原
9、理:A/D转换转换解码解码YUV矩阵变换矩阵变换RGB帧存储器帧存储器VGA卡卡颜色查找表颜色查找表D/A转换器转换器显示器显示器VGA输入输入视频信号视频信号 输入输入多媒体通信技术:多媒体通信系统中的关键技术多媒体通信技术:多媒体通信系统中的关键技术信息科学与工程学院信息科学与工程学院宁波大学宁波大学宁波大学宁波大学 Ningbo UniversityNingbo UniversityMPEG卡卡压缩卡:对静止和动态图像按照相应的标准进行实时压缩卡:对静止和动态图像按照相应的标准进行实时和非实时的压缩和还原处理。和非实时的压缩和还原处理。解压缩卡(影碟卡):把解压缩卡(影碟卡):把MPEG
10、文件进行解压缩并恢文件进行解压缩并恢复播放。它可以播放复播放。它可以播放MPEG-1标准压缩的数字影视片标准压缩的数字影视片(如(如VCD)。)。视频卡发展方向视频卡发展方向与影视技术的结合:可以在一块高档卡上集成视频输与影视技术的结合:可以在一块高档卡上集成视频输入输出、压缩和解压缩、特技效果及视频编辑功能。入输出、压缩和解压缩、特技效果及视频编辑功能。与网络通信技术结合:完成多媒体视频会议、可视电与网络通信技术结合:完成多媒体视频会议、可视电话和多媒体通信功能话和多媒体通信功能多媒体通信技术:多媒体通信系统中的关键技术多媒体通信技术:多媒体通信系统中的关键技术信息科学与工程学院信息科学与工
11、程学院宁波大学宁波大学宁波大学宁波大学 Ningbo UniversityNingbo University3.摄像头摄像头针对网络视频应用针对网络视频应用模拟摄像头模拟摄像头:获得的视频信号必须通过计算机的视频卡数获得的视频信号必须通过计算机的视频卡数字化并压缩才能送进计算机进行处理。字化并压缩才能送进计算机进行处理。数字摄像头数字摄像头:直接捕捉视频图像,然后通过直接捕捉视频图像,然后通过USB或或IEEE1394高速接口输入计算机。高速接口输入计算机。工作原理工作原理:外界景物通过镜头生成光学图像,再投射到图外界景物通过镜头生成光学图像,再投射到图像传感器表明转换为模拟信号,经像传感器表
12、明转换为模拟信号,经A/D变换转为数字图像信变换转为数字图像信号,送到数字处理芯片号,送到数字处理芯片DSP进行加工,在通过与计算机的接进行加工,在通过与计算机的接口传输到计算机中进行处理,最后通过显示器显示。口传输到计算机中进行处理,最后通过显示器显示。多媒体通信技术:多媒体通信系统中的关键技术多媒体通信技术:多媒体通信系统中的关键技术信息科学与工程学院信息科学与工程学院宁波大学宁波大学宁波大学宁波大学 Ningbo UniversityNingbo University主要性能指标主要性能指标摄像器件:摄像器件:CCD(成像质量高)(成像质量高),CMOS像素分辨率:像素分辨率:30万、万
13、、130万。万。颜色深度:颜色深度:24真彩、真彩、30真彩。真彩。视频捕获速度:帧率,影响流畅度视频捕获速度:帧率,影响流畅度接口方式:接口方式:USB速度快,连接简单,即插拔速度快,连接简单,即插拔多媒体通信技术:多媒体通信系统中的关键技术多媒体通信技术:多媒体通信系统中的关键技术信息科学与工程学院信息科学与工程学院宁波大学宁波大学宁波大学宁波大学 Ningbo UniversityNingbo University4.投影仪投影仪多媒体显示设备多媒体显示设备分类分类CRT:实现最早、应用最广、技术成熟、分辨率高实现最早、应用最广、技术成熟、分辨率高亮度较低、机身体积大、对焦汇聚调整复杂亮
14、度较低、机身体积大、对焦汇聚调整复杂LCD:体积小、重量轻、便携、亮度高、色彩丰富体积小、重量轻、便携、亮度高、色彩丰富DLP:画面质量稳定、图像显示细腻画面质量稳定、图像显示细腻多媒体通信技术:多媒体通信系统中的关键技术多媒体通信技术:多媒体通信系统中的关键技术信息科学与工程学院信息科学与工程学院宁波大学宁波大学宁波大学宁波大学 Ningbo UniversityNingbo University技术指标技术指标亮度亮度分辨率分辨率灯泡寿命灯泡寿命多媒体通信技术:多媒体通信系统中的关键技术多媒体通信技术:多媒体通信系统中的关键技术信息科学与工程学院信息科学与工程学院宁波大学宁波大学宁波大学宁
15、波大学 Ningbo UniversityNingbo University5.1.2 音频信息输入输出技术音频信息输入输出技术实现:音频卡(声卡),安装在实现:音频卡(声卡),安装在PC内部使内部使PC发发出各种声音的硬件板卡,是出各种声音的硬件板卡,是PC进行所有与声音进行所有与声音相关处理的硬件设备。相关处理的硬件设备。音频卡工作原理音频卡工作原理混音器混音器总线接口芯片总线接口芯片A D数字音频数字音频处理芯片处理芯片音乐音乐合成器合成器话筒输入话筒输入线性输入线性输入扬声器输出扬声器输出线性输出线性输出MIDI接口接口CD接口接口计算机总线计算机总线为各个部分与总线间提供握为各个部分
16、与总线间提供握手信号,缓冲(声卡与总线手信号,缓冲(声卡与总线间指令和数据的传送)间指令和数据的传送)记记录录播播放放用软件控制音量用软件控制音量将数字音频的波形数据将数字音频的波形数据和和MIDI信息合成为声音信息合成为声音多媒体通信技术:多媒体通信系统中的关键技术多媒体通信技术:多媒体通信系统中的关键技术信息科学与工程学院信息科学与工程学院宁波大学宁波大学宁波大学宁波大学 Ningbo UniversityNingbo University音频卡的主要功能音频卡的主要功能录制和播放声音文件录制和播放声音文件对声音文件进行编辑和合成对声音文件进行编辑和合成倒播、增加回音、淡入淡出、循环放音、
17、交换声道等倒播、增加回音、淡入淡出、循环放音、交换声道等对数字声音文件进行压缩和解压缩对数字声音文件进行压缩和解压缩MIDI音乐录制和合成音乐录制和合成利用计算机完成对外部电子乐器的操作和控制利用计算机完成对外部电子乐器的操作和控制文语转换和语音识别文语转换和语音识别让计算机朗读文本和让计算机听懂声音信息让计算机朗读文本和让计算机听懂声音信息多媒体通信技术:多媒体通信系统中的关键技术多媒体通信技术:多媒体通信系统中的关键技术信息科学与工程学院信息科学与工程学院宁波大学宁波大学宁波大学宁波大学 Ningbo UniversityNingbo University声卡的主要作用声卡的主要作用是对声
18、音信息进行录制和回是对声音信息进行录制和回放放可支持的采样频率可支持的采样频率8kHz,11.025kHz针对一般语音质量的要求针对一般语音质量的要求16kHz,22.05kHz,32kHz针对普通音乐效果针对普通音乐效果44.10kHz,48kHz针对高保真音乐效果针对高保真音乐效果多媒体通信技术:多媒体通信系统中的关键技术多媒体通信技术:多媒体通信系统中的关键技术信息科学与工程学院信息科学与工程学院宁波大学宁波大学宁波大学宁波大学 Ningbo UniversityNingbo University5.1.3 语音识别和语音合成技术语音识别和语音合成技术语音识别技术语音识别技术狭义语音识别
19、:排除不同人的发音差异,提取代表语音狭义语音识别:排除不同人的发音差异,提取代表语音的共性特征。的共性特征。说话人语音识别:寻求说话者的个性特征以辨别说话人说话人语音识别:寻求说话者的个性特征以辨别说话人的身份。的身份。最早的语音识别系统出现在最早的语音识别系统出现在1955年(年(Bell)。随着)。随着识别技术的发展,一些研究机构相继推出语音识别识别技术的发展,一些研究机构相继推出语音识别系统:系统:IBM的的Via Vioce系统;剑桥大学的系统;剑桥大学的HTK系统;系统;微软的微软的Whisper系统等。系统等。多媒体通信技术:多媒体通信系统中的关键技术多媒体通信技术:多媒体通信系统
20、中的关键技术信息科学与工程学院信息科学与工程学院宁波大学宁波大学宁波大学宁波大学 Ningbo UniversityNingbo University语音识别技术语音识别技术预处理预处理特征提取特征提取模式匹配模式匹配训练训练模式库模式库语音输入语音输入识别结果识别结果语音信息的采样、反混叠带语音信息的采样、反混叠带通滤波、去除个体发音差异通滤波、去除个体发音差异和去除设备环境引起的噪声和去除设备环境引起的噪声完成语音中反映本完成语音中反映本质特征的声学参数质特征的声学参数从原始语音样本从原始语音样本中去除冗余信息中去除冗余信息聚聚类类按照一定的规则按照一定的规则和专家知识计算和专家知识计算输
21、入特征与库存输入特征与库存模式之间的相似模式之间的相似程度,进而判断程度,进而判断输入的语意信息输入的语意信息多媒体通信技术:多媒体通信系统中的关键技术多媒体通信技术:多媒体通信系统中的关键技术信息科学与工程学院信息科学与工程学院宁波大学宁波大学宁波大学宁波大学 Ningbo UniversityNingbo University语音识别系统的分类语音识别系统的分类按可识别词汇量的多少:按可识别词汇量的多少:100以下,以下,100-1000,1000以上以上按语音的输入方式:孤立词、连接词、连续词按语音的输入方式:孤立词、连接词、连续词按发音者类型:特定人、限定人、非特定人按发音者类型:特定
22、人、限定人、非特定人按发音者的声纹:根据语音识别说话人身份按发音者的声纹:根据语音识别说话人身份多媒体通信技术:多媒体通信系统中的关键技术多媒体通信技术:多媒体通信系统中的关键技术信息科学与工程学院信息科学与工程学院宁波大学宁波大学宁波大学宁波大学 Ningbo UniversityNingbo University语音合成技术语音合成技术实现的方式实现的方式录音录音/重放模式重放模式利用数字信号处理技术,采用参数合成的方式来实现语利用数字信号处理技术,采用参数合成的方式来实现语音合成音合成语音合成的三个层次语音合成的三个层次从文本到语音从文本到语音从概念到语音从概念到语音从意向到语音从意向到
23、语音多媒体通信技术:多媒体通信系统中的关键技术多媒体通信技术:多媒体通信系统中的关键技术信息科学与工程学院信息科学与工程学院宁波大学宁波大学宁波大学宁波大学 Ningbo UniversityNingbo University有限词汇的计算机语音输出有限词汇的计算机语音输出语音报时、公共汽车报站、叫号系统语音报时、公共汽车报站、叫号系统基于语音合成技术的文语转化(基于语音合成技术的文语转化(TTS)除了完成文字到语音的映射外,还要完成对书面文除了完成文字到语音的映射外,还要完成对书面文字的理解以及对语音韵律的处理字的理解以及对语音韵律的处理多媒体通信技术:多媒体通信系统中的关键技术多媒体通信技
24、术:多媒体通信系统中的关键技术信息科学与工程学院信息科学与工程学院宁波大学宁波大学宁波大学宁波大学 Ningbo UniversityNingbo University文语转换技术文语转换技术有声电子文档、信息电话查询系统、基于计算机的有声电子文档、信息电话查询系统、基于计算机的办公教学娱乐多媒体软件、嵌入式操作系统。办公教学娱乐多媒体软件、嵌入式操作系统。包括文本分析、韵律生成、语音合成包括文本分析、韵律生成、语音合成文本分析:使计算机认识文字、如何发音、用什么发音文本分析:使计算机认识文字、如何发音、用什么发音韵律生成:生成发声文本的韵律特征(声调、停顿等)韵律生成:生成发声文本的韵律特征
25、(声调、停顿等)语音合成:语音合成:多媒体通信技术:多媒体通信系统中的关键技术多媒体通信技术:多媒体通信系统中的关键技术信息科学与工程学院信息科学与工程学院宁波大学宁波大学宁波大学宁波大学 Ningbo UniversityNingbo University1.扫描仪扫描仪图形、图像等信息的主要输入设备图形、图像等信息的主要输入设备分类分类手动式、平板式、胶片式、滚筒式手动式、平板式、胶片式、滚筒式SCSI接口、接口、EPP增强型并行接口、通用串行总线增强型并行接口、通用串行总线USB接口接口基本组件:基本组件:光源、光学透镜光源、光学透镜感光元件:感光元件:CCD模拟数字转换电路模拟数字转换
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多媒体 通信 系统 中的 关键技术
限制150内