多媒体信息检索.ppt

多媒体信息检索102131387庄子匀概念l多媒体检索是一种基于内容特征的检索（CBR：content-basedretrieval）。l基于内容的检索是对媒体对象的内容及上下文语义环境进行检索，如图像中的颜色、纹理、形状，视频中的镜头、场景、镜头的运动，声音中的音调、响度、音色等。l基于内容的检索突破了传统的基于文本检索技术的局限，直接对图像、视频、音频内容进行分析，抽取特征和语义，利用这些内容特征建立索引并进行检索。在这一检索过程中，它主要以图像处理、模式识别、计算机视觉、图像理解等学科中的一些方法为部分基础技术，是多种技术的合成。体系结构媒体数据特征提取目标标识媒体库特征库知识库知识辅助用户查询接口检索引擎索引/过滤数据库特征提取子系统数据库查询子系统检索过程用户需求媒体资源内容查询内容索引匹配分类文本检索多媒体检索图像检索视频检索音频检索基于文本的检索l人工建立元数据标引，本质类似于纯文本信息本质类似于纯文本信息检索检索l l普及程度：普及程度：是现行网络检索系统中的主流方式。l l检索方式：检索方式：信息分类、扩展名、关键词l l优势：实现原理相对简单，技术成熟优势：实现原理相对简单，技术成熟l l劣势：具有主观性，仁者见仁、智者见智；多劣势：具有主观性，仁者见仁、智者见智；多媒体信息的多媒体信息的多 维性，人工描述难以穷尽维性，人工描述难以穷尽l lGoogleGoogle图片搜索、音乐搜索与视频搜索，图片搜索、音乐搜索与视频搜索，YahooYahoo音乐搜索与图片搜索，音乐搜索与图片搜索，YahooVideoYahooVideoSearchSearch，百度百度mp3mp3、图片与视频搜索、图片与视频搜索普通搜索引擎普通搜索引擎l搜索图片、图像搜索图片、图像l格式：格式：image:文件名文件名l功能：检索含有指定文件名图像的所有网功能：检索含有指定文件名图像的所有网页。页。l搜索多媒体信息搜索多媒体信息l格式：格式：media:textl功能：检索文件的名字中含有指定文字的功能：检索文件的名字中含有指定文字的多媒体信息多媒体信息基于内容的信息检索lContent-BasedRetrievall一种新的检索技术，是对多媒体对象的内容及上下文语义环境进行检索l l原理：提取原理：提取特征并进行量化，表示成向量空间，建立索引库，将用户提问转化成向量，并与已有信息的向量空间进行相似度匹配计算。l l常用多媒体文件特征：常用多媒体文件特征：图像：图像：颜色、纹理及时空关系等 视频：视频：对象运动特征、颜色和光线变化等 音频：音频：时域、频域、时频、短时帧和音频特征等特征等l l普及程度：普及程度：局限在较小的数据集合上，大多只是实验室研究成果基于内容的图像检索l分析图像的内容l提取其颜色、形状、纹理，以及对象空间关系等信息l建立图像的特征索引QBIClQueryByImageContentlhttp:/