多媒体信息检索技术.pptx
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_05.gif)
《多媒体信息检索技术.pptx》由会员分享,可在线阅读,更多相关《多媒体信息检索技术.pptx(48页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、多媒体信息检索技术与方法基于内容的图像检索技术基于内容的图像检索技术基于文本的信息检索方法基于文本的信息检索方法培训专用多媒体检索多媒体检索概念理解概念理解v多媒体检索是一种基于内容特征的检索(多媒体检索是一种基于内容特征的检索(CBR:content-basedretrieval)。所谓基于内容)。所谓基于内容的检索是对媒体对象的内容及上下文语义环境进的检索是对媒体对象的内容及上下文语义环境进行检索,如图像中的颜色、纹理、形状,视频中行检索,如图像中的颜色、纹理、形状,视频中的镜头、场景、镜头的运动,声音中的音调、响的镜头、场景、镜头的运动,声音中的音调、响度、音色等。基于内容的检索突破了传
2、统的基于度、音色等。基于内容的检索突破了传统的基于文本检索技术的局限,直接对图像、视频、音频文本检索技术的局限,直接对图像、视频、音频内容进行分析,抽取特征和语义,利用这些内容内容进行分析,抽取特征和语义,利用这些内容特征建立索引并进行检索。在这一检索过程中,特征建立索引并进行检索。在这一检索过程中,它主要以图像处理、模式识别、计算机视觉、图它主要以图像处理、模式识别、计算机视觉、图像理解等学科中的一些方法为部分基础技术,是像理解等学科中的一些方法为部分基础技术,是多种技术的合成。多种技术的合成。多媒体检索技术与方法培训专用多媒体检索的多媒体检索的特点特点v(1)相似性检索:相似性检索:CBR
3、采用一种近似匹配(或局部匹配)的方法和技术逐步求精来采用一种近似匹配(或局部匹配)的方法和技术逐步求精来获得查询和检索结果,摒弃了传统的精确匹配技术,避免了因采用传统检索方法所带获得查询和检索结果,摒弃了传统的精确匹配技术,避免了因采用传统检索方法所带来的不确定性。来的不确定性。v(2)直接从内容中提取信息线索:直接从内容中提取信息线索:CBR直接对文本、图像、视频、音频进行分直接对文本、图像、视频、音频进行分析,从中抽取内容特征,然后利用这些内容特征建立索引并进行检索。析,从中抽取内容特征,然后利用这些内容特征建立索引并进行检索。v(3)满足用户多层次的检索要求:满足用户多层次的检索要求:C
4、BR检索系统通常由媒体库、特征库和知识库组检索系统通常由媒体库、特征库和知识库组成。媒体库包含多媒体数据,如文本、图像、音频、视频等;特征库包含用户输入的成。媒体库包含多媒体数据,如文本、图像、音频、视频等;特征库包含用户输入的特征和预处理自动提取的内容特征;知识库包含领域知识和通用知识,其中的知识表特征和预处理自动提取的内容特征;知识库包含领域知识和通用知识,其中的知识表达可以更换,以适应各种不同领域的应用要求。达可以更换,以适应各种不同领域的应用要求。v(4)大型数据库大型数据库(集集)的快速检索:的快速检索:CBR往往拥有数量巨大、种类繁多的多媒体往往拥有数量巨大、种类繁多的多媒体数据库
5、,能够实现对多媒体信息的快速检索。数据库,能够实现对多媒体信息的快速检索。多媒体检索技术与方法培训专用基于内容的多媒体信息检索体系结构基于内容的多媒体信息检索体系结构媒体数据特征提取目标标识媒体库特征库知识库知识辅助用户查询接口检索引擎索引/过滤数据库特征提取子系统数据库查询子系统多媒体检索技术与方法培训专用多媒体信息检索过程多媒体信息检索过程用户需求媒体资源内容查询内容索引匹配多媒体检索技术与方法培训专用多媒体信息检索分类多媒体信息检索分类文本检索多媒体检索图像检索视频检索音频检索多媒体检索技术与方法培训专用基于内容的图像检索基于内容的图像检索-图像检索的过程就是图像特征的提取、图像检索的过
6、程就是图像特征的提取、分析及匹配。分析及匹配。v特征提取:提取各种特征,如颜色,纹理,形状特征提取:提取各种特征,如颜色,纹理,形状等。根据提取的特征不同,采取不同的处理,比等。根据提取的特征不同,采取不同的处理,比如提取形状特征,就需要先进行图像分割和边缘如提取形状特征,就需要先进行图像分割和边缘提取等步骤。选择合适的算法,并在效率和精确提取等步骤。选择合适的算法,并在效率和精确性方面加以改进,以适应检索的需要,实现特征性方面加以改进,以适应检索的需要,实现特征提取模块。提取模块。v特征分析:对图像的各种特征进行分析,选择提特征分析:对图像的各种特征进行分析,选择提取效率高、信息浓缩性好的特
7、征,或者将几种特取效率高、信息浓缩性好的特征,或者将几种特征进行组合,用到检索领域。征进行组合,用到检索领域。v特征匹配:选择何种模型来衡量图像特征间的相特征匹配:选择何种模型来衡量图像特征间的相似度。似度。多媒体检索技术与方法培训专用*基于内容的图像检索工作原理基于内容的图像检索工作原理图像特征库数字图像源用户相关反馈图像检索特征提取图像索引多媒体检索技术与方法培训专用基于内容的图像索引技术:基于内容的图像索引技术:图像特征提取技术颜色特征纹理特征形状特征图像索引主要技术颜色直方图、颜色矩颜色集、颜色聚合向量、颜色相关图Tamura纹理特征自回归纹理模型基于小波变换的纹理特征傅里叶性状描述符
8、形状无关矩其他形状特征空间关系特征基于图像分割的方法基于图像子块方法多媒体检索技术与方法培训专用图像颜色特征图像颜色特征v颜色特征是在图像检索中应用最为广泛的视觉特颜色特征是在图像检索中应用最为广泛的视觉特征,主要原因在于颜色往往和图像中包含的物体征,主要原因在于颜色往往和图像中包含的物体或场景十分相关。此外,与其他特征相比,颜色或场景十分相关。此外,与其他特征相比,颜色特征计算简单,同时对图像本身的尺寸、方向、特征计算简单,同时对图像本身的尺寸、方向、视角的依赖性较小,具有较好的紧致性。视角的依赖性较小,具有较好的紧致性。多媒体检索技术与方法培训专用v,定义如下:,定义如下:v其中其中ni为
9、图像中颜色取值为为图像中颜色取值为i的像素个数,的像素个数,N为像为像素总数,素总数,K为可能的颜色取值范围。为可能的颜色取值范围。这样计算得到的颜色直方图就是一个这样计算得到的颜色直方图就是一个K维的特征维的特征向量。颜色直方图所描述的是不同色彩在整幅图向量。颜色直方图所描述的是不同色彩在整幅图像中所占的比例,而并不关心每种色彩所处的空像中所占的比例,而并不关心每种色彩所处的空间位置,所以特别适合描述那些不需要考虑特定间位置,所以特别适合描述那些不需要考虑特定物体空间位置的图像内容。物体空间位置的图像内容。颜色特征颜色直方图多媒体检索技术与方法培训专用颜色特征颜色矩v这种方法的数学基础在于图
10、像中的任何颜色分布均可用他的矩这种方法的数学基础在于图像中的任何颜色分布均可用他的矩来表示。由于颜色分布信息主要集中在低阶矩中,所以只采用来表示。由于颜色分布信息主要集中在低阶矩中,所以只采用颜色的一阶矩、二阶矩和三阶矩就可以表达图像的颜色分布。颜色的一阶矩、二阶矩和三阶矩就可以表达图像的颜色分布。与颜色直方图比较,该方法的一个好处就是无需对于特征进行与颜色直方图比较,该方法的一个好处就是无需对于特征进行量化。设量化。设pij是图像中第是图像中第j个像素的第个像素的第i个颜色分量,则该颜色分量个颜色分量,则该颜色分量上矩的计算如下:上矩的计算如下:v图像的颜色矩一共有九个分量,每个颜色通道均有
11、三个低阶矩。颜色图像的颜色矩一共有九个分量,每个颜色通道均有三个低阶矩。颜色矩仅仅使用少数几个矩,从而导致过多的虚警,因此颜色矩常和其他矩仅仅使用少数几个矩,从而导致过多的虚警,因此颜色矩常和其他特征结合使用。特征结合使用。多媒体检索技术与方法培训专用颜色特征颜色集为了提高检索的速度,为了提高检索的速度,Smith和和Chang提出了用提出了用颜色集的方法,首先将颜色集的方法,首先将RGB颜色空间转换成视觉颜色空间转换成视觉均衡的颜色空间(均衡的颜色空间(HSV),并将颜色空间量化成),并将颜色空间量化成若干个若干个bin,然后运用颜色自动分割技术将图像,然后运用颜色自动分割技术将图像分为若干
12、个区域,每个区域用量化颜色空间的某分为若干个区域,每个区域用量化颜色空间的某个颜色分量来索引,从而将图像表达成一个二进个颜色分量来索引,从而将图像表达成一个二进制的颜色索引表。在图像匹配中,比较不同图像制的颜色索引表。在图像匹配中,比较不同图像颜色集之间的距离和颜色区域的空间关系。因为,颜色集之间的距离和颜色区域的空间关系。因为,颜色集表达为二进制的特征向量,可以构造二分颜色集表达为二进制的特征向量,可以构造二分查照树来加快检索速度,对大规模的图象集合十查照树来加快检索速度,对大规模的图象集合十分有力。分有力。多媒体检索技术与方法培训专用颜色特征颜色聚合向量v针对颜色直方图和颜色矩无法表达图像
13、色彩的空针对颜色直方图和颜色矩无法表达图像色彩的空间位置的缺点,间位置的缺点,Pass提出了图像的颜色聚合向量提出了图像的颜色聚合向量(colorcoherencevector)。它是颜色直)。它是颜色直方图的一种演变,其核心思想是将属于直方图每方图的一种演变,其核心思想是将属于直方图每一个一个bin的像素进行分为两部分:如果该的像素进行分为两部分:如果该bin内的内的某些像素所占据的连续区域的面积大于给定的阈某些像素所占据的连续区域的面积大于给定的阈值,则该区域内的像素作为聚合像素,否则作为值,则该区域内的像素作为聚合像素,否则作为非聚合像素。由于包含了颜色分布的空间信息,非聚合像素。由于包
14、含了颜色分布的空间信息,颜色聚合向量相比颜色直方图可以达到更好的检颜色聚合向量相比颜色直方图可以达到更好的检索效果。索效果。多媒体检索技术与方法培训专用颜色特征颜色相关图v颜色相关图(颜色相关图(colorcorrelogram)是图像颜色分布的另一)是图像颜色分布的另一种表达方式。这种特征不但刻画了某一种颜色的像素数量占整种表达方式。这种特征不但刻画了某一种颜色的像素数量占整个图像的比例,还反映了不同颜色对之间的空间相关性。实验个图像的比例,还反映了不同颜色对之间的空间相关性。实验表明,颜色相关图比颜色直方图和颜色聚合向量具有更高的检表明,颜色相关图比颜色直方图和颜色聚合向量具有更高的检索效
15、率,特别是查询空间关系一致的图像。索效率,特别是查询空间关系一致的图像。v如果考虑到任何颜色之间的相关性,颜色相关图会变得非常复如果考虑到任何颜色之间的相关性,颜色相关图会变得非常复杂和庞大杂和庞大(空间复杂度为空间复杂度为O(N2d)。一种简化的变种是颜色。一种简化的变种是颜色自动相关图(自动相关图(colorauto-correlogram),它仅仅考察具),它仅仅考察具有相同颜色的像素间的空间关系,因此空间复杂度降到有相同颜色的像素间的空间关系,因此空间复杂度降到O(Nd)。多媒体检索技术与方法培训专用纹理特征纹理特征v纹理特征也是一种全局特征,它也描述了图像或图像区域所对应纹理特征也是
16、一种全局特征,它也描述了图像或图像区域所对应景物的表面性质。但由于纹理只是一种物体表面的特性,并不能景物的表面性质。但由于纹理只是一种物体表面的特性,并不能完全反映出物体的本质属性,所以仅仅利用纹理特征是无法获得完全反映出物体的本质属性,所以仅仅利用纹理特征是无法获得高层次图像内容的。与颜色特征不同,纹理特征不是基于像素点高层次图像内容的。与颜色特征不同,纹理特征不是基于像素点的特征,它需要在包含多个像素点的区域中进行统计计算。在模的特征,它需要在包含多个像素点的区域中进行统计计算。在模式匹配中,这种区域性的特征具有较大的优越性,不会由于局部式匹配中,这种区域性的特征具有较大的优越性,不会由于
17、局部的偏差而无法匹配成功。作为一种统计特征,纹理特征常具有旋的偏差而无法匹配成功。作为一种统计特征,纹理特征常具有旋转不变性,并且对于噪声有较强的抵抗能力。但是,纹理特征也转不变性,并且对于噪声有较强的抵抗能力。但是,纹理特征也有其缺点,一个很明显的缺点是当图像的分辨率变化的时候,所有其缺点,一个很明显的缺点是当图像的分辨率变化的时候,所计算出来的纹理可能会有较大偏差。另外,由于有可能受到光照、计算出来的纹理可能会有较大偏差。另外,由于有可能受到光照、反射情况的影响,从反射情况的影响,从2-D图像中反映出来的纹理不一定是图像中反映出来的纹理不一定是3-D物物体表面真实的纹理。体表面真实的纹理。
18、多媒体检索技术与方法培训专用纹理特征纹理特征Tamura纹理特征纹理特征v基于对纹理的视觉感知心理学研究,基于对纹理的视觉感知心理学研究,Tamura等等人提出了纹理特征的表达方法。人提出了纹理特征的表达方法。Tamura纹理特纹理特征的征的6个分量对应于心理学角度的纹理特征的个分量对应于心理学角度的纹理特征的6种种属性,分别是粗糙度(属性,分别是粗糙度(coarseness)、对比度)、对比度(contrast)、方向度()、方向度(directionality)、)、线像度(线像度(linelikeness)、规整度)、规整度(regularity)、粗略度()、粗略度(roughness
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多媒体信息 检索 技术
![提示](https://www.taowenge.com/images/bang_tan.gif)
限制150内