多媒体内容检索与管理.ppt

《多媒体内容检索与管理.ppt》由会员分享，可在线阅读，更多相关《多媒体内容检索与管理.ppt（117页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、多媒体内容检索与管理李颖吴昊赵艳2多媒体内容检索与管理多媒体内容检索与管理1多媒体数据库多媒体数据库2多媒体内容管理3多媒体内容检索6基于内容视频检索5基于内容音频检索4基于内容图像检索 31.11.1多媒体概念多媒体概念即媒介，承载、传输和表现信息的手段指集数据、文字、图形、图像、声音和视频等为一体的综合媒体信息指利用计算机将文本、图形、图像、声音、动画、视频等多种媒体信息进行处理和综合集成，以供人机交互使用的一个计算机应用分支Page 41.21.2多媒体数据库系统多媒体数据库系统数据量数据量数据量数据量大大大大 结构构复复杂数据数据传输的的连续性性时序性序性-同步同步机制机制Page 5

2、1.21.2多媒体数据库系统多媒体数据库系统存存储和和处理复理复杂对象象面向面向应用用强调媒体独立性媒体独立性处理的理的应用用对象不同，象不同，处理的方式也不同理的方式也不同具有更具有更强的的对象象访问手段手段强调终端用端用户界面的灵活界面的灵活性和多性和多样性性存存储和和处理格式化数据理格式化数据单一的数据模型一的数据模型简单的的查询方式方式提供准确的提供准确的查询1.21.2多媒体数据库系统多媒体数据库系统MDBS的的层次次结构构多媒体数据多媒体数据库系系统的的核心任核心任务是是实时地地综合合处理理图、文、声信、文、声信息息集中型集中型A指由指由单独一个独一个MDBMS来建立和管来建立和管

3、理不同媒体的数据理不同媒体的数据库，并由并由这个个MDBMS来来管理管理对象空象空间及目的及目的数据的集成数据的集成。协作型作型C协作型作型MDBS是由多是由多个数据个数据库管理系管理系统组成的，成的，这些数据些数据库管管理系理系统之之间没有主从没有主从之分，但能相互通信，之分，但能相互通信，协调工作。工作。主从型主从型B每一个数据每一个数据库都有自都有自己的管理系己的管理系统，称，称为从从MDBMS，各自管，各自管理自己的数据理自己的数据库。这些从些从MDBMS又受一又受一个被称个被称为主主MDBMS的的统一控制和管理。一控制和管理。1.21.2多媒体数据库系统多媒体数据库系统集中型集中型组

4、织结构构Page 71.21.2多媒体数据库系统多媒体数据库系统主从型主从型组织结构构Page 81.21.2多媒体数据库系统多媒体数据库系统协作型作型组织结构构Page 91.31.3多媒体数据库（多媒体数据库（MDBMDB）传统数据数据库系系统的主要的主要处理理对象是整数、象是整数、实数、字符数、字符串等串等简单类型数据，但型数据，但这种格式数据很种格式数据很难实现对人人脸、指、指纹、人的声音等事物的有效描述。、人的声音等事物的有效描述。传统数据数据库的的层次次结构构如下：如下：Page 101.31.3多媒体数据库（多媒体数据库（MDBMDB）传统数据数据库的的层次次结构可以在用构可以在

5、用户给出出查询条件后迅条件后迅速地速地检索到正确的信息，但面索到正确的信息，但面对图像、声音、像、声音、视频等无格等无格式数据，如何式数据，如何设定定检索条件，如何索条件，如何查询所需所需结果等，都是果等，都是无法直接无法直接实现的。的。因此就必因此就必须寻找恰当的找恰当的结构分构分层形式，已有多种形式，已有多种层次划次划分，包括分，包括对传统数据数据库的的扩展、展、对面向面向对象数据象数据库的的扩展、展、超媒体超媒体层次次扩展等。展等。虽然各有所不同，但大都是从最低然各有所不同，但大都是从最低层增加增加对多媒体数据的控制与支持，在最高多媒体数据的控制与支持，在最高层支持多媒体的支持多媒体的综

6、合表合表现和用和用户的的查询描述，在中描述，在中间增加增加对多媒体数据的多媒体数据的关关联和超和超链的的处理。理。Page 111.31.3多媒体数据库（多媒体数据库（MDBMDB）综合各多媒体数据的合各多媒体数据的层次次结构如下构如下：最高层支持多媒体的综合表现和用户的查询描述，完成用户对多媒体信息的查询描述和得到多媒体信息的查询结果中间层增加对多媒体数据的关联和超链的处理，对现实世界用多媒体数据信息进行的描述，也是多媒体数据库中在全局概念下的一个整体视图，该层为上层的用户接口、下层的多媒体数据存储和存取建立起一个在逻辑上统一的通道通过存取与存储数据模型描述媒体数据的逻辑位置安排、相互的内容

7、关联、特征与数据的关系等，并完成多媒体数据的逻辑存储与存取。底层增加对多媒体数据的控制与支持。建立在多媒体操作系统之上,对不同性质媒体分别进行相应的分割、识别、变换等操作，并确定物理存储的位置和方法，以实现对各种媒体的最基本数据的管理和操纵Page 121.41.4多媒体数据库管理系统（多媒体数据库管理系统（MDBMSMDBMS）在多媒体系在多媒体系统中存在着声音、文字、中存在着声音、文字、图形、形、视频等媒等媒体信息，与体信息，与传统的的计算机算机应用系用系统中只存在字符、数中只存在字符、数值相相比比扩充很大，充很大，这就需要一种新的管理系就需要一种新的管理系统对多媒体数据多媒体数据库进行管

8、理。行管理。这种种MDBMS能像能像传统的数据的数据库那那样对多媒体多媒体数据数据进行有效地行有效地组织、管理和存取，并可以、管理和存取，并可以实现以下功能：以下功能：多媒体数据多媒体数据库对象的定象的定义、多媒体数据存取、多媒体数据、多媒体数据存取、多媒体数据库运行控制、多媒体数据运行控制、多媒体数据库建立与建立与维护、多媒体数据、多媒体数据库在在网网络上的通信功能等。上的通信功能等。Page 13Page 141.41.4多媒体数据库管理系统（多媒体数据库管理系统（MDBMSMDBMS）MDBMS的基本功能A、表示和、表示和处理各种媒体理各种媒体数据，如文本、数据，如文本、图像、像、音音频

9、、视频等。等。B、反映和管理各种媒体、反映和管理各种媒体数据的特性，或各种媒数据的特性，或各种媒体数据之体数据之间的空的空间或或时间的关的关联。A、提供、提供对无格式数据无格式数据的的查询搜索功能搜索功能B、对不同媒体提供不不同媒体提供不同的操作方法，如同的操作方法，如图形、形、图像的像的编辑处理，理，声音数据的剪声音数据的剪辑等。等。A、解决分布在网、解决分布在网络上的多上的多媒体媒体库中数据的定中数据的定义、存、存储、操作操作问题。B、对数据的一致性、安全数据的一致性、安全性、并性、并发性性进行管理。行管理。1.41.4多媒体数据库管理系统（多媒体数据库管理系统（MDBMSMDBMS）多媒

10、体数据多媒体数据库管理系管理系统MDBMS(Multimedia Database Management System)一般由用一般由用户界面、存界面、存储子系子系统、特征数据、特征数据库、索引子系、索引子系统、检索子系索子系统和数据分和数据分析子系析子系统等部分等部分组成。其中用成。其中用户界面采用界面采用B/S方式方式实现，该用用户界面需要支持用界面需要支持用户以以图形方式形方式进行基于内容的行基于内容的查询，同同时也需要支持也需要支持传统文本方式的文本方式的查询。其体系。其体系结构如下构如下图：Page 151.41.4多媒体数据库管理系统（多媒体数据库管理系统（MDBMSMDBMS）P

11、age 1617多媒体内容检索与管理多媒体内容检索与管理1多媒体数据库2多媒体内容管理多媒体内容管理3多媒体内容检索6基于内容视频检索5基于内容音频检索4基于内容图像检索Page 182.12.1多媒体内容处理多媒体内容处理概念概念级内容内容感知特性感知特性逻辑关系关系特指特征特指特征多媒体数据的内容概念多媒体数据的内容概念的的层次次视觉特性，如特性，如颜色、色、视觉对象、象、纹理、理、草草图、形状、体、形状、体积、空、空间关系、关系、轮廓、廓、等，听等，听觉特性如音特性如音调、音色、音、音色、音质等。等。音音视频对象的象的时间和空和空间关系，关系，语义和上下文关和上下文关联等。等。与与应用相

12、关的媒体特征，如人的体用相关的媒体特征，如人的体形特征、面部特征、指形特征、面部特征、指纹特征等。特征等。对象的象的语义表达，例如利用文本的描表达，例如利用文本的描述，通述，通过分分类和目和目录来来组织层次次浏览，用用链来来组织上下文关上下文关联。2.12.1多媒体内容处理多媒体内容处理多媒体内容的多媒体内容的处理如下理如下图所示可分所示可分为三大部分：三大部分：a、内容内容获取、取、b、内内容描述和容描述和c、内容操内容操纵。首先要。首先要对原始媒体原始媒体进行行处理并提取内容，然后用理并提取内容，然后用标准形式描述所提取的内容，以支持各种内容的准形式描述所提取的内容，以支持各种内容的查询、

13、检索、索引等内容索、索引等内容的操的操纵。Page 192.12.1多媒体内容处理多媒体内容处理内容内容获取取是通是通过对各种内容的分析和各种内容的分析和处理而理而获得媒得媒体内容的体内容的过程。多媒体数据的重要成分是空程。多媒体数据的重要成分是空间和和时间结构，首先必构，首先必须分割出分割出图像像对象、象、视频的的时间结构、运构、运动对象，以及象，以及这些些对象之象之间的关系，然后提取的关系，然后提取显著的区著的区别特征和人的特征和人的视觉、听、听觉感知特征来表示媒体和媒体感知特征来表示媒体和媒体对象象的性的性质。Page 202.12.1多媒体内容处理多媒体内容处理内容描述内容描述就是就是

14、针对获取的内容取的内容进行描述。行描述。为了支持数了支持数据管理的灵活性、数据据管理的灵活性、数据资源的全球化和互操作性，描述必源的全球化和互操作性，描述必须基于一定的基于一定的标准。准。MPEG-7标准被称准被称为“多媒体内容描述多媒体内容描述接口接口”，主要采用描述子，主要采用描述子(Descriptor)和描述模式来分和描述模式来分别描述媒体的特性及其关系。描述子是特征的表示法，一个描述媒体的特性及其关系。描述子是特征的表示法，一个描述子就是定描述子就是定义特征的特征的语法和法和语义学。学。MPEG-7标准定准定义了了一系列的描述一系列的描述结构、一种构、一种详细说明描述明描述结构的构的

15、语言、描述言、描述定定义语言言(DDL)和多种和多种编码描述方法。描述方法。Page 212.12.1多媒体内容处理多媒体内容处理内容操内容操纵主要主要针对内容的用内容的用户操作和操作和应用。有用。有许多多这方面的名方面的名词和和术语。查询(Query)是面向用是面向用户的的术语，多用于数据多用于数据库操作、操作、检索索(Retrieval)是在索引支持下的是在索引支持下的快速信息快速信息获取方式、搜索取方式、搜索(Search)常用于常用于Internet的搜索的搜索引擎、摘要引擎、摘要(Summarization，Excerpt)是适合于是适合于视频和音和音频等等时基媒体的特殊操作、基媒体

16、的特殊操作、浏览(Browsing)可以可以线性或非性或非线性地存取性地存取结构化的内容、构化的内容、过滤(Filtering)是与是与检索相反的一种信息存取方式。索相反的一种信息存取方式。Page 222.22.2基于内容的多媒体信息检索基于内容的多媒体信息检索基于内容基于内容检索索(Content based)，就是从媒体数据中提，就是从媒体数据中提取出特定的信息取出特定的信息线索，根据索，根据这些些线索从大量存索从大量存储在数据在数据库中的媒体中中的媒体中进行行查找，找，检索出具有相似特征的媒体数据出索出具有相似特征的媒体数据出来。来。多媒体数据的多媒体数据的“内容内容”表示多媒体信息的

17、含表示多媒体信息的含义、要旨、要旨、主主题和和显著的性著的性质、实质性的性的东西、物理西、物理细节等，而多媒等，而多媒体内容体内容处理技理技术要基于要基于对内容的基本定内容的基本定义。Page 23Page 242.22.2基于内容的多媒体信息检索基于内容的多媒体信息检索多媒体信息多媒体信息检索的特点索的特点相似性相似性检索：索：CBR采用一种采用一种近似匹配近似匹配的的方法和技方法和技术，逐步求精来，逐步求精来获得得查询和和检索索结果，每一果，每一层的中的中间结果是一个集合，果是一个集合，不断减少集合的范不断减少集合的范围，直到定位到，直到定位到查找找的目的目标直接从内容中提取信息直接从内容

18、中提取信息线索：索：CBR直接直接对文本、文本、图像、像、视频、音、音频进行分析，从中行分析，从中抽取内容特征抽取内容特征，然后利用，然后利用这些内容特征建些内容特征建立索引并立索引并进行行检索索。满足用足用户多多层次的次的检索要求：索要求：CBR检索索系系统通常由通常由媒体媒体库、特征特征库和和知知识库组成。成。大型数据大型数据库(集集)的的快速快速检索索：CBR往往往往拥有数量巨大、种有数量巨大、种类繁多的多媒体数据繁多的多媒体数据库，能能够实现对多媒体信息的快速多媒体信息的快速检索。索。2.32.3内容检索的关键技术内容检索的关键技术基于内容的多媒体数据基于内容的多媒体数据库管理系管理系

19、统除了解决媒体信息的存除了解决媒体信息的存储,还要要求能求能够从媒体数据中分析、从媒体数据中分析、抽取可供抽取可供检索的内容特征索的内容特征,用于信息的用于信息的检索。其关索。其关键技技术主要有特征抽取、特征分析和特征匹配。主要有特征抽取、特征分析和特征匹配。特征提取：提取各种特征，如特征提取：提取各种特征，如颜色，色，纹理，形状等。根据提取的特理，形状等。根据提取的特征不同，采取不同的征不同，采取不同的处理，例如提取形状特征，就需要先理，例如提取形状特征，就需要先进行行图像像分割和分割和边缘提取等步提取等步骤。选择合适的算法，并在效率和精确性方面合适的算法，并在效率和精确性方面加以改加以改进

20、，以适，以适应检索的需要，并索的需要，并实现特征的提取。特征的提取。特征分析：特征分析：对图像的各种特征像的各种特征进行分析，行分析，选择提取效率高、信息提取效率高、信息浓缩性好的特征，或者将几种特征性好的特征，或者将几种特征进行行组合，用到合，用到检索索领域。域。特征匹配：特征匹配：选择何种模型来衡量何种模型来衡量图像特征像特征间的相似度。的相似度。Page 252.32.3内容检索的关键技术内容检索的关键技术基于内容多媒体数据基于内容多媒体数据库管理系管理系统的的功能框架如下的的功能框架如下图所示。所示。Page 262.42.4基于内容的多媒体信息检索体系结构基于内容的多媒体信息检索体系

21、结构基于内容基于内容检索系索系统结构由特征分析子系构由特征分析子系统、特征提取子系、特征提取子系统、数、数据据库、查询接口、接口、检索引擎和索引索引擎和索引过滤等子系等子系统组成，同成，同时需要相需要相应的知的知识辅助支持特定助支持特定领域的内容域的内容处理。理。Page 272.42.4基于内容的多媒体信息检索体系结构基于内容的多媒体信息检索体系结构特征分析：特征分析：该子系子系统负责将需要入将需要入库的媒体的媒体进行分割或行分割或节段化，段化，标识出需要的出需要的对象或内容关象或内容关键点，以便有点，以便有针对性的性的对目目标进行特征提行特征提取。特征取。特征标识可通可通过用用户输入或系入

22、或系统定定义。特征提取特征提取对用用户提供或系提供或系统标明的媒体明的媒体对象象进行特征提取行特征提取处理。提理。提取特征取特征时需要知需要知识处理模理模块的的辅助，与助，与标准化的知准化的知识定定义直接有关。直接有关。数据数据库包含多媒体数据包含多媒体数据库和特征数据和特征数据库，分，分别存放多媒体数据同存放多媒体数据同对应的特征数据，它的特征数据，它们彼此之彼此之间存在着一定的存在着一定的对应关系。特征关系。特征库中包中包含了由用含了由用户输入的和入的和预处理自理自动提取的特征数据，通提取的特征数据，通过检索引擎索引擎组织与媒体与媒体类型相匹配的索引来达到快速搜索的目的。型相匹配的索引来达

23、到快速搜索的目的。Page 282.42.4基于内容的多媒体信息检索体系结构基于内容的多媒体信息检索体系结构查询接口，即人机交互界面，友好的人机交互界面是接口，即人机交互界面，友好的人机交互界面是检索系索系统不可不可缺少的。在基于内容的缺少的。在基于内容的检索中，由于特征不直索中，由于特征不直观，因此必，因此必须为用用户提供一个可提供一个可视化的化的输入手段，入手段，还应在用在用户界面提供界面提供查询结果的果的创览功能，即功能，即为用用户提供初步提供初步查询结果的返回，系果的返回，系统会根据用会根据用户选择的的排序排序标准准(如如颜色、旋律、色、旋律、节拍等拍等)，按照相似度的大小将，按照相似

24、度的大小将结果排列果排列后，返回后，返回给用用户。检索引擎，索引擎，检索要将特征提取索要将特征提取值和特征和特征库中的中的值进行比行比较，得到一，得到一个相似度。不同的媒体各自具有不同的相似度算法，个相似度。不同的媒体各自具有不同的相似度算法，这些算法也称些算法也称为相似性相似性测度函数。度函数。检索引擎使用相似性索引擎使用相似性测度函数集去度函数集去进行比行比较，从而确定与特征从而确定与特征库的的值最接近的多媒体数据。最接近的多媒体数据。索引索引过滤在大在大规模多媒体数据模多媒体数据检索索过程中，程中，为了提高了提高检索效率，常索效率，常在在检索引擎索引擎进行匹配之前采用索引行匹配之前采用索

25、引过滤方法，取出高方法，取出高维特征用于匹特征用于匹配。配。Page 292.42.4基于内容的多媒体信息检索体系结构基于内容的多媒体信息检索体系结构如果用如果用户对系系统返回的返回的查询结果不果不满意怎么意怎么办？相关返相关返馈技技术Page 302.52.5基于内容的多媒体信息检索中的相关反馈技术基于内容的多媒体信息检索中的相关反馈技术在基于内容的在基于内容的检索索过程中相关反程中相关反馈是一个相当重要的是一个相当重要的过程。因程。因为仅仅基于基于图像低像低层特征很特征很难给出令人出令人满意的意的结果，主要原因是果，主要原因是图像低像低层特征和高特征和高层语义间存在着很大的差距。相关反存在

26、着很大的差距。相关反馈技技术就是就是为了解决了解决这个个问题而提出的，一方面需要找出更有效的多媒体表示方法，另一而提出的，一方面需要找出更有效的多媒体表示方法，另一方面通方面通过人机交互来捕捉和建立低人机交互来捕捉和建立低层特征和高特征和高层语义之之间的关的关联。相关反相关反馈技技术的基本思想是建立一个由的基本思想是建立一个由用用户参与参与的交互的交互过程，在交程，在交互互过程逐步求得精确的程逐步求得精确的查询结果。在果。在检索索过程中，系程中，系统根据用根据用户的的查询要求返回要求返回检索索结果，用果，用户可以可以对检索索结果果进行行评价和价和标记，并将，并将这些信息反些信息反馈给系系统，系

27、，系统则根据根据这些反些反馈信息信息进行行学学习，并返回新的，并返回新的查询结果，从而使得果，从而使得检索索结果更加果更加满足用足用户的要求。的要求。Page 312.52.5基于内容的多媒体信息检索中的相关反馈技术基于内容的多媒体信息检索中的相关反馈技术相关反相关反馈结构构图如下：如下：Page 32参考文献参考文献n1郑继文，吴吉义.多媒体数据库管理系统的关键技术分析J.微型机与应用,2007(6):94-96.n2徐险峰.基于内容的多媒体信息检索技术J.现代情报,2005,25(3):134-136.n3李松涛，钟建宁.基于内容的多媒体数据库管理系统研究J.计算机技术与发展,2008,1

28、8(12):214-216.n4柳群英.基于内容的音频信息检索技术J.现代情报,2005(6):91-93.n5黄丽娟.基于内容的多媒体信息检索 J.现代图书情报技术,2000(5):40-43.n6 武献宇,谢金龙,米志强.基于内容信息检索技术研究J.电脑知识与技术,2009,5(8):1923-1924.n7李广建，黄永文.基于内容的信息检索J.中国图书馆学会2000年会论文,2000:111-118.n8黄敬泉，韩冰.基于内容的检索新进展J.现代计算机,2010:38-40.n9黄志军，曾斌.多媒体数据库技术M.北京:国防工业出版社,2005:91-115.n10高阳.数据库技术与应用M

29、.北京:电子工业出版社,2003:316-318.34多媒体内容检索与管理多媒体内容检索与管理1多媒体数据库2多媒体内容管理3多媒体内容检索多媒体内容检索6基于内容视频检索5基于内容音频检索4基于内容图像检索Page 353.13.1基于内容检索的实现技术基于内容检索的实现技术1 1、模式识别、模式识别将用户提供的目标媒体数据对象与数据库中的源媒体数据对象进行模糊匹配，然后读取数据进行表示。这种检索方式精确度较低，查询执行时间较长。2 2、特征提取、特征提取将基于媒体内容的检索转换为基于媒体内容特征的检索。特征检索就是从媒体数据中提取特定的信息线索特征，然后再根据这些数据特征在数据集合中检索出

30、具有相似特征的媒体数据来。Page 363.13.1基于内容检索的实现技术基于内容检索的实现技术多媒体特征的多维性l空间特征，有对象的纹理和形状特征以及对象的空间关系等；空间特征，有对象的纹理和形状特征以及对象的空间关系等；l时间特征，有对象随时间变化的轨迹，如音乐片段的持续时间。时间特征，有对象随时间变化的轨迹，如音乐片段的持续时间。特征表示是多层的：（1 1）客观特征客观特征：反映多媒体数据本身具备的特性，如对象的颜色、：反映多媒体数据本身具备的特性，如对象的颜色、形状、纹理、音频频率等。形状、纹理、音频频率等。（2 2）主观特征主观特征：指人们对多媒体数据的主观感知，如对情绪（快：指人们

31、对多媒体数据的主观感知，如对情绪（快乐、愤怒）和风格的描述。乐、愤怒）和风格的描述。（3 3）作品特征作品特征：如作者、厂家、导演等信息。：如作者、厂家、导演等信息。（4 4）合成特征合成特征：包括场景合成、编辑信息、用户的喜好等。：包括场景合成、编辑信息、用户的喜好等。（5 5）概念（高层特征）概念（高层特征）：用于描述事件和活动等概念。：用于描述事件和活动等概念。Page 373.13.1基于内容检索的实现技术基于内容检索的实现技术基本检索步骤：基本检索步骤：1.对入库的多媒体数据进行特征提取2.以提取的媒体特征建立索引3.输入用户描述4.将用户描述与库中媒体进行相似性匹配5.在相似性匹配

32、的结果中选择最终结果常用的图像特征有颜色、纹理、形状等，音频特征有音量、频率分布、无声率等，视频特征有关键帧、运动对象等Page 383.23.2多媒体内容检索过程多媒体内容检索过程整个过程可以分为下面几个步骤：整个过程可以分为下面几个步骤：（1 1）初始查询说明初始查询说明。用户查找一个对象时，。用户查找一个对象时，最初可以用示例查询（最初可以用示例查询（QBEQBE）或查询语言来）或查询语言来形成一个查询。系统提取该示例的特征或把形成一个查询。系统提取该示例的特征或把查询描述映射为具体的特征向量。查询描述映射为具体的特征向量。（2 2）相似性匹配相似性匹配。将查询特征与特征库中。将查询特征

33、与特征库中的特征按照一定的匹配算法进行相似匹配。的特征按照一定的匹配算法进行相似匹配。（3 3）满足一定相似性条件的一组候选结果，）满足一定相似性条件的一组候选结果，按相似度大小排列后返回给用户。按相似度大小排列后返回给用户。（4 4）特征调整特征调整。用户可以挑选系统返回的。用户可以挑选系统返回的查询结果，直至得到满意的结果；或者从候查询结果，直至得到满意的结果；或者从候选结果中选择一个示例。根据用户给出的结选结果中选择一个示例。根据用户给出的结果相关度反馈，对查询进行特征调整，形成果相关度反馈，对查询进行特征调整，形成一个新的查询。一个新的查询。（5 5）逐步缩小查询范围，重复步骤）逐步缩

34、小查询范围，重复步骤(2)(2)(5)(5)，直到用户对查询结果满意为止。，直到用户对查询结果满意为止。Page 393.33.3基于内容检索系统概念基于内容检索系统概念基于内容检索（CBR，Content-Based Retrieval）每一种媒体数据都有难以用符号化方法来描述的每一种媒体数据都有难以用符号化方法来描述的信息线索信息线索（如图（如图像中的颜色、视频中的事件、音频中的音调等）。像中的颜色、视频中的事件、音频中的音调等）。当用户希望利用这些信息线索来对多媒体数据进行检索时，传统当用户希望利用这些信息线索来对多媒体数据进行检索时，传统的数据库检索多采用的数据库检索多采用基于关键字的

35、检索方式基于关键字的检索方式，并且在许多情况下媒，并且在许多情况下媒体内容难以用几个关键字来进行充分描述，作为关键字的图像特征体内容难以用几个关键字来进行充分描述，作为关键字的图像特征的选取也有很大的主观性。另一方面，用户很难将这些信息线索转的选取也有很大的主观性。另一方面，用户很难将这些信息线索转化成某种符号形式。化成某种符号形式。因此，要求数据库系统能对多媒体数据进行因此，要求数据库系统能对多媒体数据进行内容语义分析内容语义分析，以便，以便达到更深的检索层次，这就是所谓的达到更深的检索层次，这就是所谓的基于内容检索基于内容检索Page 403.33.3基于内容检索系统概念基于内容检索系统概

36、念基于内容检索主要特点从媒体内容中提取信息线索从媒体内容中提取信息线索。基于内容检索突破了传统的基于。基于内容检索突破了传统的基于关键字检索的局限，直接对图像、视频、音频等进行分析，抽取特关键字检索的局限，直接对图像、视频、音频等进行分析，抽取特征，使得检索更接近于媒体对象。征，使得检索更接近于媒体对象。提取特征的方法多种多样提取特征的方法多种多样。以图像特征提取为例，可以提取形。以图像特征提取为例，可以提取形状、颜色、纹理和轮廓等多种特征。状、颜色、纹理和轮廓等多种特征。人机交互人机交互。一般来说，用户对特征比较敏感，能够迅速分辨出。一般来说，用户对特征比较敏感，能够迅速分辨出目标的轮廓、音

37、乐的旋律等。如果对象很多，则用户很难记住这些目标的轮廓、音乐的旋律等。如果对象很多，则用户很难记住这些对象的特征，从大量数据中查找目标的效率也非常低，但计算机能对象的特征，从大量数据中查找目标的效率也非常低，但计算机能够轻松地做到这一点。因此，在使用基于内容检索系统时，用户与够轻松地做到这一点。因此，在使用基于内容检索系统时，用户与计算机配合进行检索。计算机配合进行检索。Page 413.33.3基于内容检索系统概念基于内容检索系统概念基于内容检索主要特点近似匹配近似匹配。基于内容检索时一种近似匹配过程。在检索过程中，。基于内容检索时一种近似匹配过程。在检索过程中，采用逐步求精的方法，每一层的

38、中间结果是一个集合，不断地减小采用逐步求精的方法，每一层的中间结果是一个集合，不断地减小该集合的范围，直到定位到目标为止。这一特点与数据库检索的精该集合的范围，直到定位到目标为止。这一特点与数据库检索的精确匹配算法显然不一样。确匹配算法显然不一样。综合利用多种相关技术综合利用多种相关技术。基于内容检索可以利用图像处理、语。基于内容检索可以利用图像处理、语音信号处理、模式识别、知识库系统、计算机图形学、数据库管理音信号处理、模式识别、知识库系统、计算机图形学、数据库管理系统、信息检索等众多领域的研究成果和研究方法，来研究各种新系统、信息检索等众多领域的研究成果和研究方法，来研究各种新的媒体数据表

39、示和数据模型、高效可靠的查询处理算法、智能查询的媒体数据表示和数据模型、高效可靠的查询处理算法、智能查询接口以及与应用领域无关的系统结构。接口以及与应用领域无关的系统结构。Page 423.33.3基于内容检索系统概念基于内容检索系统概念基于内容检索系统体系结构主要模块如下：主要模块如下：（1 1）目标标识模块目标标识模块（2 2）特征提取模块特征提取模块（3 3）数据库模块数据库模块（4 4）查询接口模块查询接口模块（5 5）检索引擎模块检索引擎模块（6 6）索引索引/过滤模块过滤模块Page 433.43.4未来的主要研究问题未来的主要研究问题（1 1）综合的多特征检索技术）综合的多特征检

40、索技术（2 2）高层概念和低层特征的关联。）高层概念和低层特征的关联。（3 3）高维索引技术）高维索引技术（4 4）时序媒体的内容结构化）时序媒体的内容结构化 （5 5）用户查询界面）用户查询界面（6 6）数据模型）数据模型 （7 7）性能评价）性能评价 （8 8）内容描述标准）内容描述标准 （9 9）多媒体信息安全）多媒体信息安全44多媒体内容检索与管理多媒体内容检索与管理1多媒体数据库2多媒体内容管理3多媒体内容检索6基于内容视频检索5基于内容音频检索4基于内容图像检索基于内容图像检索Page 454.14.1图像检索的发展图像检索的发展基于内容的图像检索涉及信息检索、图像处理、计算机视觉

41、、机器学习、基于内容的图像检索涉及信息检索、图像处理、计算机视觉、机器学习、人工智能等诸多研究领域人工智能等诸多研究领域关于图像信息的检索技术经历了图像特征文本描述关于图像信息的检索技术经历了图像特征文本描述图像表层视觉特征图像表层视觉特征图像语义内在特征的图像语义内在特征的3 3 个阶段。个阶段。Page 464.14.1图像检索的发展图像检索的发展图像特征文本描述图像特征文本描述20世纪70年代末人工文字注解图像利用文本检索实现对图像特征的查找费时费力不完整反映20世纪90 年代初使用颜色、纹理及形状等视觉特征实现了图像视觉内容特征的检索以图找图查询模式智能检索解决图像简单视觉特征和用户检

42、索丰富语义之间存在的语义鸿沟问题的关键Page 474.14.1图像检索的发展图像检索的发展基于内容的图像检索技术研究的4个热点1.1.最初的图像检索研究主要集中于如何选择合适的全局特征去最初的图像检索研究主要集中于如何选择合适的全局特征去描述图描述图像内容像内容和采用什么样的相似性度量方法进行和采用什么样的相似性度量方法进行图像匹配图像匹配。2.2.第二个研究热点是第二个研究热点是基于区域的图像检索方法基于区域的图像检索方法，其主要思想是通过图，其主要思想是通过图像分割技术提取出图像中的物体，然后对每个区域使用局部特征来像分割技术提取出图像中的物体，然后对每个区域使用局部特征来描述，综合每个

43、区域特征可得到图像的特征描述。前两个研究方向描述，综合每个区域特征可得到图像的特征描述。前两个研究方向可称为可称为以图像为中心的方法以图像为中心的方法，对于用户的需求缺乏分析。，对于用户的需求缺乏分析。3.3.第三个研究热点就是针对这一问题展开的，借助第三个研究热点就是针对这一问题展开的，借助相关反馈相关反馈的思想，的思想，根据用户需求及时调整系统检索时用的特征和相似性度量方法，从根据用户需求及时调整系统检索时用的特征和相似性度量方法，从而缩小底层特征和高层语义之间的差距。而缩小底层特征和高层语义之间的差距。4.4.第四个研究热点是研究如何从多种渠道获取第四个研究热点是研究如何从多种渠道获取图

44、像语义信息图像语义信息，如何将，如何将图像底层特征与图像关键词结合进行图像自动标注以提高检索准确图像底层特征与图像关键词结合进行图像自动标注以提高检索准确率等。率等。Page 484.24.2基于内容图像检索的系统结构基于内容图像检索的系统结构图图 基于内容图像检索的体系结构基于内容图像检索的体系结构分为特征提取和查询两个子系统：分为特征提取和查询两个子系统：(1)(1)预处理预处理包括图像格式的转换、包括图像格式的转换、规格化，图像的增强与去噪等功规格化，图像的增强与去噪等功能。能。(2)(2)目标标识目标标识即标识出图像中用户即标识出图像中用户感兴趣的区域或对象，以便针对感兴趣的区域或对象

45、，以便针对目标进行特征提取并查询。目标进行特征提取并查询。(3)(3)特征提取特征提取包括提取图像颜色、包括提取图像颜色、纹理、形状、空间位置关系等特纹理、形状、空间位置关系等特征。征。Page 494.24.2基于内容图像检索的系统结构基于内容图像检索的系统结构图图 基于内容图像检索的体系结构基于内容图像检索的体系结构(4)(4)数据库数据库由图像库、特征库和知由图像库、特征库和知识库组成。识库组成。图像库图像库为数字化的图像信息，为数字化的图像信息，特征库特征库包含自动提取的内容特征，包含自动提取的内容特征，知识库知识库包含专门和通用知识，有包含专门和通用知识，有利于查询优化和快速匹配，知

46、识利于查询优化和快速匹配，知识库中知识表达可以更换以适用于库中知识表达可以更换以适用于各种不同的应用领域。各种不同的应用领域。Page 504.24.2基于内容图像检索的系统结构基于内容图像检索的系统结构图图 基于内容图像检索的体系结构基于内容图像检索的体系结构(5)(5)查询接口查询接口提供一个友好的用户提供一个友好的用户界面。包括可视化的输入手段和界面。包括可视化的输入手段和结果浏览功能。结果浏览功能。(6)(6)检索引擎检索引擎中包括一个有效可靠中包括一个有效可靠的相似性测度函数集。的相似性测度函数集。(7)(7)检索引擎通过检索引擎通过索引索引/过滤过滤模块模块达到快速检索的目的。达到

47、快速检索的目的。Page 514.34.3基于内容图像检索的特点基于内容图像检索的特点主要特点有主要特点有:(1)(1)基于内容检索基于内容检索突破了传统的基于表达式检索的局限突破了传统的基于表达式检索的局限，从媒体内容，从媒体内容中提取信息线索。利用图像内容特征建立索引进行检索。使得检索中提取信息线索。利用图像内容特征建立索引进行检索。使得检索过程更加有效，适应性更强。过程更加有效，适应性更强。(2)(2)基于内容图像检索是一种基于内容图像检索是一种近似匹配近似匹配的技术。由于相同内容的图像的技术。由于相同内容的图像有不同的表现方式，例如同一场景下的图片有远景和近景之分。而有不同的表现方式，

48、例如同一场景下的图片有远景和近景之分。而且图像信息的内容比较丰富，相互关联性比较强。且图像信息的内容比较丰富，相互关联性比较强。(3)(3)大型数据库的快速检索大型数据库的快速检索。在实际的多媒体数据库中，不仅数据量。在实际的多媒体数据库中，不仅数据量巨大，而且种类和数量繁多，因此要求巨大，而且种类和数量繁多，因此要求CBIR CBIR 技术快速地实现对多媒技术快速地实现对多媒体信息的检索。体信息的检索。(4)(4)以以相关反馈相关反馈为有效手段。当用户提供一幅查询草图为有效手段。当用户提供一幅查询草图(sketch)(sketch)或图像，或图像，并要求找出与此相似的图像时，其意识中已经有了

49、相似性判别标准。并要求找出与此相似的图像时，其意识中已经有了相似性判别标准。理想情况下，系统的相似性度量应该与用户的判别一致，它涉及人理想情况下，系统的相似性度量应该与用户的判别一致，它涉及人类视觉系统对图像的认知和高层语义的解释。因此通过用户的相关类视觉系统对图像的认知和高层语义的解释。因此通过用户的相关反馈，检索系统学习用户的意图和准则来指导图像检索过程，有效反馈，检索系统学习用户的意图和准则来指导图像检索过程，有效提高图像检索的效率。提高图像检索的效率。Page 524.44.4基于内容图像检索方法的分类基于内容图像检索方法的分类基于内容的图像检索方法可分为外部图例查询、内部图例查询、草

50、图查询和综合查询。早在1980 年就有文献提出了图倒查询的概念，图例查询是一种由一幅或多幅图像实例构造查询的图像检索技术。1 1、外部图例查询、外部图例查询示例图像来源于检索系统的外部示例图像来源于检索系统的外部优势优势在于用户在表达其信息需求时的简单性。用户仅需提供一幅或在于用户在表达其信息需求时的简单性。用户仅需提供一幅或多幅图像，或许也需要调整一些参数，如各种特征的权重等。检索过多幅图像，或许也需要调整一些参数，如各种特征的权重等。检索过程中并不需要特定的数据库查询语言方面的知识。程中并不需要特定的数据库查询语言方面的知识。缺点缺点当用户很难提供一个示例图像时，外部图倒查询的可用性将当用