多媒体信息管理技术PPT讲稿.ppt

多媒体信息管理技术多媒体信息管理技术School of ManagementTianjin University第1页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术多媒体信息管理的问题多媒体信息管理的问题多媒体应用系统关键问题多媒体应用系统关键问题就是对系统就是对系统中数据进行有效地管理：中数据进行有效地管理：对多媒体数据的有效管理能尽量减少开对多媒体数据的有效管理能尽量减少开发费用；发费用；便于综合利用、数据共享，降低成本、便于综合利用、数据共享，降低成本、提高效益；提高效益；对提高多媒体应用程序的执行效率和运对提高多媒体应用程序的执行效率和运行质量也具有十分重要的意义。行质量也具有十分重要的意义。第2页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术1.1.多媒体数据的存储环境多媒体数据的存储环境对多媒体数据的存储环境总的要求是：对多媒体数据的存储环境总的要求是：容量大、质量好、存取速度快、价格合适。容量大、质量好、存取速度快、价格合适。主要有主要有4 4类存储介质：类存储介质：(1)(1)可更换的硬盘；可更换的硬盘；(2)(2)磁带备份介质；磁带备份介质；(3)(3)光盘档案介质；光盘档案介质；(4)(4)磁盘阵列磁盘阵列;第3页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术2.多媒体数据管理的软件环境多媒体数据管理的软件环境对多媒体数据资源的有效管理方法对多媒体数据资源的有效管理方法：(1)文件管理系统文件管理系统。(2)建立特定的逻辑目录。建立特定的逻辑目录。(3)传统的字符、数值数据库管理系统。传统的字符、数值数据库管理系统。(4)多媒体数据库管理系统多媒体数据库管理系统。(5)超文本和超媒体超文本和超媒体 。第4页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术多媒体多媒体数据库管理系统数据库管理系统依据独立性原则，依据独立性原则，DBMS按层次划分为按层次划分为3种模式：种模式：物理模式、概念模式和外部模式物理模式、概念模式和外部模式。物理模式定义数据存储组织方法，物理模式定义数据存储组织方法，如数据库文件的如数据库文件的格式、索引文件组织方法、数据库在网络上的分布方格式、索引文件组织方法、数据库在网络上的分布方法等法等(存储模式存储模式)。概念模式借助数据模型来描述，它定义抽象现实概念模式借助数据模型来描述，它定义抽象现实世界的方法。数据库模型先后经历了网状模型、世界的方法。数据库模型先后经历了网状模型、关系模型和面向对象模型等阶段。关系模型和面向对象模型等阶段。外部模式又叫视图，它是概念模式对用户有用的那外部模式又叫视图，它是概念模式对用户有用的那一部分。一部分。第5页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术数据库数据库物理模式物理模式概念模式概念模式外部模式外部模式用户用户用户用户用户用户DBMS的的3层模式层模式第6页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术多媒体数据对数据库的影响多媒体数据对数据库的影响(1)数据量大且媒体之间差异也极大，从而影响数据库中的数据量大且媒体之间差异也极大，从而影响数据库中的组织和存储方法。组织和存储方法。(2)媒体种类增多增加了数据处理困难。媒体种类增多增加了数据处理困难。(3)多媒体不仅改变了数据库的接口，使其声、文、图多媒体不仅改变了数据库的接口，使其声、文、图并茂，而且也改变了数据库的操作形式，其中最重并茂，而且也改变了数据库的操作形式，其中最重要的是查询机制和查询方法。要的是查询机制和查询方法。(4)传统的事务一般都是短小精悍，在多媒体数据库管理系传统的事务一般都是短小精悍，在多媒体数据库管理系统中也应尽可能采用短事务。为保证播放不致中断，统中也应尽可能采用短事务。为保证播放不致中断，MDBMS应增加这种处理长事务的能力。应增加这种处理长事务的能力。(5)多媒体数据库管理还有考虑版本控制的问题。多媒体数据库管理还有考虑版本控制的问题。第7页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术MDBMS多媒体数据库管理系统的功能要求多媒体数据库管理系统的功能要求(1)MDBMS必须能表示和处理各种媒体数据，重点必须能表示和处理各种媒体数据，重点是不规则数据如图形、图像、声音的表示方法是不规则数据如图形、图像、声音的表示方法(2)MDBMS必须能反映和管理各种媒体数据的特性，必须能反映和管理各种媒体数据的特性，或各种媒体数据之间的空间或时间的关联。或各种媒体数据之间的空间或时间的关联。(3)MDBMS除必须满足物理数据独立性和逻辑数据独除必须满足物理数据独立性和逻辑数据独立性外，还应满足媒体数据独立性。立性外，还应满足媒体数据独立性。物理数据独立性指当物理数据组织改变时，不影响概念物理数据独立性指当物理数据组织改变时，不影响概念数据组织。数据组织。逻辑数据独立性指概念数据组织改变时，不影响用户程逻辑数据独立性指概念数据组织改变时，不影响用户程序使用的视图。序使用的视图。第8页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术媒体数据独立性指在媒体数据独立性指在MDBMSMDBMS的设计和实现时，要的设计和实现时，要求系统能保持各种媒体独立性和透明性。求系统能保持各种媒体独立性和透明性。(4)MDBMS的数据操作功能。的数据操作功能。(5)MDBMS的网络功能。应解决分布在网络上的多媒体的网络功能。应解决分布在网络上的多媒体数据库中数据的定义、存储、操作问题，并对数据一数据库中数据的定义、存储、操作问题，并对数据一致性、安全性、并发性进行管理。致性、安全性、并发性进行管理。(6)MDBMS应应具具有有开开放放功功能能，提提供供MDB的的应应用用程程序序接接口口API，并提供独立于外设和格式的接口。并提供独立于外设和格式的接口。(7)MDBMS还应提供事务和版本管理功能。还应提供事务和版本管理功能。第9页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术1.集中型集中型MDBMS由单独一个由单独一个MDBMS来管理和建立不来管理和建立不同媒体的数据库，并由这个同媒体的数据库，并由这个MDBMS来管理对象空间及目的数据的集成。来管理对象空间及目的数据的集成。MDBMS 图像数据库 图形数据库 音频数据库 文本数据库 视频数据库第10页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术2.主从型主从型MDBMS每个数据库都有自己的管理系统，每个数据库都有自己的管理系统，称称为从数据库管理系统，它们各自管理自为从数据库管理系统，它们各自管理自己的数据库。己的数据库。这些从数据库管理系统又受一个称为主这些从数据库管理系统又受一个称为主数据库管理系统的控制和管理数据库管理系统的控制和管理 。第11页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术从从MDBMSMDBMS从从MDBMSMDBMS从从MDBMSMDBMS从从MDBMSMDBMSMDBMSMDBMSMDBMS某种MDB某种MDB某种MDB某种MDB多媒体数据库多媒体数据库主从型主从型MDBMSMDBMS的组织结构的组织结构 第12页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术3.协作型协作型MDBMS协作型协作型MDBMS也是由多个数据库管理也是由多个数据库管理系统来组成，系统来组成，每个数据库管理系统之间每个数据库管理系统之间没有主从之分。没有主从之分。要求系统中每个数据库管理系统要求系统中每个数据库管理系统(称为称为成员成员MDBMS)能协调地工作，但因每一能协调地工作，但因每一成员成员MDBMS彼此有差异，彼此有差异，所以在通信所以在通信中必须首先解决这个问题。中必须首先解决这个问题。第13页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术 成员成员 MDBMS MDBMS 成员成员 MDBMS MDBMS 成员成员 MDBMS MDBMSMDBMS 某种某种MDB 某种某种MDB 某种某种MDB 附加软件附加软件 附加软件附加软件 附加软件附加软件 多媒体数据库多媒体数据库协作型MDBMS的组织结构第14页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术MDBMS的数据模型的数据模型1.1.数据模型的概念数据模型的概念数数据据模模型型通通常常由由数数据据结结构构、数数据据操操作作和和完完整整性约束三部分组成，性约束三部分组成，也称数据模型三要素。也称数据模型三要素。数据结构是对数据库系统静态特性的描述，是所是对数据库系统静态特性的描述，是所研究的对象类型的集合。这些对象是数据库的组成研究的对象类型的集合。这些对象是数据库的组成成分。成分。数据库系统通常按数据结构的类型来命名数据类数据库系统通常按数据结构的类型来命名数据类型，型，如层次模型、网状模型、关系模型和面向对如层次模型、网状模型、关系模型和面向对象模型。象模型。第15页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术数据操作是对数据库系统动态特性的描述，如数据是对数据库系统动态特性的描述，如数据库中各种对象的实例、允许执行的操作集合。库中各种对象的实例、允许执行的操作集合。数据的数据的约束条件是实现数据库完整性规则的集合，是实现数据库完整性规则的集合，所谓完整性规则是指给定的数据模型中数据及它所谓完整性规则是指给定的数据模型中数据及它们之间关联所具有的制约和依存规则，用以限定们之间关联所具有的制约和依存规则，用以限定符合数据模型的数据库状态以及状态的变化，符合数据模型的数据库状态以及状态的变化，以以保证数据库数据的正确、有效、相容和一致。保证数据库数据的正确、有效、相容和一致。数据模型应该提供定义数据完整性约束条件的数据模型应该提供定义数据完整性约束条件的机制，以反映数据必须遵守的特定的语义约束机制，以反映数据必须遵守的特定的语义约束条件。条件。第16页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术2.2.常用的数据模型常用的数据模型早期早期DBMS采用层次模型，它利用树型结构来采用层次模型，它利用树型结构来表示实体及实体之间联系。模型中节点为记表示实体及实体之间联系。模型中节点为记录型，表示某种类型的实体；节点之间的连录型，表示某种类型的实体；节点之间的连线表示它们之间的关系。线表示它们之间的关系。利用网状结构来表示实体与实体之间联系的数利用网状结构来表示实体与实体之间联系的数据模型称为网状模型，据模型称为网状模型，其节点为记录型，其节点为记录型，用于用于表示某类实体。表示某类实体。层次和网状数据库管理系统均不支持数据独立层次和网状数据库管理系统均不支持数据独立性。数据库结构的调整将使应用随之变化，这性。数据库结构的调整将使应用随之变化，这就限制了数据库系统及其应用的可扩展性、可就限制了数据库系统及其应用的可扩展性、可重用性及可移植性。重用性及可移植性。第17页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术关系模型克服了上述两种模型的缺陷，关系模型克服了上述两种模型的缺陷，利用二维利用二维的表来表示实体及实体之间的关系，的表来表示实体及实体之间的关系，每张二维表每张二维表又称为一个关系。又称为一个关系。扩充的原因：扩充的原因：传统的关系模型结构简单，是单一的二维表，传统的关系模型结构简单，是单一的二维表，数据类型和长度也被局限在一个较小的子集中，又数据类型和长度也被局限在一个较小的子集中，又不支持新的数据类型和数据结构，不支持新的数据类型和数据结构，很难实现空间数很难实现空间数据和时态数据，缺乏演绎和推理操作，据和时态数据，缺乏演绎和推理操作，因此表达数因此表达数据特性的能力受到限制。据特性的能力受到限制。在在MDBMS中使用关系模型，中使用关系模型，必须对现有的关系必须对现有的关系模型进行扩充，使它不但能支持格式化数据，也能处理模型进行扩充，使它不但能支持格式化数据，也能处理非格式化数据。非格式化数据。第18页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术模型扩充主要有模型扩充主要有3 3种策略：种策略：(1)(1)使关系数据库管理技术和操作系统中文件系统功能使关系数据库管理技术和操作系统中文件系统功能相结合，相结合，实现对非格式化数据的管理。其主要方法实现对非格式化数据的管理。其主要方法是以存放非格式化数据的文件名代替。是以存放非格式化数据的文件名代替。(2)(2)将关系元组中格式化数据和非格式化数据装在一起将关系元组中格式化数据和非格式化数据装在一起形成一个完整的元组，存放在数据页面或数据页面组形成一个完整的元组，存放在数据页面或数据页面组中，统一管理中，统一管理(大系统采用大系统采用)。(3)(3)将元组中非格式化数据分成两部分，一部分是将元组中非格式化数据分成两部分，一部分是格式化数据本身，另一部分是对非格式化数据的格式化数据本身，另一部分是对非格式化数据的引用引用(小系统采用小系统采用)。3种策略的关键是要种策略的关键是要扩充数据类型，扩充数据类型，解决非格式化解决非格式化数据的语义解释数据的语义解释。第19页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术ParadoxParadox是由是由BorlandBorland公司开发的，公司开发的，ParadoxParadox增加了增加了4 4种种数据类型：数据类型：动态注释动态注释、格式注释格式注释、图形和大二进制对图形和大二进制对象象(Blob)Blob)。对它们的处理采用应用程序处理，专门的对它们的处理采用应用程序处理，专门的OLEOLE等方法。等方法。FoxProFoxPro是是MicrosoftMicrosoft公公司司的的产产品品，它它是是在在DBaseDBase基基础础上上发发展展起起来来的的。为为了了处处理理多多媒媒体体数数据据，FoxPro2.5FoxPro2.5引引入入一一个个新新的的属属性性类类型型GeneralGeneral，它它可可以以容容纳纳任任何何一一种种多多媒媒体体数数据据，包包括括文文本本、图图形形、图图像像或或声声音音数数据据。在在WindowsWindows中中，FoxProFoxPro相相当当于于一一个个OLEOLE客客户户，通通过过在在表表中中定定义义一一个个类类型型为为GeneralGeneral的的字字段段，可可以以为为链链接接或或嵌嵌入入任任何何对对象象预留空间。预留空间。第20页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术关系型多媒体数据库的应用关系型多媒体数据库的应用某公司需要用某公司需要用Oracle8.1.6数据库管理雇员资料数据库管理雇员资料，雇雇员信息包括工号、年龄、性别、月工资、所在部员信息包括工号、年龄、性别、月工资、所在部门、该部门经理、雇员的免冠照片等属性。门、该部门经理、雇员的免冠照片等属性。对这样比较复杂结构的实体对这样比较复杂结构的实体(雇员雇员)，关系数据，关系数据库需要把它分解成最简单实用的关系库需要把它分解成最简单实用的关系(雇员和部雇员和部门门)表示，实体的结构语义隐性地包含在两个关表示，实体的结构语义隐性地包含在两个关系的相同属性中。系的相同属性中。此例中雇员照片属性的存储可利用此例中雇员照片属性的存储可利用Oracle数据库数据库提供的提供的LOB属性类型实现的。属性类型实现的。LOB(Large Object)就是存储大对象的属性类型，就是存储大对象的属性类型，当数据量过大不能直当数据量过大不能直接存入数据库中时，接存入数据库中时，可以使用可以使用LOB属性类型。属性类型。第21页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术Main or virtual memoryTransformation and type checkingSecondary storage第22页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术面向对象的数据库模型面向对象的数据库模型(1)面向对象模型支持面向对象模型支持“聚合聚合”与与“概括概括”的概念，的概念，从而更好地处理多媒体数据等复杂对象的结构语义。从而更好地处理多媒体数据等复杂对象的结构语义。(2)而而向向对对象象模模型型支支持持抽抽象象数数据据类类型型和和用用户户定定义义的的方方法法，便于系统支持定义新的数据类型和操作。便于系统支持定义新的数据类型和操作。(3)面面向向对对象象系系统统的的数数据据抽抽象象、功功能能抽抽象象与与消消息息传传递递的的特特点点使使对对象象在在系系统统中中是是独独立立的的，具具有有良良好好的的封封闭闭性性，封封闭闭了了多多媒媒体体数数据据之之间间的的类类型型及及其其他他方方面面的的巨巨大大差差异异，并并且且容容易易实实现现并并行行处处理理，也也便便于于系系统统模模式式的的扩扩充充和和修修改。改。第23页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术(4)面向对象系统的对象类、类层次和继承性的特面向对象系统的对象类、类层次和继承性的特点，不仅减少了冗余和由此引起的一系列问题，点，不仅减少了冗余和由此引起的一系列问题，还非常有利于版本控制。还非常有利于版本控制。(5)面向对象系统中实体是独立于值存在的，因而避面向对象系统中实体是独立于值存在的，因而避免了关系数据库中讨论的各种异常。免了关系数据库中讨论的各种异常。(6)面面向向对对象象系系统统的的查查询询语语言言通通常常是是沿沿着着系系统统提提供供的的内内部部固有联系进行的，避免了大量的查询优化工作。固有联系进行的，避免了大量的查询优化工作。第24页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术面向对象数据库和扩展关系数据库系统不同，面向对象数据库和扩展关系数据库系统不同，它倾向于以数据模型入手，重新考虑不同于传它倾向于以数据模型入手，重新考虑不同于传统统DBMS的系统整体结构、对象类层次的存储的系统整体结构、对象类层次的存储结构、存取方法和继承性的实现方法、用户定结构、存取方法和继承性的实现方法、用户定义的数据类型和方法的处理策略、必要的版本义的数据类型和方法的处理策略、必要的版本控制和友好的用户界面，建立一个全新的控制和友好的用户界面，建立一个全新的 DBMS。第25页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术1.对象类型的建立对象类型的建立第26页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术Main or virtual memorySecondary storage第27页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术2.面向对象数据库系统结构面向对象数据库系统结构根据系统模型的功能，设计适当的系统根据系统模型的功能，设计适当的系统结构是面向对象的结构是面向对象的DBMS实现的重要环实现的重要环节。节。由由MCC公司研制的公司研制的ORION系统由系统由4个子个子系统构成：系统构成：(1)消息处理子系统消息处理子系统；(2)对象子系统对象子系统；(3)存储子系统存储子系统 ；(4)事务管理子系统。事务管理子系统。第28页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术ORION-1SX是一个客户机是一个客户机/服务器数据库系统服务器数据库系统，它它有一个专用的服务器管理整个数据库系统有一个专用的服务器管理整个数据库系统，而应用而应用系统运行的所有其他节点系统运行的所有其他节点(客户客户)同这个服务器进行通同这个服务器进行通信来存取数据库。信来存取数据库。对象子系统和消息子系统完全放置在客户机上。对象子系统和消息子系统完全放置在客户机上。另一方面另一方面，通讯子系统以及部分事务和存储子系统通讯子系统以及部分事务和存储子系统既放置于客户机又放置于服务器中既放置于客户机又放置于服务器中，通讯子系统负通讯子系统负责打开、关闭和控制连接责打开、关闭和控制连接，接收和传递客户机和服务接收和传递客户机和服务器之间的消息。器之间的消息。ORION-2是一个基于网络的分布式数据库系统是一个基于网络的分布式数据库系统，它由它由一个以上的节点进行管理，使得数据库的物理布局一个以上的节点进行管理，使得数据库的物理布局对用户来说是透明的。对用户来说是透明的。第29页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术消息处理子系统 对象子系统 事务子系统 存储子系统通信子系统通信子系统服务器事务子系统服务器存储子系统服务器服务器客户机客户机第30页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术多媒体信息检索技术基于内容检索多媒体信息检索技术基于内容检索如何使多媒体应用系统直接从各种媒体中获取如何使多媒体应用系统直接从各种媒体中获取信息线索，并将这些线索用于数据库中得检索信息线索，并将这些线索用于数据库中得检索操作，帮助用户从数据库中检索合适的多媒体操作，帮助用户从数据库中检索合适的多媒体信息对象基于内容检索（信息对象基于内容检索（Content-based Content-based RetrievalRetrieval）定义：基于内容检索就是从媒体数据中提取定义：基于内容检索就是从媒体数据中提取特定的信息线索，根据这些线索从大量得存特定的信息线索，根据这些线索从大量得存储在数据库中的媒体中进行查找，检索具有储在数据库中的媒体中进行查找，检索具有相似特征的媒体数据相似特征的媒体数据第31页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术具体说基于内容的检索是对媒体对象的内容及上具体说基于内容的检索是对媒体对象的内容及上下文语义环境进行检索，如图像中的颜色、纹理、下文语义环境进行检索，如图像中的颜色、纹理、形状，视频中的镜头、场景、镜头的运动，声音形状，视频中的镜头、场景、镜头的运动，声音中的音调、响度、音色等。中的音调、响度、音色等。基于内容的检索突破了传统的基于文本检索技术基于内容的检索突破了传统的基于文本检索技术的局限，直接对图像、视频、音频内容进行分析，的局限，直接对图像、视频、音频内容进行分析，抽取特征和语义，利用这些内容特征建立索引并抽取特征和语义，利用这些内容特征建立索引并进行检索。在这一检索过程中，它主要以图像处进行检索。在这一检索过程中，它主要以图像处理、模式识别、计算机视觉、图像理解等学科中理、模式识别、计算机视觉、图像理解等学科中的一些方法为部分基础技术，是多种技术的合成的一些方法为部分基础技术，是多种技术的合成第32页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术与传统的信息检索相比，与传统的信息检索相比，CBRCBR有如下特点：有如下特点：(1)(1)相似性检索：相似性检索：CBRCBR采用一种近似匹配（或局采用一种近似匹配（或局部匹配）的方法和技术逐步求精来获得查询和检部匹配）的方法和技术逐步求精来获得查询和检索结果，摒弃了传统的精确匹配技术，避免了因索结果，摒弃了传统的精确匹配技术，避免了因采用传统检索方法所带来的不确定性。采用传统检索方法所带来的不确定性。(2)(2)直接从内容中提取信息线索：直接从内容中提取信息线索：CBRCBR直接对直接对文本、图像、视频、音频进行分析，从中抽文本、图像、视频、音频进行分析，从中抽取内容特征，然后利用这些内容特征建立索取内容特征，然后利用这些内容特征建立索引并进行检索。引并进行检索。第33页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术(3)(3)满足用户多层次的检索要求：满足用户多层次的检索要求：CBRCBR检索系统通检索系统通常由媒体库、特征库和知识库组成。媒体库常由媒体库、特征库和知识库组成。媒体库包含多媒体数据，如文本、图像、音频、视包含多媒体数据，如文本、图像、音频、视频等；特征库包含用户输入的特征和预处理频等；特征库包含用户输入的特征和预处理自动提取的内容特征；知识库包含领域知识自动提取的内容特征；知识库包含领域知识和通用知识，其中的知识表达可以更换，以和通用知识，其中的知识表达可以更换，以适应各种不同领域的应用要求。适应各种不同领域的应用要求。(4)(4)大型数据库大型数据库(集集)的快速检索：的快速检索：CBRCBR往往拥有往往拥有数量巨大、种类繁多的多媒体数据库，能够实现数量巨大、种类繁多的多媒体数据库，能够实现对多媒体信息的快速检索。对多媒体信息的快速检索。第34页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术媒体特征媒体特征音频 常利用的音频特征包括基音，共常利用的音频特征包括基音，共振峰，线性预测倒谱系数、振峰，线性预测倒谱系数、Mel倒谱系倒谱系数数(基于高斯混合模型的语音识别基于高斯混合模型的语音识别)等音等音频低层特征，和声纹、关键词等高层特频低层特征，和声纹、关键词等高层特征。征。静态图像 其底层特征包括颜色，纹理，其底层特征包括颜色，纹理，几何形状，灰度统计特征；几何形状，灰度统计特征；高层特征包高层特征包括人脸部特征，表情特征，物体和景物括人脸部特征，表情特征，物体和景物特征。特征。第35页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术视频 包含的信息最丰富复杂，其底包含的信息最丰富复杂，其底层特征包括镜头切换类型，特技效果，层特征包括镜头切换类型，特技效果，摄像机运动，物体运动轨迹，代表帧，摄像机运动，物体运动轨迹，代表帧，全景图全景图等；高层特征包括描述镜头内等；高层特征包括描述镜头内容的事件等。容的事件等。文本 关键词常被选为文本对象的内关键词常被选为文本对象的内容属性容属性。图形 几何体各种形状特征、周长、几何体各种形状特征、周长、面积、位置、几何体间空间关系的面积、位置、几何体间空间关系的类型等，常被选为图形内容属性。类型等，常被选为图形内容属性。第36页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术 多媒体内容的处理多媒体内容的处理分为三大部分：分为三大部分：内容内容获取、内容描述和内获取、内容描述和内容操纵容操纵。也可将其看成是内也可将其看成是内容处理的三个步骤，容处理的三个步骤，即先对原始媒体进行即先对原始媒体进行处理，提取内容，然处理，提取内容，然后用标准形式对它们后用标准形式对它们进行描述，以支持各进行描述，以支持各种内容的操纵种内容的操纵第37页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术基于内容检索系统的一般结构基于内容检索系统的一般结构插入子系统插入子系统特征提取子系统特征提取子系统媒体数据库和特征数据库媒体数据库和特征数据库查询子系统：提供给用户检索接口查询子系统：提供给用户检索接口检索过程检索过程是一个逐步求精的过程是一个逐步求精的过程初始检索初始检索相识性匹配相识性匹配特征调整特征调整重新检索重新检索第38页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术多媒体信息关联技术超媒体技术多媒体信息关联技术超媒体技术超文本的概念超文本的概念超文本结构类似于人类的联想记忆结构，采用一种超文本结构类似于人类的联想记忆结构，采用一种非线性的网状结构组织块状信息，没有固定顺序。非线性的网状结构组织块状信息，没有固定顺序。超文本由若干个文本块（信息单元）组成，每个超文本由若干个文本块（信息单元）组成，每个信息单元称为一个节点（信息单元称为一个节点（nodenode）每个节点都有指向其它节点或从其它节点指向该节每个节点都有指向其它节点或从其它节点指向该节点的指针，称为点的指针，称为“链链”（linklink）用户主动激活这些链时，将迁移到目的节点用户主动激活这些链时，将迁移到目的节点第39页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术下面是超文本结构示意图ABCDEFGH第40页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术什么是超媒体（什么是超媒体（hypermediahypermedia）?多媒体多媒体+超文本超文本把多媒体信息引入超文本，有助于信息把多媒体信息引入超文本，有助于信息的表达和交互，可以增强和改善信息的的表达和交互，可以增强和改善信息的交互程度和表达思想的准确性交互程度和表达思想的准确性超媒体的组成要素超媒体的组成要素节点（节点（NodeNode）:是围绕一个特殊主题组是围绕一个特殊主题组织起来的数据集合织起来的数据集合节点的分类节点的分类媒体类节点：存放各种媒体信息的来源、媒体类节点：存放各种媒体信息的来源、属性和表现方法等。属性和表现方法等。第41页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术动作与操作节点：通过超媒体的按钮来访动作与操作节点：通过超媒体的按钮来访问，节点中包含一些操作，为用户提供动问，节点中包含一些操作，为用户提供动作或操纵的可能，例如超媒体系统提供电作或操纵的可能，例如超媒体系统提供电话通信功能话通信功能组织型节点：是组织节点的节点。包括各组织型节点：是组织节点的节点。包括各种媒体节点的目录节点和索引节点种媒体节点的目录节点和索引节点推理型节点：用于辅助链的推理和计算推理型节点：用于辅助链的推理和计算链（链（LinkLink）又叫超链，是节点之间的信息联系。又叫超链，是节点之间的信息联系。链是有向的，它的结构分为链是有向的，它的结构分为链源、链宿及链源、链宿及链的属性三个部分链的属性三个部分第42页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术基本结构链基本结构链基本链、交叉索引链、节点内注释链基本链、交叉索引链、节点内注释链组织链：用于节点的组织组织链：用于节点的组织索引链、执行链索引链、执行链其他链型其他链型自动链接、类型链（用户自己定义链的自动链接、类型链（用户自己定义链的类型）类型）热标（热标（Hot-spotHot-spot）确定信息之间的关联，引起向相关节点的确定信息之间的关联，引起向相关节点的转移。转移。不同的媒体有不同的热标不同的媒体有不同的热标第43页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术1)1)热字（热字（hot-wordhot-word）2)2)热区（热区（hot-areahot-area）:在所显示的图像的显示区在所显示的图像的显示区上指明一个敏感区域作为触发转移的源点上指明一个敏感区域作为触发转移的源点3)3)热元（热元（hot-elementhot-element）:在图形媒体中，以相对在图形媒体中，以相对独立的图形基本单位作为信息转移的链源，独立的图形基本单位作为信息转移的链源，如一个圆形，一条线等如一个圆形，一条线等4)4)热点（热点（hot-pointhot-point）:主要用于时基类媒体，如视主要用于时基类媒体，如视频，声音等在时间轴上的触发转移频，声音等在时间轴上的触发转移5)5)热属性（热属性（hot-attributionhot-attribution）：）：把关系数据库把关系数据库中的属性作为热源使用中的属性作为热源使用第44页，共46页，编辑于2022年，星期六School of ManagementTianjin University多媒体信息管理技术多媒体信息管理技术宏节点：指链接在一起的节点群宏节点：指链接在一起的节点群一个宏节点就是超文本网络的一个具有某种共一个宏节点就是超文本网络的一个具有某种共同特征的子集同特征的子集简化了简化了WebWeb的网络结构的网络结构第45页，共46页，编辑于2022年，星期六School of ManagementTianjin University小结小结本章重点：本章重点：