第八讲图像信息检索.ppt

《第八讲图像信息检索.ppt》由会员分享，可在线阅读，更多相关《第八讲图像信息检索.ppt（23页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第八讲第八讲 图像信息检索图像信息检索 多媒体数据包括图形、图像、音频及视频。相应地就有图形检索、图像检多媒体数据包括图形、图像、音频及视频。相应地就有图形检索、图像检索、音频检索和视频检索问题。正如文本一样，真正的检索是基于语义的，因索、音频检索和视频检索问题。正如文本一样，真正的检索是基于语义的，因此真正的多媒体检索也应该是基于内容（语义）的。此真正的多媒体检索也应该是基于内容（语义）的。关于图形非常利于检索。其关于图形非常利于检索。其基本图元是点、线、面。它们均基本图元是点、线、面。它们均由坐标来定义和描述。线是点坐由坐标来定义和描述。线是点坐标的序列，面是封闭的点坐标序标的序列，面是封

2、闭的点坐标序列。这些坐标数据完全可以存储列。这些坐标数据完全可以存储到数据库中，因此，图形的检索到数据库中，因此，图形的检索本质上是数据库技术与图形处理本质上是数据库技术与图形处理技术的结合。例如各种技术的结合。例如各种GIS应用应用均可视为图形检索系统。均可视为图形检索系统。左图为左图为Google地图。地图。GISGIS数据组织示例数据组织示例id x y 图标类型图标类型 点图元数据点图元数据id 起点起点 长度长度 线型线型 线图元数据线图元数据x yid 起点起点 长度长度 填充色填充色 面图元数据面图元数据x yid 名称名称 地址地址 邮编邮编 点属性数据点属性数据 相对地，每一

3、个线图元和面图元都有自己的相对地，每一个线图元和面图元都有自己的属性数据。可见，可采用数据库的关系模型表达属性数据。可见，可采用数据库的关系模型表达GIS数据。结合图形处理技术来实现图形界面显数据。结合图形处理技术来实现图形界面显示、坐标变换、图形移动和缩放等操作。示、坐标变换、图形移动和缩放等操作。图像数据图像数据 该图为谷该图为谷歌卫星照片与歌卫星照片与部分图形数据部分图形数据的叠加结果。的叠加结果。卫星照片卫星照片是一种图像数是一种图像数据。本质上是据。本质上是像素点矩阵，像素点矩阵，每个像素点一每个像素点一般是一个颜色般是一个颜色值。值。图像数据示例图像数据示例 图像的存储可视为二维矩

4、阵（也可视为按列或图像的存储可视为二维矩阵（也可视为按列或按列存储的一维数组）。按列存储的一维数组）。每一个像素点为一种颜色值。如用一个字节存每一个像素点为一种颜色值。如用一个字节存储一个像素值，则称储一个像素值，则称256色图像，用两个字节存储色图像，用两个字节存储一个像素值，则称一个像素值，则称16位彩色图像，用三个字节存储位彩色图像，用三个字节存储一个像素值，则一个像素值，则24位真彩色图像（人眼是区分不出位真彩色图像（人眼是区分不出这么多种颜色的）。这么多种颜色的）。mn像素像素RGBRGB颜色系统：颜色系统：即利用三原色值来表示一个像素值。即利用三原色值来表示一个像素值。灰度图像：灰

5、度图像：一般解释为像素值是最暗的黑色到最亮的白色之间的某个等级值。一般解释为像素值是最暗的黑色到最亮的白色之间的某个等级值。该等级一般称为亮度等级，即用像素点明亮程度的不同来体现一幅该等级一般称为亮度等级，即用像素点明亮程度的不同来体现一幅 图像内容，如黑白电视。图像内容，如黑白电视。彩色图像向灰度图像的转换：彩色图像向灰度图像的转换：Y=0.299R+0.687G+0.114B 转换算法很多，这只是其中的一种。转换算法很多，这只是其中的一种。图像的其它色彩空间图像的其它色彩空间 除了除了RGB颜色系统外，还有颜色系统外，还有HSL色彩空间（即色相、饱和度和亮度）、色彩空间（即色相、饱和度和亮

6、度）、HSV色彩空间（即色相、饱和度和色调）等其它的色彩空间。色彩空间（即色相、饱和度和色调）等其它的色彩空间。HSL色彩空间色彩空间 HSV把颜色描述在圆柱体内的点，圆柱的中心轴取值为自底部的黑色到顶把颜色描述在圆柱体内的点，圆柱的中心轴取值为自底部的黑色到顶部的白色，而中间为灰色；绕这个轴的角度对应于是色相；到中心轴的距离对部的白色，而中间为灰色；绕这个轴的角度对应于是色相；到中心轴的距离对应于饱和度；而沿着中心轴的距离对应于色调。在应于饱和度；而沿着中心轴的距离对应于色调。在HSL把颜色描述为双圆锥体把颜色描述为双圆锥体和圆球体，沿着中心轴的距离对应于亮度。和圆球体，沿着中心轴的距离对应

7、于亮度。HSV色彩空间色彩空间RGBRGB值向值向HSLHSL值或值或HSVHSV值的转换值的转换 RGB、HSL、HSV虽然是不同色彩空间的表达方式，但可相互转换。其转虽然是不同色彩空间的表达方式，但可相互转换。其转换算法也较多，下面是其中的一种。换算法也较多，下面是其中的一种。RGB向向HSL的转换的转换RGB向向HSV的转换的转换其中其中 h 值的计算与左侧相同。值的计算与左侧相同。式中的式中的 r、g、b 值要求在值要求在 01 之间，之间，max 表示三者中的最大者，表示三者中的最大者，min 表示表示三者中的最小者。三者中的最小者。h 在在 03600；s、l 与与 v 均在均在

8、01 之间。之间。图像检索图像检索 图像检索：图像检索：一般是指给定一个等查询的图像示例，从众多的图像集合中检一般是指给定一个等查询的图像示例，从众多的图像集合中检索与待查询相似的图像作为检索结果。索与待查询相似的图像作为检索结果。查询要求的表达查询要求的表达也可考虑采用自然语也可考虑采用自然语言，这不但机器理解言，这不但机器理解难度大，而且人的精难度大，而且人的精确描述也较困难，同确描述也较困难，同时图像内容的提取也时图像内容的提取也是问题的瓶颈。是问题的瓶颈。问题：问题：从检索的从检索的角度看，图像的特征角度看，图像的特征是什么？如何表达？是什么？如何表达？如何计算图像之间的如何计算图像之

9、间的相似度？相似度？图像的灰度直方图特征图像的灰度直方图特征 图像的灰度直方图：图像的灰度直方图：即按灰度图像（彩色图像可转换为灰度图像）的灰度即按灰度图像（彩色图像可转换为灰度图像）的灰度级统计出每个灰度级下的像素点个数，形成一张直方图。级统计出每个灰度级下的像素点个数，形成一张直方图。以以256级灰度为例，某图像级灰度为例，某图像 P 的灰度直方图如下所示。的灰度直方图如下所示。0 1 2 3 4 255灰度级灰度级78156113429589P：（：（78,156,113,42,95,89）即图像表示成以灰度等级为分量的向量。图像的集合则表示成相同灰度等即图像表示成以灰度等级为分量的向量

10、。图像的集合则表示成相同灰度等级下的矩阵。级下的矩阵。P1：（：（78,156,113,89 ）P2：（：（12,34,147,137）P3：（：（98,578,985,56 ）可见，图像的相似性度量可通过向量之间可见，图像的相似性度量可通过向量之间的相似性度量来实现。如向量的内积、夹角余的相似性度量来实现。如向量的内积、夹角余弦等。另外，该矩阵也可进行归一化处理。弦等。另外，该矩阵也可进行归一化处理。图像的其它直方图特征图像的其它直方图特征 除灰度直方图外，图像的许多特征均可以直方图的方式体现。除灰度直方图外，图像的许多特征均可以直方图的方式体现。1、颜色直方图颜色直方图 即直方图的横坐标为

11、颜色值。显然，对于即直方图的横坐标为颜色值。显然，对于16位彩色图像，则对应的向量将位彩色图像，则对应的向量将达到达到65536维。维。24位彩色图像将达到位彩色图像将达到16777216维。当然可考虑一些降维方法，维。当然可考虑一些降维方法，比如对颜色值进行抽样统计等。比如对颜色值进行抽样统计等。2、HSL空间或空间或HSV空间的直方图空间的直方图 灰度或颜色直方图是在灰度或颜色直方图是在RGB空间下的统计。可将图像转换为空间下的统计。可将图像转换为 HSL 空间或空间或HSV 空间，从而可以统计出相应的空间，从而可以统计出相应的色相直方图、饱和度直方图、亮度直方图色相直方图、饱和度直方图、

12、亮度直方图或色调直方图或色调直方图。3、变换域空间的直方图变换域空间的直方图 可利用可利用信号与系统信号与系统、数字图像处理数字图像处理中的知识，将图像视为信号，中的知识，将图像视为信号，可求出多种变换域特征。如离散傅里叶变换、离散沃尔什变换、离散余弦变换、可求出多种变换域特征。如离散傅里叶变换、离散沃尔什变换、离散余弦变换、小波变换等各种信号处理技术。小波变换等各种信号处理技术。若采用离散傅氏变换，可统计出图像在频域下的频率直方图，从而得到频若采用离散傅氏变换，可统计出图像在频域下的频率直方图，从而得到频域意义下的向量表示。域意义下的向量表示。图像的颜色相干矢量特征图像的颜色相干矢量特征 以

13、灰度直方图为例。在上述的灰度直方图统计中没有考虑某灰度级像素点以灰度直方图为例。在上述的灰度直方图统计中没有考虑某灰度级像素点周围相邻像素点灰度分布的情况。周围相邻像素点灰度分布的情况。相干像素数：相干像素数：即针对每一个灰度等级，若该灰度等级的某像素点周围的相邻像即针对每一个灰度等级，若该灰度等级的某像素点周围的相邻像 素为同一灰度等级，且该区域的像素点个数大于事先指定的阈值素为同一灰度等级，且该区域的像素点个数大于事先指定的阈值 （如该阈值规定为整幅图像像素点个数的（如该阈值规定为整幅图像像素点个数的1%），则该区域内的像），则该区域内的像 素点个数称为相干像素数；否则称为不相干像素数。素

14、点个数称为相干像素数；否则称为不相干像素数。这样，在统计某灰度等级的像素点个数时，会得到两个数，一个是相干像这样，在统计某灰度等级的像素点个数时，会得到两个数，一个是相干像素数，另一个是不相干像素数。图示如下：素数，另一个是不相干像素数。图示如下：233457129320 1 2 255787813447（23,78,34,135,57,129,32,47）不相干像素数不相干像素数相干像素数相干像素数 显然，该方法增加了向量的维数。但包含了图像中灰度等级相同的区域性显然，该方法增加了向量的维数。但包含了图像中灰度等级相同的区域性质的特征。另外，该方法不仅针对灰度直方图，也可考虑应用于其他直方图

15、。质的特征。另外，该方法不仅针对灰度直方图，也可考虑应用于其他直方图。图像的颜色矩特征图像的颜色矩特征 图像的颜色矩：图像的颜色矩：是指图像中每个像素点同一颜色分量的是指图像中每个像素点同一颜色分量的 1 阶矩、阶矩、2 阶矩、阶矩、3阶矩、阶矩、n 阶矩、阶矩、。RGBRGBRGBRGBp1p2p3p4 以以RGB图像为例，图像为例，p1、p2、p3、是像素点编号。是像素点编号。一阶矩一阶矩二阶矩二阶矩三阶矩三阶矩 式中式中 N 为像素点个数。若只用以上为像素点个数。若只用以上 13 阶矩，则一幅图像可用一个阶矩，则一幅图像可用一个 9 维向维向量表达，即量表达，即 图像的颜色矩反映了颜色的

16、分布特征。图像的颜色矩反映了颜色的分布特征。1 阶矩为颜色均值、阶矩为颜色均值、2 阶矩为颜色阶矩为颜色方差、方差、3 阶矩为颜色的偏移性。一般情况下，图像的颜色分布特征仅由低阶矩阶矩为颜色的偏移性。一般情况下，图像的颜色分布特征仅由低阶矩即可表达。即可表达。图像的多特征融合图像的多特征融合 图像的多特征融合：图像的多特征融合：是指将图像的多个特征向量合并为一个向量，以试图是指将图像的多个特征向量合并为一个向量，以试图提高检索精度。提高检索精度。例如，将图像的灰度直方图向量与颜色矩特征进行融合，得到一个向量来例如，将图像的灰度直方图向量与颜色矩特征进行融合，得到一个向量来描述该图像。描述该图像

17、。1、优点是向量中包含了大量的图像信息，检索特征更加全面；、优点是向量中包含了大量的图像信息，检索特征更加全面；2、缺点是增加了向量的维数，使检索计算工作是变大；、缺点是增加了向量的维数，使检索计算工作是变大；3、图像的许多特征均可考虑进行融合；、图像的许多特征均可考虑进行融合；4、在相似性度量时可考虑为不同的特征分量分配不同的权值，以突出不同特、在相似性度量时可考虑为不同的特征分量分配不同的权值，以突出不同特 征在检索时的不同贡献。征在检索时的不同贡献。256个灰度级向量的分量个灰度级向量的分量 颜色矩特征分量颜色矩特征分量图像特征向量的相似性度量图像特征向量的相似性度量1、基于内积的度量、

18、基于内积的度量 借鉴文本相似性度量方法，如向量的内积、向量夹角的余弦、借鉴文本相似性度量方法，如向量的内积、向量夹角的余弦、Jaccard Coefficient 度量等等。如内积度量方法如下：度量等等。如内积度量方法如下：式中式中 M 是向量的维数，是向量的维数，wi 是第是第 i 维的权重，维的权重，ai、bi 分别是图像分别是图像 A、B 的第的第 i 维分量值。维分量值。2、基于距离的度量、基于距离的度量 即借助即借助 M 维空间的各种维空间的各种“距离距离”的定义来进行相似性度量。的定义来进行相似性度量。明氏距离明氏距离 当当 p=2 时为欧氏距离。时为欧氏距离。直方图相交距离直方图

19、相交距离 二次型距离二次型距离 其中其中 C 为颜色的相似度矩阵。为颜色的相似度矩阵。图像的纹理图像的纹理 通过以上的学习，图像检索的关键之一是图像特征的提取问题。前面方法通过以上的学习，图像检索的关键之一是图像特征的提取问题。前面方法所提取的特征与人对图像特征的理解差距是很大的。所提取的特征与人对图像特征的理解差距是很大的。上面的三幅图分别是什么？你是如何识别的？上面的三幅图分别是什么？你是如何识别的？左边的两幅图都是一面墙，左边的两幅图都是一面墙，你认为哪一个更有真实感？你认为哪一个更有真实感？图像的纹理特征图像的纹理特征 关于纹理的定义，目前还没有一个统一的说法。下面列出三个不同说法：关

20、于纹理的定义，目前还没有一个统一的说法。下面列出三个不同说法：1、纹理是一种反映像素的空间分布属性的图像特征，通常表现为局部不规则、纹理是一种反映像素的空间分布属性的图像特征，通常表现为局部不规则 而宏观有规律的特性；而宏观有规律的特性；2、若图像内的局域统计特征变化缓慢或呈近似周期性变化，则可称为纹理；、若图像内的局域统计特征变化缓慢或呈近似周期性变化，则可称为纹理；3、纹理是指在图像中反复出现的局部模式和它们的排列规则。、纹理是指在图像中反复出现的局部模式和它们的排列规则。从不同的认知角度，有许多纹理特征的提取算法，但基本上都是在特定领从不同的认知角度，有许多纹理特征的提取算法，但基本上都

21、是在特定领域图像范围内有一定效果（如针对服装的面料纹理提取）。域图像范围内有一定效果（如针对服装的面料纹理提取）。目前还没有一种算法能够适应千差万别的各种图像内容。目前还没有一种算法能够适应千差万别的各种图像内容。下面简要介绍下面简要介绍灰度共生矩阵灰度共生矩阵特征和特征和Tamura纹理纹理特征。特征。灰度共生矩阵灰度共生矩阵 将图像转换为灰度图像（如将图像转换为灰度图像（如 256 灰度级），则灰度共生矩阵灰度级），则灰度共生矩阵 M(a,b)为为 256 256 矩阵。矩阵元素矩阵。矩阵元素 M(a,b)(i,j)表示灰度级为表示灰度级为 i 和和 j 的两个相距为的两个相距为(a,b)

22、的像素对的像素对出现的次数。出现的次数。aba=3、b=2 时的像素对时的像素对 1 2 3 4 256 1 26 39 2 47 78 3 4256灰灰度度共共生生矩矩阵阵M(3,2)矩阵元素矩阵元素 M(3,2)(1,2)=39 表示按表示按 位置关系遍历整个图像位置关系遍历整个图像统计所有满足该位置关系的像素对所对应的灰度级为统计所有满足该位置关系的像素对所对应的灰度级为 的像素对个数共的像素对个数共计计 39 对。其它矩阵元素值含义与此类同。对。其它矩阵元素值含义与此类同。可见，灰度共生矩阵在某种程度上反映了像素的灰度级在空间上的分布信可见，灰度共生矩阵在某种程度上反映了像素的灰度级在

23、空间上的分布信息。对越细小的纹理，息。对越细小的纹理，a、b 的取值应越小，如的取值应越小，如 M(1,0)、M(0,1)、M(1,1)、M(2,-1)等等灰度共生矩阵示例灰度共生矩阵示例3 3 3 3 37 7 7 7 73 3 3 3 37 7 7 7 7 3 7 256 3 8 7 4256M(1,1)3 7 256 3 8 7 8256M(1,0)3 7 256 3 10 7 5256M(0,1)矩阵中其它元素均为矩阵中其它元素均为0灰度共生矩阵的四个纹理参数灰度共生矩阵的四个纹理参数令令 Mij 表示灰度共生矩阵的第表示灰度共生矩阵的第 i 行第行第 j 列元素值。列元素值。将矩阵元

24、素归一化将矩阵元素归一化，方法为：，方法为：即每个元素值除以灰度共生矩阵中包含的总像素对数。即每个元素值除以灰度共生矩阵中包含的总像素对数。1、二阶矩、二阶矩也称为能量。也称为能量。反映了图像中灰度分布的均匀性。该值越大，灰度分布越均匀。反映了图像中灰度分布的均匀性。该值越大，灰度分布越均匀。2、惯性矩、惯性矩也称为反差、对比度。也称为反差、对比度。反映了图像中灰度等级的差别程度，即视觉上的纹理反映了图像中灰度等级的差别程度，即视觉上的纹理“深浅深浅”程度。程度。该值越大，图像中的灰度等级差别越大。该值越大，图像中的灰度等级差别越大。3、熵、熵反映了图像纹理分布的复杂程度。反映了图像纹理分布的

25、复杂程度。灰度共生矩阵元素分布越分散，即纹理越复杂，灰度共生矩阵元素分布越分散，即纹理越复杂，S 值越大。值越大。灰度共生矩阵的四个纹理参数（续）灰度共生矩阵的四个纹理参数（续）4、相关性、相关性反映了灰度共生矩阵元素在行或列方向上的相似程度。反映了灰度共生矩阵元素在行或列方向上的相似程度。灰度共生矩阵元素值越均匀，灰度共生矩阵元素值越均匀，C 值越大。值越大。以上四个参数即可构成描述图像与纹理有关的向量，即（以上四个参数即可构成描述图像与纹理有关的向量，即（J,G,S,C）。也）。也称为灰度共生矩阵的纹理参数特征。它们当然也可以和图像的其他特征向量进称为灰度共生矩阵的纹理参数特征。它们当然也

26、可以和图像的其他特征向量进行融合作用。行融合作用。据报道，有人利用这四个纹理参数特征进行图像检索，效果还不错。据报道，有人利用这四个纹理参数特征进行图像检索，效果还不错。TamuraTamura纹理参数特征纹理参数特征 Tamura 纹理特征是基于人类对纹理的视觉感知心理学研究，提出了纹理特征是基于人类对纹理的视觉感知心理学研究，提出了 6 种种参数特征：粗糙度、对比度、方向度、线像度、规整度和粗略度。下面简要介参数特征：粗糙度、对比度、方向度、线像度、规整度和粗略度。下面简要介绍前绍前 3 个参数特征。个参数特征。1、粗糙度：、粗糙度：计算方法如下。计算方法如下。对图像对图像 P 的每个像素

27、点（的每个像素点（x,y）在窗口）在窗口 2k2k 内计算其相邻像素的平均值内计算其相邻像素的平均值 （为减少数据量可在灰度图像上运算）。令（为减少数据量可在灰度图像上运算）。令 k=1,2,K。从而形成。从而形成 K 个像素窗口均值矩阵个像素窗口均值矩阵 Pk。PP1PK(x,y)2k(x,y)(x,y)对应窗口内对应窗口内像素均值。像素均值。TamuraTamura纹理粗糙度计算纹理粗糙度计算 由于由于 k=1,2,K，因此，每，因此，每一个像素点会对应一个像素点会对应 K 个水平方向的个水平方向的差值和差值和 K 个垂直方向的差值。在这个垂直方向的差值。在这 2K 个差值中选出最大的差值

28、所对个差值中选出最大的差值所对应的应的 k，该，该 k 值记为值记为 maxk。针对每个像素点，在水平和垂直方向分别计算相邻的非覆盖窗口区域平均针对每个像素点，在水平和垂直方向分别计算相邻的非覆盖窗口区域平均 值之差。即值之差。即水平方向水平方向垂直方向垂直方向PkPk2k-12k-1abPkPk2k-12k-1ab 所有像素点的所有像素点的 Sbest(x,y)取均值定义为图像的粗糙度。即取均值定义为图像的粗糙度。即由此，每个像素点对应一个值，即由此，每个像素点对应一个值，即 Sbest(x,y)=2maxk。TamuraTamura纹理对比度与方向性特征计算纹理对比度与方向性特征计算2、对

29、比度：、对比度：为均值的为均值的 4 阶矩阶矩为方差为方差3、方向度：、方向度：即计算每一个像素点灰度等级（或颜色值）变化的梯度方向，从即计算每一个像素点灰度等级（或颜色值）变化的梯度方向，从 而形成梯度方向矩阵。而形成梯度方向矩阵。式中，式中，分子和分母分别表示相邻像素点的水平和分子和分母分别表示相邻像素点的水平和垂直方向灰度差（或颜色值）。注意，当分母为零时垂直方向灰度差（或颜色值）。注意，当分母为零时按分子的正负，梯度取值为按分子的正负，梯度取值为 对对 至至 进行均匀采样，按值相近原则将梯度进行均匀采样，按值相近原则将梯度矩阵中的值统计成直方图。可见，若图像中有明显条矩阵中的值统计成直

30、方图。可见，若图像中有明显条纹时，在梯度直方图中将出现明显的峰值。纹时，在梯度直方图中将出现明显的峰值。23169421 该直方图即可构成一个向量，用于描述图该直方图即可构成一个向量，用于描述图像方向性纹理特征。向量维数由角度值的采样像方向性纹理特征。向量维数由角度值的采样间隔决定。间隔决定。图像检索小结图像检索小结1、本讲所介绍的图像特征都是图像的底层特征；、本讲所介绍的图像特征都是图像的底层特征；2、图像的高层特征，诸如图像中物体的边缘检测与提取，、图像的高层特征，诸如图像中物体的边缘检测与提取，采用面积、周长、采用面积、周长、偏心率、角点、链码、兴趣点、傅里叶描述子、矩描述子等参数描述；偏心率、角点、链码、兴趣点、傅里叶描述子、矩描述子等参数描述；3、还有各种变换域特征，以及空间位置关系的特征等等。、还有各种变换域特征，以及空间位置关系的特征等等。4、以上内容涉及到许多、以上内容涉及到许多数字图像处理数字图像处理中的相关知识及新技术、新方法。中的相关知识及新技术、新方法。5、图像检索的相关反馈问题。、图像检索的相关反馈问题。6、另外，还有音频、视频信息检索问题。、另外，还有音频、视频信息检索问题。