基于内容的图像检索

基于内容的图像检索技术相关知识点及应用。

基于内容的图像检索技术

相关知识：/view/5529743.htm

一、概述

基于内容的图像检索技术是一种综合集成技术,它通过分析图像的内容,如颜色、纹 理等,建立特征索引,并存储在特征库中。用户在查询时,只要把自己对图像的模糊印象描 述出来,就可以在大容量图像库中找到想要的图像。

基于内容的图像检索技术与其它相关学科的主要区别是:首先,它是一种信息检索技

术,应能从大型分布式数据库中以用户可以接受的响应时间及尽量与领域无关的方式(在 需要时也可以是与领域相关的)检索到想要的图像信息。它可以不去理解图像中的对象, 更关注的是信息的快速查询和发现。举个例子来说,用户想买一辆红色汽车,那么他选定 了红色和汽车轮廓,数据库系统就能返回所有红色汽车的图像,从而帮助用户快速找到目 标。

其次,作为一种多媒体技术,它具有很强的交互性,即用户可以参与检索过程。 最后,它引入了特征库和知识辅助的概念。用特征库保存描述图像内容的特征,知识 辅助有利于查询优化和快速匹配。

从图像检索的应用角度出发,除了采用传统的结构化查询方法以外,还可以采用可视 的示例查询方式。具体可以分为以下几种:

1.准确实例检索和查询

准确实例检索和查询(Retrieval And Query By Exact Example)针对用户给出的确

切查询实例,如用户拿到某地区的照片或图样,需查询有关该地区的其它信息,这种查询称 作完全的实例查询。由于用户可以给出要求查询的原图像,检索可以针对图像的任何特征 进行,因此,相对来说比较容易。

2.模糊实例查询

在基于内容的查询中,大部分查询实际上都是模糊实例查询(Retrieval And Query By Fuzzy Example)。因为在很多情况下,用户无法给出一个完全的例子,往往只能给出( 或者说从一部分示例中选择出)一个想要检索的图像的例子,然后系统依照这个例子查找 与它相似的图像,并将相似结果返回给用户,用户可以在这些相似的结果中决定或再次选 择更接近用户查询的图像,从而进行下一次相似性计算,以达到模糊检索的目的。目前,大 部分QBE(Query By Example)所用的实际上都是这种模糊查询。

3.描绘示例检索和查询

描绘示例检索和查询(Retrieval And Query By Describable Example)是针对用户

给出的所需图像的粗略结构化描述进行处理。如用户提供一个(可能是画的)需查找图像 的"形状"的粗略轮廓,在这种情况下,一般没有一个完全的实例,因此,只有用一些局部特 征,这时需要抽取这些局部特征,如形状或每个形状所定义的在图像中空间定位的相关结 构。对于形状的每个部分,必须在库中找到相应的形状,并返回相应的图像集。

不论哪种查询方法,都需要针对图像的具体特征进行匹配检索。在实际应用中,用户

一般对颜色、纹理、形状以及目标的空间关系等特征比较敏感。下面就常用的特征介绍 几种基于内容的图像检索方法。

二、基于颜色特征的检索

基于内容的图像检索技术相关知识点及应用。

颜色特征是图像最直观、最明显的特征,一般用直方图描述。直方图的横轴表示颜色 等级,纵轴表示在某一个颜色等级上具有该颜色的象素在整幅图像中所占的比例。以直方 图为特征的常用的匹配方法有:

1.矢量距离法

以图像的直方图在各个灰度级上的值构成特征矢量,按照欧氏距离公式计算特征矢量 之间的距离,以这个距离值代表图像之间的差别程度。试验证明,如果选择合适的彩色空 间,那么,欧氏距离与人感觉的颜色差别是一致的。

2.直方图交叉法

取两幅图像的直方图在各个灰度级上的较小值,累加后即表示图像之间的相似程度。 这种相似度实际上表示两幅图像的公共部分。

3.直接差值法

把直方图在各个灰度级上的值对应相减,并做归一化处理,用差值代表图像之间的差 别。如果两幅图像内容一样,则相似度为1。相似度值越小,表示图像间差别越大。 另外,根据图像的不同特点,可以采用不同的方法对图像进行预处理,然后用直方图进 行匹配,以满足不同的检索要求。

认知科学及视觉心理学证明,人类不能像计算机显示器那样只使用RGB(红、绿、蓝) 成份感知颜色,因此,选择一个适合于人类视觉特征的颜色空间可以改善检索效果。 实验证明,HSV模型是一种适合人眼分辨的模型,在基于内容检索中用这种模型更适合 用户的肉眼判断。这种颜色模型把彩色信号表示为三种属性:色调(Hue)、饱和度(Satur ation)和亮度(Value)。色调H表示从一个物体反射过来或透过物体的光波长,亮度V是颜 色的明暗程度,色度或饱和度S指颜色的深浅。例如,同样是红色,会因浓度不同而分为深 红和浅红。一般一幅图像的颜色非常多,尤其是真彩色图像,因此,直方图矢量的维数也会 非常多。如果对HSV空间进行适当的量化后再计算直方图,则计算量要少得多。所以,将H 、S、V三个分量按照人的感知进行非等间隔量化,然后通过数学公式把HSV三维空间中的 特征矢量转换为一维空间中的特征矢量。转换工作会带来误差,但对检索结果影响不大。 由于所采用的彩色空间与人的感知是一致的,因此,用转换后的直方图计算的差值对应于 感知上的差别,这样可以比较明显地区分颜色上不相似的图像。

虽然直方图特征计算简单,但不能反映图像中对象的空间特征。颜色对(Color Pair )方法可以解决这个问题。该方法把图像分成相同大小的若干个小块,那么,每一个小块与 相邻的小块构成颜色对。考虑每个小块与周围8个小块的颜色距离,距离越大,说明相邻小 块的差别越明显,于是,可以认为这两个小块分别属于目标和背景,反之则属于同一目标或 背景。这样,目标的空间特征就表现出来了。首先计算颜色对之间的距离,然后选择若干 个距离值较大的颜色对代表查询图像的特征,这一过程如下图所示。

@@0314400.JPG;图1 颜色对检索方法@@

主色调查询主要使用颜色特征。主色调能够代表一幅图像的基本概貌,如蓝色主色调 往往与大海或蓝天的图像相关,如果用户想要查找大海的照片,则可以指定蓝色作为主色 调。但主色调仅仅反映了图像的大致情况,由于人的肉眼的分辨率有限,因此,可以选取两 种以上颜色作为主色调。

有时,用户只想找具有某种颜色的目标,而对背景并不感兴趣。在这种情况下,必须将 图像目标标识出来,即对图像进行分割,将背景滤掉。目前已有不少分割算法。在具体应 用中,可以根据图像分割算法由计算机自动分割,也可以人工参与进行半自动分割。对分 割后图像目标的颜色进行检索,可以满足用户基于色彩的模糊查询。

基于内容的图像检索技术相关知识点及应用。

三、基于纹理特征的检索

纹理是图像中一个重要而又难以描述的特性。很多图像在局部区域内可能呈现出不

规则性,而在整体上却表现出某种规律性。习惯上把图像中这种局部不规则而整体有规律 的特性称之为纹理。从人类的感知经验出发,纹理特征主要有粗糙性、方向性和对比度, 这也是用于检索的主要特征。

已有不少纹理分析方法,大致可分为两类。

1.统计方法

用于分析像木纹、沙地、草坪等细致而不规则的物体,并根据关于象素间灰度的统计 性质对纹理规定出特征及特征与参数间的关系。

2.结构方法

适于像布料的印刷图案或砖瓦等一类元素组成的纹理及其排列比较规则的图案,然后 根据纹理基元及其排列规则来描述纹理的结构及特征、特征与参数间的关系。 由于纹理难以描述,因此,对纹理的检索都采用QBE(Query By Example)方式。另外,

为缩小查找纹理的范围,纹理颜色也作为一个检索特征。通过对纹理颜色的定性描述,把 检索空间缩小到某个颜色范围内,然后再以QBE为基础,调整粗糙度、方向性和对比度三个 特征,逐步逼近要检索的目标。

检索时首先将一些大致的图像纹理(可采用Brodatz的纹理相薄)以小图像的形式全部 显示给用户,一旦用户选中了其中某个与查询要求最接近的纹理形式,系统则以查询表的 形式让用户适当调整纹理特征,如方向上"再偏西一点",粗糙度上"再细致一些",或对比度 "再强一些"等,通过将这些概念转换为参数数值进行调整,并逐步返回越来越精确的结果 。

四、基于形状特征的检索

形状特征是图像目标的一个显著特征,很多查询可能并不针对图像的颜色,因为同一 物体可能有各种不同的颜色,但其形状总是相似的。如检索某辆汽车的图像,汽车可以是 红的、绿的等,但形状决不会如飞机的外形。另外,对于图形来说,形状是它唯一重要的特 征。

从图像中提取的目标边缘称为轮廓。基于形状或轮廓的检索是基于内容检索的一个 重要方面,它能使用户通过勾勒图像的形状或轮廓,从图像库中检索出形状相似的图像。 一个封闭的形状具有许多特征,如形状的拐点、重心、各阶矩,以及形状所包含的面积与 周长比、长短轴比等。对于复杂的形状,还有孔洞数及各目标间的几何关系等。图形特征 还包括其矩阵表示及矢量特征、骨架特征等。

基于形状特征的检索方法有两种:

(1)分割图像经过边缘提取后,得到目标的轮廓线,针对这种轮廓线进行的形状特征检 索。

(2)直接针对图形寻找适当的矢量特征用于检索算法。处理这种结构化检索更为复杂 ,需做更多的预处理。

基于形状的检索更多地用于当用户粗略地画出一个轮廓进行检索的情况。这种轮廓 可以是用户凭借脑子中的印象徒手画出来的,也可以是通过系统提供的基本绘图工具"拼 凑"的。这两种情况都有一个特点,即提供的形状只是欲检索形状的粗略描述,它从大小、 方向或整体结构上都可能与真正要查的图形有较大出入。因此,基于形状检索的难点在于 寻找能够检索与大小、方向及扭曲伸缩无关的方法。因此,同时采用三个特征作为形状特 征,即长/短轴比、周长2/面积比、最近与最远点的连线间的夹角。这三个特征对形状的

基于内容的图像检索技术相关知识点及应用。

大小变化与旋转都不变。其中长短轴分别定义为形状质心到形状边缘最远点或最近点的 连线。

五、检索效果评价方法

基于内容的图像检索方法很多,在具体应用中只有采用恰当的检索算法才能得到满意 的结果。因此,需要对这些算法进行评估,比较其优劣。检索算法评价方法能够在相同的 条件下找出最佳算法。在目前已有的一些评价准则中,主要有以下两种:

1.以查全率和查准率为基准的方法

查全率和查准率一般定义为:

查全率=检索到的相关图像数目/所有相关图像数目;

查准率=检索到的相关图像的数目/已检索出的图像数目。

为了评价算法的优劣,用户可以选定含有特定目标的图像作为一组相关图像,然后根 据返回的结果计算查全率和查准率。查全率和查准率越高,说明该检索算法越有效。

2.排序评价方法

如果图像匹配采用相似性比较,那么,根据不同的相似性尺度,返回的图像数目可能不 同,此时采用该方法。方法是:

(1)选定一定数目的含有特定目标的相关图像,如水池、草坪、人与人会谈等。

(2)固定返回图像的数目,把返回的图像按相似性大小排序。

(3)计算有关返回图像的排序评价指标。比如计算检索到的相关图像在所有返回图像 中的序号平均值。在理想情况下,所有相关图像都排在最前面,因此,平均值越小,表明检 索算法越好。还可以计算丢失的相关图像占所有返回图像的比例,这个值越小,表明成功 率越高。

基于内容的图像检索技术由于能够根据图像的可视内容产生查询,从而方便了用户,

因此在许多领域具有广泛的应用前景。如艺术馆和博物馆馆藏资料的管理、地球资源遥 感图像的检索、建筑和工程设计图纸的查询、时装设计以及犯罪记录调查等,尤其是计算 机网络技术和通信技术的发展,未来在网络购物和交互式电视方面,这项技术大有用武之 地。

本文来源：https://www.bwwdw.com/article/eus4.html