蔬菜图像的模式识别技术应用

中北大学2014届本科毕业论文

摘要

图像识别技术是人类视觉认知的延伸，是人工智能的一个重要领域，随着计算机技术和人工智能技术的发展，图像识别技术越来越成为人工智能的基础技术。蔬菜图像的识别是当今各农产品市场急需采用的一项人工智能技术。如何有效的对蔬菜图像进行处理，并提取其特征是蔬菜图像识别技术的核心问题。本文以蔬菜图像的分割为主线，利用3种方法对分割后的蔬菜图像进行特征提取，并验证其有效性。

首先，蔬菜图像的分割的目的是将蔬菜图像的背景进行去除，仅保留蔬菜图像的前景部分。为此，需要将蔬菜图像的前景部分与背景部分进行区别。实验表明，利用K均值聚类算法辅以形态学操作能有效地对蔬菜图像进行分割。

对分割后的蔬菜图像进行特征提取，分别提取颜色一致性矢量（CCVs）、和差直方图矢量（SDH）及边界/内部像素分类（BIC）特征矢量作为图像的特征。利用提取出的特征矢量，对同种类的蔬菜图像和不同种类的蔬菜图像进行比较，以验证矢量的有效性。实验证明相似图像之间的矢量距离值较小，相似度较大，因此提取出的特征矢量能做为图像的特征。

关键词：图像分割，图像特征提取，K均值聚类，颜色一致性矢量（CCVs），和差直方图（SDH），边界/内部像素分类（BIC）

中北大学2014届本科毕业论文

Abstract

Image recognition technology is an extension of the human visual cognition and an important field of artificial intelligence.With the development of computer technology and artificial intelligence technology, image recognition technology has become the basis of artificial intelligence technology.Vegetable image identification as an artificial intelligence technology is an urgent need of today's various markets for agricultural products.How to effectively dealing with the vegetable image processing, and extracting its characteristics is the core issue of vegetable image recognition technology. Vegetable image segmentation is the main line of this paper and we use three methods for feature extraction, and verify its effectiveness.

First of all, the purpose of image segmentation is image background removal, retaining only prospects of the picture.To do this, we need to distinguish the foreground part and background part of the image.Experimental results show that using K-Means clustering algorithm with morphological operation can effectively segment vegetable image.

For the image of vegetables after segmentation ,we need to extract their features.In this paper ,we extract color consistency vector (CCVs), difference histogram vector (SDH) and boundary/internal pixels classification feature vectors (BIC) as characteristics of the image. In order to verify the validity of the vector,using the feature vectors to compare different images,both of the same kind of vegetables images and different kinds of vegetables images. Experiments prove that the smaller values of the vector distance between similar images, the bigger similarity is, so the extracted feature vector can as a characteristic of the image.

Key words:image segmentation, image feature extraction, K-Means clustering, color consistency vector (CCVs), difference histogram vector (SDH), boundary/internal pixels classification feature vectors (BIC)

中北大学2014届本科毕业论文

目录

1 绪论 .................................................................. 1 1.1 课题研究的目的与意义 ............................................ - 1 - 1.2 蔬菜识别的发展概况 .............................................. - 1 - 1.3 机器视觉及模式识别 .............................................. - 1 - 1.3.1 机器视觉 ...................................................... - 1 - 1.3.2 模式识别 ...................................................... - 2 - 1.4 论文的主要工作 .................................................. - 3 - 1.5 论文的内容安排 .................................................. - 3 - 2 蔬菜图像预处理 ........................................................ 5 2.1 图片数据 ........................................................ - 5 - 2.2 蔬菜图像的简单预处理 ............................................ - 6 - 2.2.1 图像的灰度化 .................................................. - 6 - 2.2.2 图像的二值化 .................................................. - 6 - 2.3 蔬菜图像的分割 .................................................. - 7 - 2.3.1 具有封闭外层轮廓的蔬菜图像的背景去除算法 ...................... - 7 - 2.3.2 K-Means聚类算法 ............................................... - 8 - 2.3.3 含阴影图像的分割算法 ......................................... - 11 - 2.4 实验结果与分析 ................................................. - 13 - 2.5 本章小结 ....................................................... - 15 - 3 蔬菜图像的特征提取 ................................................... 18 3.1 颜色特征提取 ................................................... - 17 - 3.1.1 颜色一致性特征矢量CCVs ....................................... - 17 - 3.2 纹理特征提取 ................................................... - 22 - 3.2.1 和差直方图特征矢量SDH ........................................ - 23 - 3.3 形状特征提取 ................................................... - 25 - 3.3.1 边界/内部像素分类特征矢量BIC ................................. - 26 - 3.4 实验结果与分析 ................................................. - 28 - 3.5 本章小结 ....................................................... - 29 -

中北大学2014届本科毕业论文

4 全文总结与展望 ................................................... - 30 - 4.1 全文总结 ....................................................... - 30 - 4.2 展望 ........................................................... - 30 - 参考文献 ............................................................ - 33 - 致谢 ................................................................ - 32 -

中北大学2014届本科毕业论文

1 绪论

1.1 课题研究的目的与意义

智能识别蔬菜是当今各农产品市场及超市急需采用的一项技术。由于，蔬菜的采购批发是一项繁重的工作，对于批发商来说，在采购蔬菜时，往往在蔬菜的量上和种类上会达到一定要求。传统的采购方式不但费时，而且会受到人为的因素影响导致相似种类蔬菜的误判。智能化蔬菜识别技术不但有利于蔬菜的规模化采购，而且能精确地将蔬菜进行分类。因此研究一个智能化的蔬菜识别系统，必然可以改善人们的生活质量。蔬菜图像的预处理及特征提取方法研究正是蔬菜识别系统开发过程中两个核心的问题，对于有效的蔬菜识别系统至关重要。 1.2 蔬菜识别的发展概况

目前，国内外在图像识别领域已经开展了很多研究工作。传统的模式识别方法考虑到图像的颜色、纹理、形状等特征(Stehling et al., 2002; Unser, 1986; Pass et al.,1997)，Heidemann (2004)在此基础上又提出了一种利用直方图、颜色及形状特征来自动进行图像分类的无监督训练方法。

关于农产品分类问题，Veggievision(Bolle et al., 1996) 首次提出超市农产品识别系统，该系统是利用图像的颜色、纹理及维度特征。由于，该系统研制时间较早，并未利用现今图像领域发展的优势，存在很多不足之处。事实上，农产品的分类问题可以看作是目标识别问题的一个特例。目前，Agarwal et al. (2004)和Jurie and Triggs (2005)提出了利用目标图像中的特殊区域来识别的物体的方法。这种方法称作特征包，效果理想。 1.3 机器视觉及模式识别

视觉是人类最高的感知器官，人类感知外界信息，80%以上是通过视觉得到的，而图像实际上是对这种感知能力的一种认为的增强方式，也就是说人通过图像对客观物体建立明确意义的描述。随着数字图像处理技术的成熟，图像作为人类感知外部世界更丰富而直接的载体，正成为越来越重要的研究对象。人们利用计算机等设备模拟人的视觉来采集图像并进行数字信号转换也通过计算机实现对图像的传输、处理与理解等视觉信息处理的全过程形成了一门新学科机器视觉。同时机器视觉处理的原始信息又多为图像，因此该领域又和数字图像处理和模式识别有十分密切的关系。 1.3.1 机器视觉

机器视觉，是指由人类设计并在计算机环境下实现的模拟或在现与人类视觉有关的某些智能行为的技术。如对印刷与手写文字识别，图像模式识别和物体三维表面的形状

- 1 -

中北大学2014届本科毕业论文

知识感知等。机器视觉技术是多学科的交叉与结合，它涉及到计算机、数学、光学、心理学、生理学、物理学、信号处理等诸多学科。研究机器视觉的目的是要实现对人类视觉的模拟和延伸，换而言之，对模拟高等动物的视觉系统而言，完成对物体的形状和类别的识别是最重要的。同时计算机视觉处理的原始信息多是图像，因此该领域又和图像处理及模式识别有着十分密切的关系。

从应用的观点来看，计算机视觉这一课题的研究是很明确的:从计算机对图像分析与理解的角度，计算机视觉的任务可以划分为两个层次:低层次的方法很少使用图像内容的知识，如降低图像的噪声的图像预处理，对比度增强和图像的尖锐化;低层次的方法一般是以输入、输出都是图像为特点。高层次的方法涉及图像分割(把图像分为不同区域或目标物)，从图像中提取特征(边缘、轮廓物体标识)，从而完成对被识别物体的总体理解。 1.3.2 模式识别

模式识别是对表征事物或现象的各种形式的(数值的、文字的和逻辑关系的)信息进行处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程，是信息科学和人工智能的重要组成部分。模式识别是一种从大量信息和数据出发，在专家经验和已有认识的基础上，利用计算机和数学推理的方法对形状、模式、曲线、数字、字符格式和图形自动完成识别的过程。模式识别研究主要集中在两个方面，即研究生物体(包括人)是如何感知对象的，属于认知科学的范畴，以及在给定的任务下，如何用计算机实现模式识别的理论和方法。前者是生理学家、心理学家、生物学家和神经生理学家的研究内容，后者通过数学家、信息学专家和计算机科学工作者近几十年来的努力，已经取得了系统的研究成果。

模式识别通常包括相互关联的两个阶段，即学习阶段和测试阶段，前者是对样本进行特征选择，寻找分类的规律并进行学习的过程，后者是根据分类规律对未知样本集进行分类和识别的过程。广义的模式识别属于计算机科学中智能模拟的研究范畴，内容非常广泛，包括声音和语言识别、文字识别、指纹识别、声纳信号和地震信号分析、照片图片分析、化学模式识别等等。模式识别问题一般包括以下三种主要的方法:

统计模式识别方法:统计模式识别方法是受数学中的决策理论的启发而产生的一种识别方法，它一般假定被识别的对象或经过特征提取的向量是符合一定分布规律的随机变量。其基本思想是将特征提取阶段得到的特征向量定义在一个特征空间中，这个空间

- 2 -

中北大学2014届本科毕业论文

包含了所有的特征向量，不同的特征向量，或者说不同类别的对象都对应于空间中的一点。在分类阶段，则利用统计决策的原理对特征空间进行划分，从而达到识别不同特征的对象的目的。统计模式识别中应用的统计决策分类理论相对比较成熟，研究的重点是特征提取。

人工神经网络模式识别:人工神经网络的研究起源于对生物神经系统的研究。人类以及很多高级动物都具有很强的模式识别能力，这些都是因为它们具有发达的神经网络系统。人工神经网络是根据生物神经学原理而建立的人工网络模型，保持了生物神经网络的许多能力与优良特性。人工神经网络区别于其他识别方法的最大特点是它对待识别的对象不要求有太多的分析与了解，具有一定的智能化处理的特点。

句法结构模式识别:句法模式识别也称结构法模式识别，每个模式利用它的各个部分(称为子模式或者模式基元)的组合表示。利用模式的结构与语言的句法之间的相似性，模式的识别常以句法分析的方式进行，即依据给定的一组句法规则来分析模式的结构。句法结构模式识别着眼于对待识别对象的结构特征的描述。

在上述三种方法中，统计模式识别是经典的分类识别方法，在图像模式识别中有着非常广泛的应用[1]、[2]。 1.4 论文的主要工作

一、蔬菜图像预处理。本部分主要针对蔬菜图像背景的去除进行研究，并将所采集的蔬菜图像分两种情况：1、具有封闭外层轮廓的图像（如：包菜、萝卜、西红柿等）。2、其他图像。针对这两种图像，以K-Means聚类算法为主要的手段进行分割。

二、蔬菜图像的特征提取。本部分主要提取图像的三种特征：颜色一致性特征矢量（CCVs）、和差直方图特征矢量（SDH）、边界/内部像素分类特征矢量（BIC）。其中CCVs属于图像的颜色特征，SDH属于图像的纹理特征，BIC属于图像的形状特征。最后，利用提取出的图像特征矢量来比较图像之间差别。 1.5 论文的内容安排

第一章 绪论。阐述了课题研究的目的和意义。介绍了蔬菜识别的发展概况，以及对当

前国内外有关农产品识别的研究工作进行了简要概述。指出了本文的研究工作。

第二章 蔬菜图像预处理。介绍了图像预处理过程中几个基本的变换。确定了本文图像

分割的主要手段，即K-Means聚类算法，并对其进行了详细的阐述。

第三章 蔬菜图像的特征提取。首先对常用的图像颜色、纹理、形状特征进行了阐述。

- 3 -

中北大学2014届本科毕业论文

然后确定了本文所采用的特征提取方法，即颜色一致性矢量（CCVs)、和差直方图（SDH）、边界/内部像素分类（BIC）。并将所提取出的图像特征矢量用于图像之间的比较，验证其有效性。

第四章 全文总结与展望。对论文研究工作进行回顾总结。

- 4 -

中北大学2014届本科毕业论文

2 蔬菜图像预处理

2.1 图片数据

本论文所采用的照片大小均为640×480。每幅图像均RGB颜色空间形式存储，每一个颜色通道占用8bit。各图像均为光照均匀图像。每一种类蔬菜图像5张，分别为5种不同的摆向，共9种蔬菜。图2.1为各种类蔬菜的原始图像。

（a） 菠菜 （b） 包菜 （c） 花菜 （d） 黄瓜 （e） 韭菜 （f） 萝卜 （g） 芹菜 （h） 青菜 （i） 西红柿 图2.1 9类蔬菜的原始图像

- 5 -

中北大学2014届本科毕业论文

2.2 蔬菜图像的简单预处理

由于本设计对精度要求不高，实现图像的特征提取即可，且图像的前景与背景像素值差较大，所以本设计只对图像进行简单的灰度变换及二值处理，更多侧重图像前景的分割。

2.2.1 图像的灰度化

由于彩色图像较为复杂，使得图像处理的很多算法都没法展开，因此有必要对它进行灰度处理，即图像中的每一个像素的R、G、B值相等。图2.2为包菜图像灰度化后的图像。

图2.2 包菜图像灰度化后的图像

2.2.2 图像的二值化

在进行了灰度化处理之后，图像中的每一个像素只有一个值，那就是图像的灰度值，他们的大小决定了像素的亮暗程度，在本系统中需要获取几何形状特征参数，所以还要对已经进行了灰度处理后的图像进行二值化处理，用几何学中的概念进行分析和特征描述。蔬菜灰度图像的二值化处理方法：

设f(i,j)表示像素在(i,j)位置的灰度值，二值化可以按照下式进行：

?255 f(i,j)=?

?0f(i,j)?tf(i,j)?t 式2.1

式中t为二值化阈值。如果阈值过大会增加许多虚假信息，阈值过小有会丢失许多信息，所以阈值的选取很重要[3]。图2.3为包菜图像二值化后的图像。

图2.3 包菜图像二值化后的图像

- 6 -

中北大学2014届本科毕业论文

2.3 蔬菜图像的分割

对于本设计的图像分割，目的是将图像的前景与背景区分开来，以便提取出前景部分的特征。

2.3.1 具有封闭外层轮廓的蔬菜图像的背景去除算法

观察采集的蔬菜图像，发现包菜、西红柿等蔬菜图像都具有封闭的外层轮廓，若能将它们的外层轮廓线提取出来，则可以以该轮廓线为界，里面为前景部分，外面为背景部分。为了使蔬菜图像的外层轮廓显现出来，先对二值化后的图像利用Canny算子进行边缘检测。图2.4为二值化的包菜图像进行边缘检测后的图像。

图2.4 包菜图像边缘检测后的图像

算法说明：

一、外层轮廓的跟踪。首先，对像素的8邻域进行编码，使得像素点的8个邻域方向均可以用数字代替。然后，置图像最左端为起始点，按逆时针方向搜寻邻近点，其中像素点8个邻域方向分别标记为0，1，2，3，4，5，6，7。当搜寻到第一个白色点时，记为起始点。通过前一次搜寻的次数K来确定下一次搜寻的方向Ki。依次下去，直至下一搜寻点为起始点时，跟踪完毕[4]、[5]、[6]。图2.5为包菜图像外层轮廓线图像。

图2.5 包菜图像外层轮廓线图像

二、轮廓填充。为使前景部分保留下来，将提取出的轮廓线内部填充为白色。然后将填充后的图像与原图像逻辑与操作则可以达到去除图像背景的目的。图2.6为包菜图像内

- 7 -

中北大学2014届本科毕业论文

部填充后的图像。

图2.6 包菜图像填充后的图像

三、背景去除。将填充后的图像与原图像逻辑与操作，即将背景去除。图2.7为背景去除后的包菜图像。

图2.7 包菜图像去除背景后的图像

2.3.2 K-Means聚类算法

封闭外层轮廓的蔬菜图像的背景去除算法仅仅适合于图像前景与背景像素灰度区别较大，且提取出来的前景外侧轮廓线是封闭的情况。对于前景与背景灰度区别较小的情况,则不能通过这种方法来进行分割。为此，需要寻找一种更加通用的方法。

K-Means聚类算法是一种自适应搜索算法，其基本思想是：通过迭代不断调整聚类中心，最终将数据集中的个体划分为K类，使其所有个体到所属类的类中心的欧式距离之和最小。

算法说明：

设由n个数据点组成的数据集为X=｛xi|xi∈R，i=1,2,…,n｝,每个数据点xi是由d个表征其特征的数据组成的向量。K均值聚类的目标是将这n个数据点划分成K类组成聚类集C=｛ck|k=1,2,…,K｝,其中ck类的类中心设为uk，定义被划分到ck类的点

d

- 8 -

中北大学2014届本科毕业论文

xi到类中心uk的欧式距离为：

D(xi,uk)=

?(xij?ukj)j?1d2 (xi∈ck) 式2.2

那么，所有被划分到ck类的点xi到该类的类中心uk的欧式距离之和为：

M（ck）=

xi?ck?D(xi,uk) 式2.3

式2.3中统计的是聚类集C中的第k个划分子类ck中的点到该类中心的欧式距离之和。那么，将聚类集中的各个子类都统计一次，就得到了数据集中的所有点xi到其所属类的类中心的欧式距离之和为：

S（xi）=?M(ck)=?k?1KKk?1xi?ck?D(xi,uk)=???iD(xi,uk) 式2.4

k?1i?1Kn?1,if?其中，?i=??0,if?xi?ckxi?ck。由此可见，要使式2.4中的S（x）的值最小，类中心uk应i取该聚类子集ck中各数据点的平均值。K均值聚类的迭代过程可以描述为如下过程[7]： ①：按照最大化最小化原则，选定K个数据点作为K个子类划分的初始类中心。 ②：计算各数据点到类中心的欧式距离，按照最近邻原则将其划分到各类中心表示的子

类中，得到K个子类数据集。

③：计算各个子类数据集中各点的平均值，把该平均值作为该子类新的类中心。 ④：计算所有数据点到其所属类中心的欧式距离之和S（xi），判断类中心和S（xi）的值是否发生改变。如果是，就转到第（2）步；如果否，就转到第（5）步。 ⑤：终止迭代，算法结束。

算法改进：

由于K均值聚类算法对初始类中心的依赖性较大。若是随机的选择聚类初始类中心，最终分割出的图像存在着很大的不稳定性。为此，给初始类中心的选择添加一个限定条

- 9 -

中北大学2014届本科毕业论文

件：使初始类中心的均值等于利用最大类间差值法（大津法）[8]、[9]分割图像时的阈值。 K-Means聚类算法用于蔬菜图像分割的步骤： ①：将图像缩小尺寸至原来的1/4，记为 I1 。

②：将彩色图像I1从RGB颜色空间转至HSV颜色空间。 ③：提取出HSV颜色空间中图像的3个通道的图像 。

④：对该3个通道的图像进行聚类，观察效果，选取效果最好的通道图像，记为I2。 ⑤：将I2尺寸放大至原始图像尺寸。

图2.8为包菜图像由RGB颜色空间转化为HSV颜色空间后，3个通道的图像。观察可知，V通道图像前景部分和背景部分差别较大，因此选择V通道图像来进行图像的聚类。

(a) H通道图像 (b) S通道图像 (c) V通道图像 图2.8 包菜图像HSV颜色空间下3通道图像

图2.9为各种类蔬菜聚类后图像。

(a) 青菜 (b) 包菜 (c) 芹菜 - 10 -

中北大学2014届本科毕业论文

(d) 韭菜 (e) 菠菜 (f) 花菜 图2.9 各类蔬菜聚类后的图像

2.3.3 含阴影图像的分割算法

对于含有阴影的图像，使用K均值聚类算法则不能起到很好的分割效果，阴影区域和前景图像聚类在一起了，如图2.10所示。

含阴影的黄瓜图像 K-Means算法分割后的图像 含阴影的茄子图像 K-Means算法分割后的图像 图2.10含阴影的蔬菜图像分割后的图像

若对K均值聚类算法分割后的图像再次进行聚类分割，实验发现，再次聚类后，很

- 11 -

中北大学2014届本科毕业论文

好的将与阴影同侧的轮廓线凸显出来了。但同时，前景其他部分内容随同阴影一同被去除了，如图2.11所示。

图2.11 黄瓜图像二次分割后的图像

观察图2.11，前景中丢失的内容肯定是在聚类的过程中，同阴影部分聚类在一起了。为此，需要将这部分内容与阴影部分进行区分。由阴影区域的性质可知，其区域较为光滑，像素较为一致，波动小。而黄瓜表明则相对粗糙，像素值波动较大。基于这一区别，利用梯度算子来将两部分区分开来，如图2.12所示，已经对其进行了膨胀，腐蚀等处理，其中白色部分是梯度值大于所设定的梯度阈值的部分，黑色反之。

图2.12 梯度化操作后的图像

观察黄瓜图像分割后的图像和图2.12，可以发现若将两幅图像进行逻辑与操作，则可以大致得到图2.11所丢失的那部分前景内容（注意，不完全是丢失的那部分），再将与操作后的图像与图2.11进行或操作，则可以将阴影部分给去除了，如图2.13所示。

- 12 -

中北大学2014届本科毕业论文

黄瓜 茄子 图2.14 含阴影的蔬菜图像分割后的图像

2.4 实验结果与分析

观察图2.9可以发现花菜图像聚类后边缘存在着很多的噪声，针对这种情况，考虑将具有封闭外层轮廓的蔬菜图像的背景去除算法与K-Means聚类算法结合起来。因为，若直接对图像进行外层轮廓跟踪，则可能因为边界部分像素与背景像素差异不大，导致不能得到一封闭的外层轮廓。通过聚类后的图像，虽然存在噪声，但图像边缘很好得凸显出来了。图2.14为所以蔬菜图像背景去除后的图像。

(a1) 花菜原图像 (a2) 花菜分割后图像 (b1) 西红柿原图像

(b2) 西红柿分割后图像 - 13 -

中北大学2014届本科毕业论文

(c1) 黄瓜原图像 (c2) 黄瓜分割后图像 (d1) 萝卜原图像 (d2) 萝卜分割后图像 (e1) 菠菜原图像 (e2) 菠菜分割后图像 (f1) 韭菜原图像 (f2) 韭菜分割后图像 - 14 -

中北大学2014届本科毕业论文

(g1) 芹菜原图像 (g2) 芹菜分割后图像 (h1) 青菜原图像 (h2) 青菜分割后图像 (i1) 包菜原图像 (i2) 包菜分割后图像 图2.14 各类蔬菜分割图像

2.5 本章小结

图像预处理是后续特征提取工作的前提，其中图像分割是图像预处理阶段高级的层面，其实质就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。本设计分割的目的是将图像的前景部分从图像中分割出来。由于图像背景简单，光照均匀，使用两种方法对图像进行分割：一、具有封闭外层轮廓的蔬菜图像的背景去除算法，二、K-Means聚类算法。实验结果证实了两种方法分割图像的有效性，获得了满意的结果。

虽然，利用两种算法对本设计采集的图像分割效果良好，但这两种方法也有局限性： 第一、外层边缘跟踪算法仅仅对边缘部分像素值与背景像素值差别较大的情况，对于差

- 15 -

中北大学2014届本科毕业论文

别较小的情况，往往不能起到很好的分割效果。因此它仅作为一种辅助算法。 第二、K-Means聚类算法是本设计分割过程中的主要算法，对本设计所采集的图像中95%

以上的图像能起到很好的分割效果。但由于本设计所采集的图像大部分是在光照较均匀的情况下拍摄的，若图像的光照不均匀（即带阴影的图像）则不能起到好的分割效果，还需对阴影做进一步处理。

- 16 -

中北大学2014届本科毕业论文

3 蔬菜图像的特征提取

特征提取是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。特征提取的结果是把图像上的点分为不同的子集，这些子集往往属于孤立的点、连续的曲线或者连续的区域。特征抽取的主要思想是将原始样本投影到一个低维特征空间，得到最能反应样本本质或进行样本区分的低维样本特征。

常用的图像特征有颜色特征、纹理特征、形状特征等。颜色是物体表面的属性，因此对于目标识别的研究具有非常重要的意义。纹理是物体表面的结构模式，

可以认为是颜色在空间以一定的变化形式而形成的图案。形状特征也是另外一个描述物体的重要特征.本设计分别对3种特征进行了研究。 3.1 颜色特征提取

颜色是图像非常重要的视觉特征，是人识别图像的主要感知特征之一。相对于其它特征，颜色特征对于图像的平移、尺度、旋转变化不敏感，具有很强的鲁棒性，而且计算简单。它是一种全局特征,描述了图像或图像区域所对应的景物的表面性质。一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征。另外，仅使用颜色特征查询时，如果数据库很大，常会将许多不需要的图像也检索出来。

颜色直方图是最常用的表达颜色特征的方法，其优点是不受图像旋转和平移变化的影响，进一步借助归一化还可不受图像尺度变化的影响，基缺点是没有表达出颜色空间分布的信息。此外，还有颜色集、颜色矩、颜色相关图及颜色一致性矢量等方法来表达图像的颜色特征。本论文选用颜色一致性矢量（CCVs）这种方法。 3.1.1 颜色一致性特征矢量CCVs

针对两幅不同的图像可能存在着相同的直方图而引出了颜色一致性矢量的概念。这种方法不仅统计了整副图像中各颜色的像素值，还统计了图像中每个颜色最大区域的像素值，效果较好。但没有强调各颜色最大区域的形状以及与背景的关系。把各颜色通道的像素值量化到n个范围之内，像素值处于第i段的个数为：?i??i，由此可得：

- 17 -

中北大学2014届本科毕业论文

其中?i为相关的像素点个数，?i为不相关的像素点个数，所以颜色一致性矢量[10]的形式为：

例如：

21 12 18 12 13 11 2 1 1 1 1 1 21 12 13 29 15 12 2 1 1 2 1 1 24 11 31 23 17 13 2 1 3 2 1 1 27 23 22 11 16 27 量化 2 2 2 1 1 2 28 25 11 17 21 26 2 2 1 1 2 2 25 21 15 10 21 22 2 2 1 1 2 2

B A A A A A B A A B A A B A C B A A 连通标记 B B B A A B B B A A B B B B A A B B

图3.1 颜色一致性矢量计算

表3.1 颜色一致性矢量对 Color 1 18 0 2 12 5 3 0 1 ? ? 因此，上图颜色一致性矢量为：

算法说明：

提取颜色一致性矢量（CCVs）的步骤：

①：对灰度图像进行模糊化处理，使相邻区域的像素值不至于差别过大（使用中值波）。 ②：对像素值空间进行均等划分，如区间1包含像素值为0-7的像素，区间2包含像素

值为8-15的像素，依次类推。（划分为32份）。

③：使图像中各像素位置标记其所属的像素值空间（1-32），如（图1）所示。 ④：统计出属于同一连通域中的像素个数。

⑤：设定阈值T，作为判断是否具有区域一致性的标准。

- 18 -

中北大学2014届本科毕业论文

算法中最关键的步骤是统计某一连通区域的像素个数，这是一个涉及到数据结构中遍树的问题，其算法流程图如图3.2所示。

- 19 -

中北大学2014届本科毕业论文

开始 寻找初始像素点 保存第一点坐标，将该点的像素值置为255 （注，像素值区间划分后，将图像的像素值置为区间值，因此图像内最大像素值为32） 8邻域搜索 是否找到 N Y 像素值置为255，8邻域搜索 是否找到 Y N 返回上一点 N 是否为起始点 Y 结束 图3.2 求某连通域像素个数的算法流程图- 20 -

孤立点

中北大学2014届本科毕业论文

实验结果：

选取一致性判断阈值T为20（即当某一连通域中的像素个数值大于20时，则判定该区间内的像素具有一致性,否则为非一致性）。由于需要处理的图像，背景像素值为0，因此不统计像素值为0的像素，仅仅是对前景像素进行统计。对分割后的黄瓜图像进行实验，提取其颜色一致性矢量，结果如图3.3所示：

黄瓜17000一致性像素非一致性像素 8000700060005000一致性像素非一致性像素黄瓜2 60005000统计个数统计个数5101520像素值区间25303540004000300030002000200010000 010000 0 5101520像素值区间253035 黄瓜37000一致性像素非一致性像素 黄瓜48000700060005000一致性像素非一致性像素 60005000统计个数统计个数5101520像素值区间25303540004000300030002000200010000 010000 0 5101520像素值区间253035 图3.3黄瓜图像提取的颜色一致性矢量 设两幅图像的颜色一致性矢量分别为

<(A1,B1) ,... , (An,Bn)>和<(A1*,B1*) ,... , (An*,Bn*)>

利用公式：

?H=?|Aj?Aj*|?|Bj?Bj*| 式3.1

j?1n来比较两幅图像之间的差别。对黄瓜，萝卜，西红柿图像，分别以种类中的某一副图像的特征矢量代表该种类的特征矢量，其他图像分别与该图像进行比较，找出与之差值最近的图像，结果如图3.4所示。

- 21 -

中北大学2014届本科毕业论文

代表图像（萝卜） 与其最相近的图像 （距离差值为1248） 代表图像（黄瓜） 与其最相近的图像 （距离差值为6108） 代表图像（西红柿） 与其最相近的图像 （距离差值为837） 图3.3 匹配结果图

实验结果表明，颜色一致性矢量能较好的表征图像的特征。 3.2 纹理特征提取

纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质。但由于纹理只是一种物体表面的特性，并不能完全反映出物体的本质属性，所以仅仅利

- 22 -

中北大学2014届本科毕业论文

用纹理特征是无法获得高层次图像内容的。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。在模式匹配中，这种区域性的特征具有较大的优越性，不会由于局部的偏差而无法匹配成功。作为一种统计特征，纹理特征常具有旋转不变性，并且对于噪声有较强的抵抗能力。

常用的纹理特征提取方法有统计法、几何法、模型法和信号处理法。其中，统计方法的典型代表是一种称为灰度共生矩阵的纹理特征分析方法[11]，它是图像中两个象素灰度级联合分布的统计形式，能较好的反映灰度级相关性的规律。它强调灰度的空间依赖关系，其特点是体现了在一种纹理模式下的象素灰度的空间关系。空间灰度共生矩阵方法，是建立在估计图像的二阶组合条件概率密度函数基础上的。这个方法已经有了较长的研究历史，也是当前公认的一种重要的纹理分析方法。这是一种典型的纹理分析方法，但该方法所需运算时间长，存贮容量大。本论文利用和差直方图（SDH）算法来提取纹理特征，这种纹理分析的算法具有共生矩阵几乎一样的功效。 3.2.1 和差直方图特征矢量SDH

对于一个K×V的纹理图像，灰度级为G（1,2,…,L）,考虑图像中两个元素y1?yk,l和y2?yk?d1,l?d2，对于一个相对偏移（d1,d2），和差被定义如下：

Sk,l?yk,l+yk?d1,l?d2 式3.2 Dk,l?yk,l-yk?d1,l?d2 式3.3

从（1）和（2），可以定义2个[2L-1]维矩阵，归一化的和差直方图如下：

Ps(i)?hs(i)/N （i=2,3,…,2L） 式3.4 Pd(j)?hd(j)/N （j=-L+1,…, L-1） 式3.5

其中

hs(i)=Card{(k,l)∈D, Sk,l?i} 式3.6

hd(j)=Card{(k,l)∈D, Ps(i)?j} 式3.7 N=Card{D}=?hs(i)=?hd(j) 式3.8

ij偏移量（d1,d2）由步长d和方向?确定。使用方向为0°，45°，90°，135°，步长为1进行实验。

求四个方向下的和差概率统计量，最后取四个方向的统计量平均值作为最终的特征

- 23 -

中北大学2014届本科毕业论文

量。为此先将灰度图像进行直方图均衡化，然后将均衡化后的图像灰度等级量化为G1（1,2,…,32）。最终计算由和差直方图得到的统计特征量：均值、方差、能量、相关、熵、对比度、一致性。各统计特征量的意义如下：

表3.2 各特征统计量计算表

均值 对比度 ???1/2??ihs[i] iCn??j2hd[j] j一致性 能量 Hg?1/1?j2hd[j] ??i??jEn??hs[i]2?hd[j]2 方差 相关 ??22????1/2???i?2??hs[i]??jhd[j]? ??j?i???22?Cr??1/2???i?2??hs[i]??jhd[j]? ??ij??2熵 Hn???hs[i]log?hs[i]???hd[j]log?hd[j]? ij

均值： 反映纹理图像总体灰度水平。 方差： 反映灰度分布的离散程度。

能量： 反映图像所具有的信息量，若图像是等概率分布，则具有最小的能量。 相关： 能够用来衡量和差直方图的元素在行的方向或列的方向的相似程度。因此，相

关值大小反映了图像中局部灰度相关性。当矩阵元素值均匀相等时，相关值就大；相反，如果矩阵像元值相差很大则相关值小。

熵： 反映图像所具有的信息量，若图像是等概率分布，则具有最大的熵。 对比度：表示图像全部像素对的灰度差|i-j|的平均值。反映了图像的清晰度和纹理沟

纹深浅的程度。纹理沟纹越深，其对比度越大，视觉效果越清晰；反之，对比度小，则沟纹浅，效果模糊。灰度差即对比度大的象素对越多，这个值越大[12]。

- 24 -

中北大学2014届本科毕业论文

实验结果：

提取5张萝卜图像的各特征统计量，萝卜图像如3.4所示。

图3.4 萝卜图像

5张萝卜图像的特征统计量如表3.2所示。

表3.2 萝卜图像的特征统计量表

1 2 3 4 5 均值 28.52 28.54 28.53 28.49 28.59 方差 138.49 137.67 139.04 161.33 157.06 相关 66.76 66.92 66.46 77.94 79.66 对比度 71.73 70.75 72.58 83.39 77.40 能量 0.11 0.10 0.10 0.11 0.12 熵 4.08 4.27 4.18 4.01 3.86 一致性 0.86 0.84 0.85 0.84 0.86 实验结果发现，相似图像之间各统计特衡量具有较强的一致性。 3.3 形状特征提取

形状是图像中的一个重要特征。能够直观的描述物体，但由于他常和目标图像连接在一起，有一定的语义含义，因而形状特征可以看做是比颜色纹理特征更高一级的特征。 通常情况下，形状特征有两类表示方法，一类是轮廓特征，另一类是区域特征。图像的轮廓特征主要针对物体的外边界，而图像的区域特征则关系到整个形状区域。本论文使用边界/内部像素分类特征矢量BIC来表示图像的形状特征。

- 25 -

中北大学2014届本科毕业论文

3.3.1 边界/内部像素分类特征矢量BIC

边界/内部像素分类器（BIC）是一种紧凑，有效的基于内容图像检索（CBIR）的方法，适合与大量图片库检索领域。它主要由3部分组成：

①：一种简单的、有效的图像分析算法，可以把图像像素划分为内部或边界像素。 ②：一种计算图像直方图之间距离的新方法（对数距离）

③：一种紧凑的存储图像特征的方法，它将使得存储图像特征的空间比之前其他方法存

储的空间低一倍。

算法说明：

该算法步骤如下：

①：将RGB颜色空间均匀量化为64种不同的颜色，即每个颜色通道量化为4份不同的

像素区间。假设图像某点3个通道像素值为[A1,A2,A3]，A1、A2、A3∈[1,4],则该点量化后的值为：

A=16×(A1-1)+4×(A2-1)+A3 式3.9

②：量化颜色空间后，像素将被划分为边界像素或者内部像素。像素被划分为边界像素

的条件：像素本身是属于图像边界像素或者像素的四个邻域（上、下、左、右）至少存在一个与之不同像素值的像素。

③：当像素被划分为边界像素或者内部像素后，由边界像素计算出一个直方图，再由内

部像素计算出一个直方图。每个直方图都是64维的。再将直方图的值量化为[0-255]。

一种比较直方图之间距离的新方法（对数距离）：

之前在提取颜色一致性矢量的时，我们比较两幅图像直方图之间距离，是采用L2距离，如式3.1所示。这种计算距离的方式可能存在一个问题。考虑某一副图像，其背景像素存在很强的一致性（这样使得直方图某一像素值空间的值很大），而另一副图像背景像素同样存在的很强的一致性，但像素值与第一副不同。他们的前景都是同一类物体，如果用矢量距离（L1距离或者L2距离）来比较两幅直方图，将使得距离值非常大，导致误判。

使用对数距离可以避免这一问题，而且可以降低特征维数。对数距离的定义如式3.10所示。

- 26 -

中北大学2014届本科毕业论文

i?M dLog(q,d)=

其中：

0??1 f(x)=??|logx|?12??|f(q[i])?f(d[i])| 式3.10

i?0ififx?00?x?1 式3.11

otherwiseq[i]表示直方图中的第i个像素的值，d[i]表示另一直方图中的第i个像素的值 ，已将他们量化为[0-255]。若使用矢量距离，则直方图中某一像素柱的差值最大为255，若使用对数距离，则最大为9。同时我们若使特征值以f（q[i]）的形式存储，最大值为9，大大减小了存储空间[13]、[14]。

实验结果：

对图像像素划分（边界/内部）后，效果如图3.5所示。边界像素为白色，内部像素为黑色。这里，背景使用其他的颜色值表示，以便区分开来，我们只对前景来研究。

芹菜图像 边界/内部划分后 - 27 -

中北大学2014届本科毕业论文

花菜图像 边界/内部划分后 图3.5 边界/内部像素划分结果图

使用对数距离对不同图像的直方图进行比较。我们将3副图像（萝卜1，芹菜1，花菜1）分别与其他图像进行对比，统计其对数距离如下：

表3.3 萝卜图像1与其他图像对数距离表

萝卜2 萝卜3 萝卜4 萝卜5 芹菜 花菜 西红柿 黄瓜 韭菜 包菜 萝卜1 3 8 7 5 34 40 28 22 32 33 表3.4 芹菜图像1与其他图像对数距离表

芹菜1 芹菜2 芹菜3 芹菜4 芹菜5 青菜 花菜 西红柿 黄瓜 韭菜 包菜 6 4 8 10 19 40 18 28 16 33 表3.5 花菜图像1与其他图像对数距离表

花菜1 花菜2 花菜3 花菜4 花菜5 青菜 菠菜 西红柿 黄瓜 韭菜 包菜 3 2 3 5 26 39 27 37 33 8 观察实验结果，同种类蔬菜的特征矢量之间对数距离很近，效果很好。 3.4 实验结果与分析

本章为蔬菜图像的特征提取，这是本论文的又一研究重点。分别采用了3种方法来对图像进行了特征的提取，如何验证这些特征的正确性（有效性）是本章研究的一个关键步骤。这里仅采用距离公式来对图像进行相似度的测量，实验结果表明相似图像之间距离值较小，因此具有较好的相似度，也验证了特征值的有效性。

- 28 -

中北大学2014届本科毕业论文

3.5 本章小结

本部分对图像的3种特征：颜色、纹理、形状特征进行了研究。其中颜色特征采用了颜色一致性矢量的方法，较之于颜色特征提取常用的一种方法—颜色直方图，它不仅包含了图像的全局信息，而且空间关系也得到了考虑。纹理特征采用了和差直方图的方法，较之于纹理特征提取的经典方法—灰度共生矩阵，它具有与之类似的效果，降低了运算的复杂度。形状特征采用了边界/内部像素分类的方法。它们都取得了不错的效果。

但是由于图像数据量有限，特征量的有效性有待进一步的验证。其次，如何将几种特征量融合也有待进一步研究。

- 29 -

中北大学2014届本科毕业论文

4 全文总结与展望

4.1 全文总结

目前图像识别与分类技术的应用和研究热点主要集中在图像特征提取与分类器模型的建立上。但在这两方面工作之前的图像预处理工作是所以工作的前提，其目的就是获得有效的特征矢量，使识别更为得精确。本文针对图像预处理及图像特征提取两个主题主要作了一下研究工作：

第一、对图像进行简单的预处理工作，包括图像的灰度化、二值化以及在对图像进行分

割工作时涉及到的图像膨胀、腐蚀操作。这些工作是对图像进行更高层次处理的基础性工作。

第二、对图像进行分割，去除图像背景。为了获得表征蔬菜特征的矢量，需要去除图像

背景的干扰 。针对蔬菜图像的特点，使用3种方法对图像进行分割。对于边缘明显，且具有封闭外层轮廓的蔬菜图像，通过跟踪提取其外层轮廓，来作为前景与背景的分界线，从而将前景提取出来。对于其他图像，使用K均值聚类算法来对图像像素进行聚类，这种方法很好的将图像的前景部分聚类在一起，分割效果很好，但是遇到图像存在阴影的情况有时则将阴影部分的像素同前景聚类在一起，这时需要对图像做进一步处理，来消除阴影的影响。

第三、对分割后的蔬菜图像进行特征提取。特征提取是图像识别的关键步骤，直接决定

了图像识别的效率。本文分别对图像的颜色、纹理及形状特征进行了提取研究。颜色特征采用提取颜色一致性矢量的方法，这种方法不仅同颜色直方图的一样含有图像的全局信息而且也包含了图像空间信息。纹理特征采用提取和差直方图的方法，它具有同共生矩阵一样的效果，而且降低了计算的复杂度。形状特征采用提取边界/外部像素分类的方法，并利用了一种图像比较的新方法——对数距离来衡量图像之间的差异。

第四、本文实验在软件OpenCv及VC++6.0环境下实现，对包菜、黄瓜、花菜等10种

蔬菜，共50张图像进行了处理，图片大小为640×480。

本文对提取出的图像特征进行了简单的有效性验证，效果较好。这为后面的图像识别及分类工作具有积极的意义。 4.2 展望

尽管目前存在很多的图像分割方法以及图像特征提取的方法，但由于图像自身的特

- 30 -

中北大学2014届本科毕业论文

点很多方法并不能对所有的图像都适用，因此在图像自动识别及分类这一课题上面有待对这些方法的进一步研究。另外，由于采集图片的数量有限，所提取图像的特征量的有效性也有待进一步的研究。

本设计只是对蔬菜图像预处理以及图像特征提取两个方面进行了研究，一个完整的图像识别与分类系统，应当还有分类器的设计等步骤，有待进一步研究和讨论。

- 31 -

中北大学2014届本科毕业论文

参考文献

[1]J.R.Parker.图像处理与计算机视觉算法及应用[M].北京：清华大学出版社，2013：1 [2]Sonka.M.&Vaclav.H.&Roger.B.图像处理、分析与机器视觉（第3版）[M].北京：清华大学出版社，2011：1

[3]Bradski.G.&Adrian.K..学习OpenCv（中文版）[M].北京：清华大学出版社，2009：1 [4]王昕，曲波，王厚枢.一种不规则封闭形状的轮廓跟踪算法[J].南京航天航空大学学报，1996,28(4)：580-583.

[5]罗三定，王建军.一种医学图像的轮廓提取方法[J].计算机工程，2010,36(5)：218-220. [6]郑丽萍，李光耀，于承敏，李寰.医学图像中组织轮廓提取方法的改进[J].计算机仿真，2011,28(3)：271-274.

[7]Rocha,A.&D.Hauagge.&Wainer,J.&Siome.G.. Automatic fruit and vegetable classification from images[J].Computers and Electronics in Agriculture,2010(70):96-104.

[8]张娟，韩殿元，黄心渊.自然背景下梅花图像分割算法的研究[J].北京林业大学学报，2012,34(3)：64-70.

[9] Yao,H.&Q.Duan.&Li,D.&J.Wang.A improved K-means clustering algorithm for fish

image segmentation [J].Mathematical and Computer Modelling,2013, (58)：790-798. [10]Pass,G.&Zabih,R.&Miller..Comparing images using color coherence vectors[J].Computer Science Department,1996:1–14.

[11]Juan,M.&J. Luis.& Luis.M.. Automatic System for Quality-Base Classification of Marble Textures [J]. IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS,2005, (35)：488-496.

[12] Unser, M.. Sum and Difference Histograms for Texture Classification [J]. IEEE TPAMI 8

(1), 118–125.

[13] Stehling,R.,Nascimento,M.,Falcao,A., A Compact and Efficient Image Retrieval

Approach Based on Border/Interior Pixel Classification [J]. In: CIKM, pp. 102–109.

[14] Agarwal,S.,Awan,A.,Roth,D., Learning to Detect Objects in Images via a Sparse,

Part-Based Representation [J]. In: TPAMI 26 (11), 1475–1490.

- 32 -

中北大学2014届本科毕业论文

致谢

在此论文完成之际，谨以此文献给所有关心、帮助和支持我的人们。本论文是在中北大学信息与通信工程学院生物医学工程专业实验室桂志国教授的精心指导下完成的。桂导师渊博的知识，严谨求实的治学态度，一丝不苟的科研精神，高造诣的学术水平和宽广的胸怀给我留下了深刻的印象，四年来使我受益匪浅。从论文选题到撰写的全过程，桂老师自始至终给予我具体的指导和帮助，使我的论文得以顺利的完成，在此向桂老师表示诚挚的感谢和由衷的敬意！

同时在本科学习期间，信息与通信工程学院的老师们在我的学习和生活等各方面给予了无微不至的关怀和帮助，在此我特别向老师表示深深的谢意！

在本设计的整个研究过程，我还受到东南大学生物科学与医学工程学院汪丰老师的悉心指导和帮助。在此，对他表示诚挚的感谢！

在此向多年以来一直无私的关心照顾我的父母和亲人致以真诚的谢意，感谢您们一直以来对我的支持和鼓励！

最后，对评阅本论文的专家们表示衷心的感谢！

- 33 -

本文来源：https://www.bwwdw.com/article/ev1.html