05 基于机器视觉的测控技术

第5章基于机器视觉的测控技术主要内容机器视觉测控系统数字图像处理图像融合技术典型应用 HALCON简介1

第5章基于机器视觉的测控技术在人类感知外部信息的过程中，通过视觉获得的信息占全部获取信息的75%。随着计算机技术和自动化技术突飞猛进的发展，机器视觉取得了长足的进步，在现代工业、农业、国防以及科学研究等众多领域取得了广泛应用。

2

第5章基于机器视觉的测控技术介绍机器视觉测控系统、数字图像处理方法以及图像信息融合术，简要介绍应用作者研制的 ZM-VS1300视觉智能测控系统平台研制开发自己专用视觉测控系统方案，最后给出了作者研制的机器视觉测控系统典型应用案例。3

5.1机器视觉测控系统概念：机器视觉测控就是将被测对象的视觉图像信息检测传递给图像处理装置，图像处理装置经过一系列处理后给出决策结果，根据决策结果实施对测控系统的相应控制。应用：广泛应用于有形物体的检测、识别和跟踪。如工业产品的尺寸测量、缺陷识别、分类判定等；微电子器件的焊点自动检测；软质、易脆零部件的检验；各种模具二维形状检测；大型工具三维自动检测等。4

5.1机器视觉测控系统原理：机器视觉测控系统一般由获取图像信息的图像测量系统、决策分类或跟踪对象的控制系统组成。可分为图像获取和图像处理两大部分。获取被测场景中的图像信息设备称为观测系统，包括照相机和摄像系统。获取的信息可是是静态的，也可以是动态的；可以是二维的，也可以是三维的。决策分类或跟踪对象的控制系统根据对图像信息的分析结果进而实施一定的控制。5

5.1机器视觉测控系统典型的视觉检测系统一般由光源、镜头、摄像器件、图像采集卡以及嵌入式计算机系统等环节构成：

6

系统原理

5.1.1机器视觉检测系统硬件(1)光源在视觉检测系统中，视觉传感器对光线的依赖性很大，照明条件的好坏将直接影响成像的清晰度、细节分辨率和图像对比等。因此，照明光源的正确设计与选择是视觉检测成功的关键。

7 7

8

5.1.1机器视觉检测系统硬件光源要求：照度要适中亮度要均匀亮度要稳定不应产生阴影照度可调9

5.1.1机器视觉检测系统硬件根据具体应用选择光源： 1)通过检测被测物体的像来测量被检测物体的某些特征参数——选用白炽灯或卤钨灯； 2)通过测量被检测物体的空间频谱分布来确定被检测物体的某些特征参数——选用激光照明。

10

5.1.1机器视觉检测系统硬件光源的照明方式： 1)漫反射照明适合于照射表面光滑、形状规则的物体。 2)投射照

明也称为背光照明，适合于不透光物体照明，可以形成一幅黑白灰度图像，用于物体轮廓识别与定位。

11

12

5.1.1机器视觉检测系统硬件光源的照明方式： 3)结构光照明结构光指几何形状已知的光束，通过结构光投影模式的变化可以检测物体的二维、三维几何特征。 4)定向照明方式如果物体表面光滑且无缺陷，则定向平行光束将会被有规律地反射；若物体表面粗糙或存在缺陷，则会造成投射光的散射。根据反射光的变化检测物体表面的粗糙度或表面缺陷。13 14

5.1.1机器视觉检测系统硬件(2)图像传感器CCD电荷耦合器件摄像机(Charge Coupled Device):感光像元在接收输入光后，产生电荷转移，形成输出电压。分为线阵和面阵两种。性价比高，受到广泛应用。 CMOS摄像机(Complementary Metal Oxide Semiconductor):体积小、耗电少、价格低，在光学分辨率、感光度、信噪比和高速成像等已超过CCD。15

5.1.1机器视觉检测系统硬件(2)图像传感器数码照相机主要部件包括：镜头、快门、存储器件、分辨率、色彩位数、信号输出接口

16

5.1.1机器视觉检测系统硬件(2)图像传感器其他：飞点扫描器(Flying Point Scanner)、扫描鼓、扫描仪、显微光密度计等。遥感图像获取设备：光学摄影：摄像机、多光谱摄像机等；红外摄影：红外辐射计、红外摄像仪、多通道红外扫描仪等；17

5.1.1机器视觉检测系统硬件(3)图像采集卡将视频图像以模拟电信号方式输出标准视频信号：黑白视频(RS-170、 RS-330、 RS- 343、CCIR)、复合视频(NTSC、 PALSECAM制式)、分量模拟视频、S-Video等。非标准视频信号：非标准RGB信号、线扫描信号、逐行扫描信号。18

5.1.1机器视觉检测系统硬件(3)图像采集卡采用非标准视频信号通常是为了获得更高分辨率、高刷新率的图像或其他特殊要求的图像，如CT、 X光机、超声波等医疗影像设备。

5.1.1机器视觉检测系统硬件(3)图像采集卡性能指标要求：多路视频输入；通过标准总线输出至计算机；实时多屏显示；自定义采集方式及采集窗口大小；实时采集单场、单帧、任意间隔及连续帧；视频输入(PAL、S-Video);分辨率；采样位数；亮度、对比度、色度、饱和度；即插即用；稳定接收视频信号。19 20

5.1.1机器视觉检测系统硬件(3)图像采集卡①②

5.1.1机器视觉检测系统硬件基于USB总线的图像采集卡的设计

基于PCI总线的图像采集卡的设计

21

22

5.1.1机器视觉检测系统硬件(4)图像存储设备用于暂时或永久存储摄像系统获取的数字图像。包括硬盘、光盘、磁带机、闪存等。硬盘存储技术发展

很快，大图像存储可使用磁盘阵列；光盘也可满足大容量存储；磁带机顺序存储；闪存发展最快，成为数码相机、PDA、 MP3/4等的首选。23

5.1.1机器视觉检测系统硬件(5)计算机主机计算机用于对数字图像进行管理、分析和处理，是机器视觉检测系统应用的主要工作和核心。可以是PC或工作站。需要高速实时处理的图像主板上装有图像处理器、图像加速器、DSP处理器等。

24

5.1.2机器视觉检测系统软件近年来，机器视觉工作者在研究视觉测控系统硬件的同时，也对机器视觉检测处理的共性软件进行了研究开发，出现了很多机器视觉测控系统组态软件平台，如最具代表性的机器视觉软件 HALCON。德国MVtec公司的HALCON是世界范围内广泛使用的机器视觉软件，拥有满足用户各类视觉应用需求的完善开发库。支持Linux和Windows,可通过C、C++、C#、VB、Delphi开发。

5.1.3视觉检测系统应用缺陷检测尺寸测量 PCB焊点检测与分类军事

25

26

图像测量系统视频信号镜头、图像传感器照明1.尺寸测量

图像采集

控制中枢、图像处理

27

返回

28

返回29

返回

30

无人飞机自主着陆系统31

无人飞机对地攻击32

5.2数字图像处理数字图像处理技术是一门跨学科的前沿高科技，是在信号处理、计算机科学、自动控制理论及其他应用领域基础上发展起来的边缘学科，是认识世界、改造世界的重要手段。目前图像处理与识别技术已应用于许多领域，成为21世纪信息时代的一门重要的高新科学技术。图像匹配制导33 34

5.2.1平滑和滤波在图像采集、获取与传输过程中，所有的图像均不同程度地被可见或不可见的噪声“污染”。噪声源包括电子噪声、光子噪声、量化噪声等。工业现场所采集的图像，除了噪声的干扰外，还有光照的微小变化和摄像机的微弱震动使图像污染。

35

36

5.2.1平滑和滤波图像代数运算方法：1)图像加运算：对所获取的同一场景的多幅图像求平均，常常用来有效地消弱图像的加性随机噪声。

图像代数运算方法：2)图像减运算：又称减影技术，是指对同一景物在不同时间拍摄的图像或同一景物在不同波段的图像进行相减。差值图像提供了图像间的差异信息，能用以指导动态监测、运动目标检测和跟踪、图像背景消除及目标识别等工作。常见应用包括监测森林火灾、洪水泛滥及灾情变化，估计损失，监测河口、河岸的泥沙淤积及江河、湖泊、海岸等的污染；在医学造影技术中利用减影技术消除图像背景，帮助疾病诊断等。37 38

C ( x, y )= A( x, y )+ B( x, y )

图像代数运算方法：3)图像乘运算：用于遮住图像的某些

部分。例如使用一个掩膜图像(对需要被完整保留下来的区域，掩膜图像上的值为1,而对被抑制掉的区域则值为0)去乘图像，可以抹去图像的某些部分，即使该部分为0。在PS工具中大量应用。

图像代数运算方法：4)图像除运算：又称比值处理，是遥感图像处理常用的方法。图像的亮度可理解为是照射分量和反射分量的乘积。对多光谱图像而言，各波段图像的照射分量几乎相同，而反映地物细节的反射分量不同，对不同波段图像作比值处理，就能把照射分量去掉，经过比值后能把差异扩大，有利于地物的识别。比值处理可以用于消除山影、云影及显示隐伏构造。若与彩色合成技术相结合，增强效果将更佳。目前国内外已将比值彩色合成法成功地用于找铁、铀、铜等矿床。40

39

5.2.1平滑和滤波(1)邻域平均基本思想是用若干个像素灰度的平均值来代替每个像素的灰度值。g ( x, y )= 1 M( x, y )∈S

5.2.1平滑和滤波(1)邻域平均算法简单，但抗噪能力不好。当噪声点与实际图像的灰度差异过大时，会对滤波结果造成较大影响。 1 g ( x, y )= M ( x, y )∈S

∑ f (m, n )

∑ f ( m, n ),f ( x, y ),

f ( x, y )

1 M

( m, n )∈S

∑

n

f ( m, n )> T

通常选取该像素的4-领域或8-领域。41

其它

带阈值的均值滤波算法42

5.2.1平滑和滤波(1)邻域平均在实际应用中，一般选取3×3窗口，还可根据不同的影响，对邻域像素选取不同的权重。H1= 1 1 1 1 1 1 1 9 1 1 1 1 1 1 10 1 1 1 1 1 H 4= 1 0 1 8 1 1 1 H2= 1 2 1 1 2 4 2 16 1 2 1 0 1 0 1 H 5= 1 4 1 8 0 1 0 H3= 1 1 2 1 1 1

5.2.1平滑和滤波 (2)中值滤波法中值滤波是一种比较典型的非线性滤波方法，它能在某些条件下既去除噪声又保护图像的边缘，且对滤波脉冲干扰及图像扫描噪声最为有效。主要功能是让周围像素灰度值的差比较大的像素改取与周围像素值接近的值，从而可以消除孤立的噪声点。43 44

5.2.1平滑和滤波(2)中值滤波法将模板在图中漫游，并将模板中心与图中某个像素位置重合；读取模板下各对应像素的灰度值；将这些灰度值从小到大排成1列；找出这些值里排在中间的1个；将这个中间值赋给对应模板中心位置的像素。45 46

5.2.1平滑和滤波(3)空域滤波实现主要步骤：将模板在图上漫游，并将模板中心与图中某个图像位置重回；将模板上的系数与模板下的对应像素相乘；将所有乘积相加；将和赋给图中模板中心位置的像素。

5.2.1平滑和滤波(3

)空域滤波实现

K赋予不同的值就可以得到不同的滤波效果

R= k 0 s 0+ k1 s1+47

+ k 8 s848

5.2.2边缘检测图像中的边缘就是灰度存在剧烈变化的地方，是灰度值不联系的结果。由于灰度值不连续，边缘处灰度值的一阶导数存在极值点，而二阶导数存在过零点。因此，可以用灰度值的导数来检测图像中存在的边缘点。图像边缘能够勾画出目标物体轮廓，包含了丰富的信息，是图像识别中抽取的重要属性。49

5.2.2边缘检测(1)梯度算子 f ( x, y )= G x

[

Gy

]

T

f= x

f y

T

实际图像中求倒数，用下面差分代替微分：

x f (x, y )= f (x, y ) f (x 1, y ) y f (x, y )= f (x, y ) f (x, y 1)50

5.2.2边缘检测(1)梯度算子以上的偏导数需对每个像素位置进行计算，运算量很大，实际应用中常用小区域模板卷积来近似计算。对Gx和Gy各用一个模板，需要两个模板组合起来构成一个梯度算子。根据模板大小及数据内容的不同有很多算子，将模板在图像上移动并在每个位置上计算对应中心像素的梯度值。对一幅灰度图像求梯度得出的是一幅梯度图。51

?52

5.2.2边缘检测(1)梯度算子a. Roberts

5.2.2边缘检测a. Roberts 1 0 0 -1 0 -1 1 0

53

54

5.2.2边缘检测(1)梯度算子b. Prewitt利用像素上下、左右邻点的灰度差，去掉部分伪边缘，对噪声具有平滑左右。

5.2.2边缘检测(1)梯度算子b. Prewitt -1 -1 -1 0 0 0 1 1 1 1 0 -1 1 0 -1 1 0 -1

G ( x)=

[ f ( x 1, y 1)+ f ( x 1, y)+ f ( x 1, y+ 1)] [ f ( x+ 1, y 1)+ f ( x+ 1, y )+ f ( x+ 1, y+ 1)]

G( y)=

[ f ( x 1, y+ 1)+ f ( x, y+ 1)+ f ( x+ 1, y+ 1)] [ f ( x 1, y 1)+ f ( x, y 1)+ f ( x+ 1, y 1)]

P( x, y )= max[G ( x), G ( y )]55

或 P ( x, y )= G ( x )+ G ( y )

56

5.2.2边缘检测(1)梯度算子

5.2.2边缘检测(1)梯度算子-1 -2 -1 0 0 0 1 2 1 1 0 -1 2 0 -2 1 0 -1

[ f ( x+ 1, y 1)+ 2 f ( x+ 1, y)+ f ( x+ 1, y+ 1)] G ( x)= [ f ( x 1, y 1)+ 2 f ( x 1, y )+ f ( x 1, y+ 1)][ f ( x 1, y 1)+ 2 f ( x, y 1)+ f ( x+ 1, y 1)] G( y)= [ f ( x 1, y+ 1)+ 2 f ( x, y+ 1)+ f ( x+ 1, y+ 1)]P( x, y )= max[G ( x), G ( y )]57

Sobel算子

Sobel算子引入了平均因素，对图像中的随机噪声有一定的平滑作用；采用相邻两行或两列之差分，边缘两侧得到了增强，边缘显得粗而亮。

58

5.2.2边缘检测(2)拉普拉斯算子对一个连续函数，它在位置处的拉普拉斯值定义如下：

5.2.2边缘检测(2)拉普拉斯算子计算函数的拉普拉斯值也可以借助各种模板实现，它要求模板的中心像素系数应该是正的，而对应中心像素的邻近像素

的系数应是负的，且它们之和应该是零。0 -1 4 -1 0 -1 -1 -1 -1 8 -1 -1 -1 -160

2 f=

2 f x2

+

2 f y 2

Laplace算子是二阶微分算子，可以证明，它具有各向同性，即与坐标轴方向无关，坐标轴旋转后结果不变。59

-1 0

-1 0

拉普拉斯算子特点：从模板形式容易看出，如果图像中一个较暗的区域中出现一个亮点，用拉普拉斯运算会使亮点变得更亮。因为图像中的边缘就是那些灰度发生跳变的区域，所以拉普拉斯锐化模板在边缘检测中很有用。一般增强技术对于陡峭的边缘和缓慢变化的边缘很难确定其边缘线的位置。61

拉普拉斯算子特点：但此算子却可用二次微分正峰和负峰之间的过零点来确定，对孤立点或端点更为敏感，因此特别适用于以突出图像中的孤立点、孤立线或线端点为目的的场合。同梯度算子一样，拉普拉斯算子也会增强图像中的噪声，有时用拉普拉斯算子进行边缘检测时，可将图像先进行平滑处理。62

Roberts算子

拉普拉斯算子

63

本文来源：https://www.bwwdw.com/article/kukj.html