基于机器视觉的智能控制定位检测系统

介绍了机器视觉在新的领域的应用,在微电子半导体等生产线上的定位系统,哈哈

基于机器视觉的智能控制定位检测系统＊

王东慧1，程武山2，姬明权1

（1 上海工程技术大学 汽车工程学院 上海 201620 2 上海工程技术大学 机械工程学院 上海 201620）

摘要：制造业的发展，尤其在半导体和电子行业，带来了对机器视觉需求的提升；也决定了机器视觉将由过去单纯的采集、分析、传递数据，判断动作，逐渐朝着开放性的方向发展，这一趋势也预示着机器视觉将与自动化更进一步的融合。由于机器视觉的介入，自动化将朝着更智能、更快速的方向发展。本文介绍了一种基于机器视觉的自动传插件的智能控制定位检测系统，该系统的设计和研发在更多自由度，更精确、快速的自动化智能控制做出了进一步的提升和改善，更能适应市场的需要和发展。多样化、个性化更加凸显。 关键词：机器视觉；智能控制；定位检测；自动传插件。 中图分类号：TP391.4 文献标识码：A

The System of Intelligent Control and Location Detection Based on Machine Vision

Wang Donghui1 ，Cheng Wushan2 ，Ji Mingquan1

(1 College of Automobile Engineering, Shanghai University of Engineering Science, Shanghai 201620, China 2 College of Mechanical Engineering, Shanghai University of Engineering Science, Shanghai 201620, China )

Abstract：The development of manufacturing, especially in semiconductor and electronic industry, is making machine vision more important . That also determines machine vision would develop more open than simply collecting, analysing,transfering data, judging movement. The trend also means machine vision and automation fusing more tightly. Because of machine vision, automation would become more intellective and faster. This article introduced a demonstration system of automatic connectors based on machine vision, the design and research of this system has more degree of freedom. Automation and intelligent control are more accurate and fast, its function has been promoted and improved. And it not only meets the needs of the market better, but also stands out the diversification and individuation. Key words: machine vision；intelligent control; location and detection; automatic connectors.

机器视觉系统主要是利用光电成像、计算机图像收稿日期：2011-08-15

*上海市085工程资助，项目编号（JZ0609）。 项目名称：复杂制造过程智能控制系统。

1

作者简介：王东慧，（1983-）男，河北邢台，汉，上海工程技术大学 在读研究生，Email：wangdonghuihyp1314@http://www.77cn.com.cn。

2

程武山，（1957-）男，安徽，汉，博士，教授，上海工

程技术大学 机械工程学院 院长，Email：cwushan@http://www.77cn.com.cn。

1

姬明权，（1983-）男，河北唐山，汉，上海工程技术大

学 在读研究生，Email：jmqwwy@http://www.77cn.com.cn。

处理和模式识别技术来检测和定位对象，比起传统的人工或者机械检测和定位优势在于能够进行非接触检测，同时定位更加准确却使用周期大大提高。提高了生产效率，满足了现代制造业的高效率生产要求。机器视觉技术是一门新兴的科学优势明显，发展潜力大，界面开放，编程人员可以根据需要改进系统功能使系统与工业自动化现场相适应，该技术在现实工业生产中将会得到越来越广泛应用。

介绍了机器视觉在新的领域的应用,在微电子半导体等生产线上的定位系统,哈哈

1、 智能控制定位检测系统的组成

1.1机器视觉的构成

如下图1所示，一个典型的工业机器视觉应用系统包括如下部分：光源，镜头，CCD照相机，图像处理单元（或图像捕获卡），图像处理软件，监视器，通讯/输入输出单元等。首先采用摄像机获得被测目标的图像信号， 然后通过A/ D 转换变成数字信号传送给专用的图像处理系统，根据像素分布、亮度和颜色等信息，进行各种运算来抽取目标的特征，然后再根据预设的判别准则输出判断结果，去控制驱动执行机构进行相应处理。机器视觉是一项综合技术，其中包括数字图像处理技术、机械工程技术、控制技术、光源照明技术，光学成像技术、传感器技术、模拟与数字视频技术、计算机软硬件技术、人机接口技术等。 机器视觉强调实用性，要求能够适应工业现场恶劣的环境，要有合理的性价比、通用的工业接口、较高的容错能力和安全性，并具有较强的通用性和可移植性。 它更强调实时性，要求高速度和高精度。

图1典型机器视觉系统构成图

1.2智能控制定位检测系统架构及主要组件

此智能控制定位检测系统由机器视觉和运动控制两部分组成。

视觉部分主要由工业相机（CCD）、镜头（Lens）、光源（Lighting）、图像采集卡（Frame Grabber）组成。通过CCD将被摄目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转换成数字信号；图像系统对这些信号进行各种运算来抽取目标的特征，完成定位，并将定位结果输出给运动控制部分，由运动控制部分完成插拔动作,在完成将插件插入下端工件后，用另一颗相机来检测插针有没有完全插入孔中，完成此步操作后，将信号传第三颗相机，第三颗相机作OCR读码。运动控制部分

则包括运动控制卡（PCI-8154）、三菱伺服电机、伺服电机驱动器，搭配接近传感器作对象到位侦测辅助。运动控制部分有4个自由度，如图2所示，分别为0轴、1轴、2轴、3轴；0轴控制相机及插针左右移动，1轴控制基平台上的工件(见图3所示)前后运动，2轴控制相机及插针上下移动，3轴控制插针进行旋转。0、1、2轴上分别装有3个接近传感器作为限位信号（正限位和负限位）以及零位信号，向着电机方向的信号为正限位信号。3轴为旋转轴，有一传感器作为零位信号。

图2

图3

2系统的工作原理

[4]

介绍了机器视觉在新的领域的应用,在微电子半导体等生产线上的定位系统,哈哈

2.2 图像处理原理[5]

照明校正

区域传感器容差设置二进制转换（区域）过虑图案匹配色彩提取

（形状）等

1. 捕获图像

2. 传输图像数据

3. 处理图像数据

4.输出结果

图4图像处理原理流程图

许多视觉传感器制造商着重阐述第三步“处理图像数据”，并强调生产的控制器的处理能力。然而，第一步“捕获图像”才是实现稳定、精确的图像处理的最重要的一步。实现第一步的关键点在于正确选择透镜和照明系统。

此智能控制定位检测系统视觉部分由两颗80万像素和一颗30万像素的日本工业级相机，一套12X ZOOM的电动变焦并且带12mm微调对焦的科研级镜头（此镜头通过两个电机来进行12倍的变焦和12mm的微调对焦功能）和两颗日本工业镜头，日本CCS工业专用光源（使用寿命长、专用电源给LED光源供电时，达到最大照度的时间小于10 s）组成。本系统采用丝杆传

动，每转丝杆前进5mm，编码器设置为4000个脉冲每周，运动控制精度为每个脉冲的精度达到1.25微米；视觉定位像素精度为：0.00083984375mm。 2.3自动完成接插件实现 2.3．1 Mark十字的确定

首先建立简单的工作台模型如图5所示。

图5 简单的工作台模型

由于工作台的复杂性，我们对其特征不好确定，也不容易判断其中心位置，为此，我们想到把复杂问题简单化，在工作台上建立绝对坐标轴，工作台之外建立一个相对坐标轴，如图6所示平面xoy就是工作台的坐标轴，我们称o点为绝对坐标原点，无论工作台上如何变化，我们始终坚持这个坐标原点不变。在工作台之外我们通过对绝对坐标轴进行平移，建立它

的相对坐标轴（如图6虚轴所示）x1o1y1

，由他们的关

系我们可以建立简单的数学模型：

x1=x+△x，y1

=y+△y （

1）

由（1）式可以得到工作台的具体位置(x,y)。

x=x1-△x，y=y1

-△y （2）

图6 根据模型所建的坐标轴

在工作台外我们可以很方便的做出任何有利于我们进行图像处理的特征，中心位置也很容易确定，而

且不影响工作台的工作，在这里我们以o1

点为原点做了十字mark标记。如果我们假设△y=0，那么此时：

x=x1-△x，y=y1

（3）

也就是说此时o点和o1

在同一水平线上，问题就更加的简单化。

这样我们对于十字Mark的确定就相对来说容易的多（包括它的特征、中心位置、角度信息等）

，只要我们确定了mark的特征，反过来我们就相当于确定了工作台的中心和工作位置，这样就避繁就简了。 2.3.2 检测定位的实现

首先，如图4所示：对基平台上的工件表面上的十字Mark（感兴趣区域即定位点,定位可用标准模板匹配或者通过几何特征来进行匹配）进行学习，并保存成模板，保存此时模板的位置信息（模板的中心坐标和模板偏移的角度），为后期的定位识别做准备。

图7 提取保存定位点Mark

第二步，调用之前做好的模板，轴0、1、2、3进行回零动作，回零结束后，轴0、1、2移动，使十字

介绍了机器视觉在新的领域的应用,在微电子半导体等生产线上的定位系统,哈哈

Mark点在相机的视野范围内，在运动到对应的位置时触发信号，信号传到相机时，相机进行图片拍摄。在完成图像拍摄后，通过图像处理库软件对图像进行处理（将采集到的图片和保存好的模板进行模板匹配），把图像中需要的数据即位移（十字Mark点的中心坐标和角度信息）提取出来，如图6。在此过程中可选用Navitar镜头在较大的视野范围内进行初次定位，在初次定位完成后，镜头自动变焦微调对工件的十字MARK点再次进行定位（调整视野大小，对工件进行精确定位），提取十字MARK点的位移信息（通过Navitar镜头来完成两次定位的功能）。

图8十字Mark点的中心坐标和角度信息

然后，将第二步中取得图像的信息和第一步做好的模板保存下来的位移信息做比较，得出其相对于原模板在图像上相差了多少个像素，然后通过运动控制来进行补偿（前期工作可计算出图像上偏差1个像素相当于运动控制移动了多少个脉冲），通过此步操作，可得出十字Mark点相对于原模板偏差的像素需运动控制发相应的脉冲来进行补偿，使得插针最终能够插到基平台上工件的插孔中，若没有找到Mark点，如图8则提示用户没有找到Mark点。

最后，在完成上述3步动作后 ，图像分析完毕后，给出一个判定结果，并将这个信号输出给外部控制机构运即动控制卡控制各轴运动，完成对接插件的插拔动作（0、2、3轴带刹车功能，在接插过程中，可通电机的刹车功能来进行紧急抱闸），如图10。在插针插入插孔中后，通过另一颗相机来检测插针是否插到位，若插针插到位置，则触发第三颗相机作光学字符识别（OCR），做数据检索。若插针没插到位置，弹出警告提示。

图9 定位失败提示

图10 插针在工作台上工作

整个检测过程可通过监视器来监控。

如图11 检测过程的监视

操作如图11所示，图11中标注1为相机1的图像显示；标注2为载入模板和模板匹配，将采集到的图像和原模板进行匹配，并得出此图像Mark点的中心坐标和角度信息；标注3为Navitar 12倍电动变焦镜头的控制，我们可设置变焦和微调电机的初始速度、最大速度以及加速度等信息；标注4为PCI-8154各轴的状态信息；标注5为对单轴的控制操作；标注6为可实现两轴的直线插补、圆弧插补等操作；标注7为各轴的回零操作和伺服启动器的开启和关闭；标注8中为自动完成接插动作的分步操作；标注9为全自动完成接插动作的功能和停止操作。图4所示的标注1至8我们可通过手动来完成各步操作，若要全自动完成操作接插动作，我们只要运行标注9中的Autorun按钮即可。

3.总结

此定位检测系统除完成上述所说的功能外，还可

介绍了机器视觉在新的领域的应用,在微电子半导体等生产线上的定位系统,哈哈

用来完成二维码的识别、检测物体的表面缺陷、物体

[6]

的尺寸测量等实验。该系统集成了机器视觉技术、运动控制技术。从此套系统中，我们可以了解到机器视

[7]

觉和运动控制结合的相关知识，并可以运用此系统来完成同时控制四轴电机，任意两轴到四轴之间的直线插补，任意两轴的圆弧插补，持续插补运动、梯形与S曲线速度曲线、可编程控制加速与减速时间、运动中改变速度、多轴同步启动/停止等功能。还可通过图像处理库软件来做二次开发，可以很轻松的对拍摄的图像进行分析，找出感兴趣的目标，并对目标进行分析、处理。随着PC的不断发展，采用PC配合运动控制卡作为上位控制的方法将是运动控制系统的一个主要发展趋势。基于PC的运动控制系统可充分利用计算机资源，满足运动过程、运动轨迹都比较复杂，柔性、开

[8]

放性等要求较强的机器和设备。 参考文献：

[1] Ramesh Jain, Rangachar Kasturi, Brian G. Schunck:

Machine Vision [M] (ISBN:0-07-032018-7).Published by McGraw-Hill Companies,Inc.1st ed 1995.

[2] 韩九强. 机器视觉技术及应用.[M] 出版社：高等

教育出版社, 2009年12月

[3] E.R.Davies Machine vision: Theory , Algorithms ,

Practicalities. [M] ISBN:0-12-206093-8.Published by the Proprietor. 3rd ed 2005. [4] 章毓晋 . 图像工程 . 第二版 [M] 北京：清华大

学出版社，2007/05

[5] 冈萨雷斯 (作者), 阮宇智 (译者), 阮秋琦 (译

者), 数字图像处理(第2版) [M] 北京：电子工业

出版社，2007

[6] Wesley E.Snyder，Hairong Qi. Machine Vision [M]

(7-111-16790-2 CNY) Published by mechanical industry publishing house . 2005. [7] Luosi Wei , Zongxia Jiao , “Visual location system for

placement machine based on machine vision,” Fifth IEEE international symposium on embedded computing. Pp141-146.（SEC 2008） Beijing, China October 6-9, 2008 [8] P. Zhang , Z. Zhu . “Machine Vision technology and its

application to Automation of Mechnical Manufacture,” Journal of Hefei University of technology. Vol.30. No.10, Oct.2007,pp1292-1293.

介绍了机器视觉在新的领域的应用,在微电子半导体等生产线上的定位系统,哈哈

本文来源：https://www.bwwdw.com/article/69ei.html