计算机视觉在机器人目标定位中的应用

计算机视觉在机器人目标定位中的应用

收稿日期:2003-06-16

作者简介:王俊修(1979—

),男,河南郏县人,硕士研究生,研究方向为计算机视觉。

计算机视觉在机器人目标定位中的应用

王俊修,孔　斌

(中国科学院合肥智能机械研究所,安徽合肥230031)

摘　要:计算机视觉是一门新兴的发展迅速的学科,计算机视觉的研究已经历了从实验室走向实际应用的发展阶段。由于视觉信息容量大,在实际应用中直观有效,所以运用视觉来寻找和确定目标的方位是机器人发展中一个很重要的方法,近年来它广泛应用于工业自动化装配领域中,同时对视觉系统的要求也越来越高。文中介绍并分析了当前国内外基于视觉的几种主要的目标定位方法在实际中的应用,例如移动机器人自主导航定位系统、手眼立体视觉系统等。关键词:移动机器人;双目立体视觉;目标定位;计算机视觉

中图分类号:TP391　　　　　　　　文献标识码:A 　　　　　　文章编号:1005-3751(2003)12-0007-04

Application of Computer Vision in Object Location of R obot

W ANGJun 2xiu ,K ONG Bin

(Hefei Institute of Intelligent Machines ,Chinese Academy of Sciences ,Hefei 230031,China )

Abstract :C om puter vision is a new and widely developed field.S tudy of com puter vision has passed the seedtime from the laboratory to application.It is an im portant method for searching and con forming the direction of the object by using vision in formation in the development of robot ,because vi 2sion in formation is large and efficacious.Recently ,it has been widely applied in the field of assemblage ,at the same time ,there is higher demand for vision system.In this paper ,introduce and analyse several im portant methods based on object location home and abroad ,such as robot self -loca 2tion based on stereovision system ,robot hand -eye coordination based on stereoscopic vision ,and s o on.K ey w ords :m obile robot ;binocular stereoscopic vision ;object location ;com puter vision

0　引　言

计算机视觉是一门新兴的发展迅速的学科,20世纪

80年代以来,计算机视觉的研究已经历了从实验室走向

实际应用的发展阶段。从简单的二值图像处理到高分辨率多灰度的图像处理,从一般的二维信息处理到三维视觉机理以及模型和算法的研究都取得了很大的进展。而计算机工业水平的飞速提高以及人工智能、并行处理和神经元网络等学科的发展,更促进了机器人视觉系统的实用化和涉足许多复杂视觉过程的研究。目前机器人视觉系统正在广泛地应用于视觉检测、机器人的视觉引导和自动化装配领域中[1～4,7～11,15,17]。通过与非视觉传感器(如力觉、接近觉和触觉等)的相互协调配合,利用视觉系统对装配工件的识别定位以及检测,使装配机器人实现典型的装配动作,如抓取、插入和拧紧等。

现实的客观世界是一个三维空间,经摄像机成像系统变为丢失了第三维深(高)度信息的二维图像。要实现三维空间的重构,就必须利用计算机视觉系统,进而可以利用视觉系统的视差来实现目标的三维定位。从文献[1,2,

4,17]中可以知道,目标定位技术可以大致分为两大类:一

种是基于计算机视觉的定位技术,另一种是基于非视觉传感器(如超声、激光)的定位技术。在这里,主要介绍基于视觉的定位技术。基于视觉的目标定位可以理解为以下三种情况:机器人的自定位、实际抓取目标的定位、以及机械手和目标之间的相对定位。实际上也可以把定位方法分为绝对定位和相对定位,如前两种就是绝对定位,后一种为相对定位。

在实际的应用中,同一种目标定位系统可能采用不同的方法来实现,如视觉系统中一个关键的问题———摄像机的标定。传统的计算机视觉多是采用预标定的方法[13],

20世纪90年代以来,一些学者如Hartley ,Faugeras 等提出

了自标定或弱标定的方法[12,14,16],后者在计算上更简单,而且更实用。因为标定过程实际就是建立理想模型的过程,由于多种因素的影响,各种标定方法很难得到理想的系统模型,而且标定出来的参数只能满足一个标定条件的子区域,如果摄像机偏离了此区域,就要对摄像机再次进行标定,这就是重标定。所以当摄像机处于动态的环境中时标定就变得很困难,而且也不实际。下面就介绍几种典型的基于视觉的定位系统。

1　基于视觉的移动机器人自主导航定位系统

移动机器人导航技术是智能机器人领域的一个重要

第13卷　第12期2003年12月　　　　　　　　　　　　　微　机　发　展Microcomputer Development 　　　　　　　　　　　　　　V ol.13　N o.12Dec.

2003

© 1995-2005 Tsinghua Tongfang Optical Disc Co., Ltd. All rights reserved.

计算机视觉在机器人目标定位中的应用

研究方向,也是智能移动机器人的一项关键技术。多年来国内外都有大量的科技工作者致力于这方面的研究开发工作,因而在机器人定位、视觉导航方面取得了长足的发展。并且在某些特定的工业应用领域,移动机器人导航技术已得到了实际应用。

移动机器人导航定位系统的一般工作原理是机器人在运动的过程中利用自身的视觉传感器,确定其在工作环境中的位置和姿态(6D )。这样,当目标位置已知的情况下,机器人就可自主规划运动,完成预定的作业。这种定位属于绝对定位。

根据工作环境的不同要求,移动机器人导航定位系统采用的方法也不同,文献[1]采用了双目立体视觉系统,其工作环境是非结构化的;文献[3,4]采用的是三角测量的原理,是基于路标视觉导航系统;而且文献[3]与文献[4]不同,后者采用的路标是C AD 模型,显然识别和匹配更加快速、准确。文献[1]是双目立体视觉导航系统的一个代表,典型的应用是在移动机器人上安装两个CC D 摄像机来完成环境特征的3D 信息提取,包括人工标记的识别与匹配,然后计算出机器人相对作业目标的位姿(6D )关系,导引移动机器人控制系统按目标导向进行运动。这个系统的主要特点是通过一系列的坐标系变换来确定目标的位置参数。因此计算量比较大,它由两部分组成:视觉传感器的标定及机器人绝对位姿的计算。

这个系统典型方法是利用针孔摄像机成像模型理论建立视觉传感器S 与世界坐标系W 的关系;然后利用这个关系,通过立体视觉系统对外界环境特征的识别与匹配,计算出环境特征在视觉系统坐标系中的位置,进而通过预标定的视觉系统与移动机器人的位姿关系,确定机器人R 在世界坐标系W 中位置和姿态。他们之间的关系如图1

所示。

图1　坐标系关系图

上图中T sw ,T rs 和T rw 分别是坐标系S ,R ,W 间的位姿变换关系矩阵,是由3×3旋转矩阵T R 和一个三维位移向量T T 构成,而且有如下关系:T r w =T sw +T rs 。如果知道

T sw 和T rs ,那么T rw 就确定了,也就得到了机器人在世界坐

标系W 下的位置和姿态。如此,当目标在W 下给定时,就可以实时计算出T r w ,完成对机器人的定位和导航。

文献[3,4]是三角测量原理在机器人导航中应用的例子。它采用的是基于路标的定位方法,所谓路标即机器人工作环境中已知位置,且具有一定特征而便于识别的某些真实物体或人工标志(如C AD 模型)。这些路标可以被车载视觉传感器感知、识别,经过一定的信息处理过程获得

路标与机器人当前位置间的关系,从而计算出机器人的位置。此类系统主要是采用三角测量的原理实现目标的定位,视觉在里面起到了识别路标和确定机器人与路标方位的作用。这类系统定位准确性与以下参数有关:路标的类型,路标数目选择,工作环境中路标位置等。与视觉有关的是路标的类型,所以有明显特征的路标便于视觉传感器识别,识别效率更高,目标定位也准确。但这样的导航系统路径受路标分布的限制,所以在移动机器人自主导航定位系统中运用的范围不广。

2　基于视觉的机器人手眼目标定位系统

手眼系统广泛地应用于自动化装配领域和航空航天领域中,推动了现代工业飞速发展。在机器人进行装配、搬运等工作时,利用视觉系统对一组需装配的零部件逐个进行识别,并确定它在空间的位置和方向,引导机器人的手准确地抓取所需的零件,并放到指定位置,完成分类、搬运和装配任务。下面就详细的介绍几种手眼系统。

2.1　装配机器人手眼立体视觉定位系统

利用视觉系统的视差可以实现目标的三维定位。因此可以采用固定式双目立体视觉系统,这样就需要使用两个固定(fixed )摄像机来实现视差,就如同人的双眼一样。但设备成本比较高,目标的定位精度和视场大小之间难以控制。并且要对两个摄像机进行标定,计算量比较大,所产生的误差也就大。而手眼式视觉系统可以通过移动末端执行器(end -effector )的位置来实现视差,只需要一个

CC D 摄像机,如同文献[5,6]。此系统不需要标定摄像机

的内外参数,直接将图像坐标映射到机器人参考系坐标,从而由图像坐标得到目标位置。图2

为此系统的概图。

图2　手眼系统概图

此系统的特点是:CC D 摄像机头固定安装于机器人的末端执行器上,随末端执行器一起运动,末端执行器Z 轴始终垂直于工作台。CC D 以小孔成像的方式完成工件图像的获取,以得到工件在图像中的位置。主要采用手眼视觉变换原理,根据摄像机坐标系、机器人末端执行器坐标系以及机器人坐标系之间的转换,可以得到摄像机坐标系与机器人坐标系之间的关系。

通过手眼视觉变换过程,最后可以得到下列式子:

o

S xyz =o R e e R c c S xyz +o R e e P xyz +o

P xyz

(1)

其中o S xyz 表示取在机器人坐标系下的坐标值;o R e 为末端执行器坐标到机器人参考坐标的3×3的映射矩阵,它由末端执行器的姿态决定,与机器人末端执行器所在位

?

8?　　　　　　　　　　　　　　　　　　　　　　　微机发展　　　　　　　　　　　　　　　　　　　　第13

卷© 1995-2005 Tsinghua Tongfang Optical Disc Co., Ltd. All rights reserved.

计算机视觉在机器人目标定位中的应用

置无关;e R

c

为摄像机坐标到末端执行器坐标的3×3的映射矩阵;e P xyz为摄像机坐标原点在末端执行器坐标的三维坐标值;一旦CCD摄像机固定于末端执行器。其中e R c 和e P xyz都恒定不变。

然后根据摄像机小孔成像原理:由图像坐标[u,v]和摄像机坐标系[x,y,z]之间的关系可得到图像坐标与机器人坐标系的关系。

o S

xyz

=c S z3K[u,v,0]T+c S z L+M+o P xyz(2) K=o R e3e R c3f3diag[k u,k v,1]

M=K[-u p,-v p,f]T　　　　f是焦距

L=o R e3e P xyz

与传统的手眼系统相比,文献[4]并没有采用对CCD 摄像机进行标定,而是对参数K,L,M进行标定,从式子(2)可以看出如果这三个参数固定的话,目标o S xyz的确定仅需要知道c S z,[u,v,0],o P xyz这三个变量。[u,v]可以由图像坐标系算出来,o P xyz可以从机器人的状态获取,c S z可以从立体视觉算出。从上式知道,三参数K,L,M的表达式中只有o R e变化。所以一旦o R e确定了,那么这三个变量也就确定了。

这样做的好处是不用关心具体的摄像机参数,特别适合手眼系统在动态环境中工作,但这对机械手的工作姿态有所限制。因为实现参数K,L,M的固定的前提条件是要实现恒定旋转矩阵o R e。所以当末端执行器在机器人中的位置o P xyz变化了,要通过改变机器人的摇摆角来实现末端执行器相对于机器人工作平面保持同一个姿态,这样就可以保持o R e不变。文献[4]中作者采用了这样的方法:为保持c S z不变,也就是移动机器人末端执行器高度不变,通过改变机器人的末端执行器的方位使摄像机的光轴与工件台垂直。但如何准确地确定摄像机的光轴的方向也是个难点,所以在一些实际的工程中并不要求光轴的准确方向。

因此,以一定高度c S z,同时保持恒定旋转矩阵o R e,移动末端执行器到三个不同的位置,然后该变c S z,再做同样的操作,可以得到若干参数,代入式子(2)可以求出参数K,L,M。

三维目标的定位原理:文献[4]采用的方法是通过移动末端执行器到两个不同的位置形成立体视觉来获得目标的深度信息,同时可以得到目标在机器人参考坐标系中三维位置。首先保持c S z不变,移动末端执行器到两个不同的位置,可以由这两个位置参数得到一个方程,由此方程能够解出两个c S z,如果这两个值间的误差小,说明光轴垂直于工作台,否则,不垂直。当误差比较小时,可以取两者的平均值作为目标的深度信息。把此深度信息代入(2)式就可得到目标的三维坐标。

2.2　手眼协调机器人视觉系统

传统的机器人手眼协调系统的控制需要首先对整个系统建立精确的模型。这就是系统标定的任务。但由于标定方法的局限性,有必要研究不依赖于系统模型的手眼协调方案。文献[6～9]在这方面做了一定的工作,主要是从控制和协调的角度,直接研究系统模型未知情况下手眼协调方法和技术。

文献[6]主要研究了非标定的平面运动跟踪机器人视觉系统,摄像机固定在工作区域中,它不事先标定手眼坐标系之间的关系,此系统不仅能够对静止目标进行操作,而且还能够对运动目标进行跟踪。文献[7,8]主要研究了对静止目标进行操作的视觉系统,摄像机固定在末端执行器上,并和摄像机一起旋转运动。与文献[6]所不同的是此系统针对特定任务,推导了联系手抓和目标位置差与手运动的雅可比矩阵的关系式,并在每一周期通过手的实验运动在线估计这个雅可比矩阵,这个实验运动与任务完成没有直接联系,因而增加了系统负担。相比之下,文献[6]不仅解决了对平面运动目标的操作,且手运动在执行任务过程中没有无关操作,从而大大提高了工作效率。

未知的手眼关系使得机器人控制系统无法从视觉系统获得目标信息反馈,所以要规划机器人对目标进行操作,要解决的问题就在于如何从视觉反馈的系统状态误差得到机器人运动的控制信息。文献[6]研究了当图像平面和工作平面平行,且手爪与目标的位置差只限于平面内时,具有未知关系的机器人手眼系统的手爪接近目标的手眼协调过程。这一课题在工业机器人中有巨大的应用前景。

此视觉系统要求手爪和目标的运动仅限制在平面内,而且都位于摄像机的视场内。在机器人工作过程中只要满足摄像机图像平面与机器人工作平面之间的距离及平行关系不变,图像平面所反映的手爪与目标的相对关系等价于机器人坐标系中手爪与目标的关系。利用手爪跟踪目标的已知的运动及其在摄像机图像平面上投影,对目标的位置估计进行刷新,即直接利用前一视觉周期中手爪接近目标的运动来估计后一周期手爪的期望运动。目标在机器人坐标系中的位置只依赖于上一时刻和此时刻手爪在机器人坐标系和摄像机图像平面上的位置,以及此时刻目标在图像平面上的位置。根据这个视觉系统,实际上不用测量就可计算出目标在机器人坐标系中位置,并由此规划机器人的运动。

文献[7,8]中,H.Y oshimi,K.Allen提出了非标定目标对准手眼协调系统。此系统概图如图3所示。

此系统采用了相对定位方法,当摄像机围绕手爪旋转轴转动时,目标特征点在摄像机图像平面内将形成一定形状的闭合轨迹。如果目标特征点离手爪旋转轴比较远,那么形成的轨迹的面积也比较大,否则,就比较小。利用图像空间上产生的闭合轨迹的面积来判断末端执行器与目标的相对位置,如果面积大,则距离远,面积小则距离近。如果面积为零,则末端执行器正好在目标的正上方,手爪就可以进行对准工作,来进行抓取操作。在手眼协调的过

?

9

?

第12期　　　　　　　　　　　　王俊修等:

计算机视觉在机器人目标定位中的应用

© 1995-2005 Tsinghua Tongfang Optical Disc Co., Ltd. All rights reserved.

计算机视觉在机器人目标定位中的应用

程中,正如上面提到的,H.Y oshimi ,K.Allen 采用了雅可比矩阵来判断手爪的下一个运动方法,此方法增加了任务完成的复杂性,

大大延长了任务执行的周期。

图3　手眼协调系统概图3　结束语

计算机视觉既是工程领域、也是科学领域中的一个富有挑战性的重要研究领域,它的研究开始于20世纪60年代初,但基本研究中的许多重要进展在是在80年代取得的,现在它已经吸引了来自各个学科的研究者参加到对它的研究之中,其中包括计算机科学和工程、信号处理、物理学、应用数学和统计学、神经生理学和认知科学等。而且计算机视觉系统正在广泛地应用于视觉检测、机器人的视觉引导和自动化装配领域中。文中介绍的几种主要的基于计算机视觉的目标定位系统也是近年来工业机器人发展的成果。相信今后随着科学技术的进步,人类对视觉机理的进一步研究,计算机视觉会更快地发展,机器人对目标的定位更快、更准,实时性更好,从而推动整个机器人产业的发展。

参考文献:

[1]　刘伟军,董再励1基于立体视觉的移动机器人自主导航定

位系统[J ].高技术通讯,2001,11(10):91-94.

[2]　吴卫国,陈辉堂1基于彩色图像的移动机器人定位[J ].机

器人,1999,21(5):340-346.

[3]　郝颖明1路标定位中的优化选择策略[J ].高技术通讯,

2001,11(8):82-85.

[4]　Atiya S ,Hager G D.Real -T ime Vision -Based R obot Location

[J ].IEEE T ransaction on R obotics And Automation 1993,9(6):785-800.

[5]　熊春山,黄心汉1手眼立体视觉的算法与实现[J ].机器人,

2001,23:113-117.

[6]　苏建波1机器人视觉系统非标定的平面运动跟踪[J ]1系

统工程与电子技术,1999,21,(6):50-53.

[7]　Y oshim i B H ,Allen P K.Alignment Using an Uncalibrated Camera

System[J ].IEEE T ransaction on R obitics and Automation ,1995,11(4):516-521.

[8]　Y oshim i B H ,Allen P K.Active Uncalibrated Visual Serv oing

[A].Proc.1994IEEE International C on ference on R obotics and Automation[C].San Dieg o ,California :IEEE R obotics &Automa 2

tion S ociety ,1994.156-161.

[9]　Nguyen M C ,G raefe V.Self -Leaning Vis on -G uided R obots for

Searching and G rasping Objects [A ].International C on ference on R obotics and Au tomation [C].San Francisco ,California :IEEE R obotics &Automation S ociety ,2000.1633-1638.

[10]　Y oshim i H ,Allen P K.Visual C ontrol of G rasping and M anipula 2

tion T asks [A ].Proc.1994IEEE ,International C on ference on Multisens or Fusion and Integration for Intelligent System[C].Las Vegas ,Nevada ,US A :IEEE C om puter S ociety Press ,1994.575-582.

[11]　朱　枫1像平面与空间平面的变换及其在移动机器人中

的应用[J ].机器人,1998,20(2):98-103.

[12]　K im Jun -S ik ,K weon In -S o.A New Camera Calibration

M ethod for R obotic Application[A].Proc.2001.IEEE Interna 2tional C on ference on Intelligent R obots and System [C ].M aui Hawaii ,US A :IEEE R obotics &Automation S ociety ,2001.778-783.

[13]　Redert A ,Hendriks E.Accurate and robust marker localization al 2

g orithm for camera calibration[A].Proceedings of the First inter 2national Sym posium on 3D Data Processing Visualization and T ransm ission[C].Padova ,Italy :University of Padova ,2002.695-711.

[14]　于洪川,吴福朝1基于主动视觉的摄象机自标定方法[J ].

机器人,1999,21(1):1-7.

[15]　潘且鲁,苏剑波1眼在手上机器人无标定三维视觉跟踪

[J ].自动化学报,2002,28(3):371-376.

[16]　孟晓桥1摄象机自标定方法的研究与进展[J ].自动化学

报,2003,29(1):110-122.

[17]　汤思维1移动机器人多目标彩色视觉跟踪系统[J ].机器

人,2003,25(1):8-14.

?

01?　　　　　　　　　　　　　　　　　　　　　　　微机发展　　　　　　　　　　　　　　　　　　　　第13

卷© 1995-2005 Tsinghua Tongfang Optical Disc Co., Ltd. All rights reserved.

本文来源：https://www.bwwdw.com/article/0st1.html