无标定视觉伺服在机器人跟踪多特征点目标的应用 - 图文

无标定视觉伺服在机器人跟踪

多特征点目标的应用

宋平 康庆生 孟正大

东南大学

摘要：介绍了一种眼在手上的机器人3D视觉跟踪多特征点目标的无标定视觉伺服。利用基于递推最小二乘法估计图像雅可比矩阵伪逆的无标定视觉伺服，这种方法无需计算雅可比矩阵伪逆，避开了图像雅可比矩阵伪逆计算的奇异性问题。实验结果验证了这种方法的可行性，为机器人抓取目标打下了基础。

关键词：眼在手上 多特征点 无标定视觉伺服 3D视觉跟踪

Application of Un-calibrated Visual Servo in Tracking Multi-feature Object

Song Ping Kang Qingsheng Meng Zhengda

Abstract: This paper presents an uncalibrated control method for robotic vision-guided targets 3D tracking using an eye-in-hand camera. The uncalibrated visual servoing is adopted to fulfill the online recursive estimation of image Jacobian pseudo-inverse matrix, This method doesn’t compute the moore-Penrose inverse of image Jacobian and avoid the singularity of image Jacobian. This experiamental results demonstrate the feasibility of this method and experiment lays the groundwork for grasping target.

Keywords: eye-in-hand feature points uncalibrated visual servoing 3D visual tracking

信息，于是就始终存在着对深度信息的估计问题，如何实时而准确地获取深度信息是急需解决的关键而困难的问题[3]。

目前获取目标三维信息的主要有以下几种方法：1）立体视觉，其主要特点是能够获得景深，但立体视觉要进行对应点的匹配，耗费大量的机时，难以满足实时性的要求；2）主动视觉，它通过测距传感器直接测出目标物体的距离，但这就涉及到多传感器的数据融合问题；3）单目视觉，它是通过运动获取深度和从散焦获取深度等[4]。

本文主要用单目视觉来进行无标定视觉伺服，根据目标多特征点在图像平面成像的位置与

1 引言

近年来，越来越多的机器人被用于工业生产，其领域主要有机器人焊接、工件装配等。这些任务需要机器人有视觉功能，并将视觉信息加入到机器人控制中，其方法被称为视觉伺服。传统的基于视觉的机器人控制，要求摄像机内部参数标定、机器人运动学标定、手眼关系标定[1]，但在实际情况中无法精确标定。为了克服基于标定的方法的弊端，一种无标定方法就越来越受到关注。它的核心是在手眼关系及摄像机模型未知的条件下，在线估计图像雅可比矩阵，并利用视觉反馈误差控制机器人运动，进而完成视觉伺服

[2]。

由于视觉传感本身固有的特点只能反馈两维

摄像机的相对位置相关间接反映目标深度信息，由视觉伺服跟踪目标。

2 系统的结构及工作原理

实验系统如图1所示。

图1 实验系统

实验系统包括以下几个部分：PA10机器人手臂及其控制设备、CCD摄像机、图像采集卡、多媒体计算机和火炬目标物[5]。工作时，安装在机器人手臂的摄像机首先对环境进行摄取，通过图像采集卡采集图像信息，利用图像处理对目标物体识别。如果目标不在摄像机视野范围内，则控制机器人手臂左、右和上、下摆动来进行全方位的搜索目标，直到目标出现在视野范围内。当目标在摄像机视觉范围内，则进行无标定视觉伺服。为了实现机器人能在深度上的跟踪，本文选取了目标的两个特征点。多特征点在图像平面的投影图像间接的反映了目标的深度信息。在实时的控制过程中，用实时视觉特征与图像期望特征构成视觉反馈的差，在线估计图像雅可比矩阵伪

逆，采用伪高斯－牛顿算法，算出机器人关节变化量，引导机器人完成任务。

3 图像处理

基于图像的视觉伺服系统中，图像处理是目标

识别和特征点提取的基础。图像处理的工作过程是图像输入、预处理、图像识别、特征提取等步骤。图像输入是由摄像机和图像采集卡共同完成；图像预处理包括：颜色模型转换、图像平滑、中值滤波；图像识别包括：边缘提取、检测平行线、检测环；特征提取。本文目标识别主要是：颜色识别、填充空穴、去除噪声、边缘提取、检测平行线、检测环

[6]，然后是目标特征点的提取。图2是待处理的图，

图3是提取目标多特征点的图。

图2 待处理图像

图3 显示两个环的重心位置

4 机器人的无标定视觉伺服

4.1 无标定视觉伺服控制方法

视觉伺服是以当前图像特征与期望图像特征间的偏差作为输入信号，通过一定的控制算法得到期望的关节角变化值，输给机器人控制器，控

制机械手关节运动，直到当前的图像特征与期望特征误差趋近于零。

假设目标图像的特征仅仅是时间t的函数：n个关节机械手末端执行器的m个图像特征点只是机械手关节角q(t)?Rn的函数：f(q)?Rm ，设在图像平面内的跟踪误差为f(q,t)?Rm，它是高度非线性的函数，且

f(q,t)?f(q)?f(t) （1）

控制关节轨迹q(t)使机械手的末端执行器跟踪目标，并使如下目标函数最小：

F(q,t)?12?fT(q,t)?f(q,t)

（2） 我们采用伪高斯－牛顿算法： qT)?1?JT?fk?1k?qk?1?(Jk?1?Jk?1k?1(fk?1??t?ht)

=q??fk?1k?1?Jk?1?(fk?1??t?ht) （3）

其中 J?k?1?(JT?J)?1k?1?JTn?mk?1k?1?R

对于固定目标时，图像特征的速度误差项为零，即

?fk?1?t＝0，这时要实现跟踪固定目标的视

觉伺服控制算法为

??qk?qk?1?Jk?1?(fk?1?fk?2) （4）

??式中，Jk?1为图像雅可比矩阵伪逆J?于k?1时

刻的估计值。

为了保证开始时图像雅可比矩阵伪逆收敛于实际值，通常采用以下比例控制算法[7]：

??qk?qk?1??kJk?1?(fk?1?fk?2) （5）

4.2 在线估计图像雅可比矩阵伪逆

计算图像雅可比矩阵进而得到伪逆的方法有经验法、在线估计法和学习方法等。经验法可以通过标定或先验模型推导得到；在线估计图像雅可比矩阵的方法，可以事先不进行标定，但存在雅可比初值选择问题；学习方法主要有离线示教和神经网络方法等。

本文采用文献[8]中的在线递推最小二乘法直接估计图像雅可比伪逆矩阵，避开了图像雅可

比矩阵伪逆计算的奇异性。

对于n个关节的机械手，2个特征点对应的图像雅可比矩阵J为4?n维矩阵，则存在唯一的

n?4维伪逆矩阵J?，使得：

?q??J??f??J?? （6）

1J??2??Jn?1J?n?T?f上式中，对于J?的k行可表示为

Tq?k?(J?)T??k?f?f?J?k k=1,2,……，n （7）

由式（12）可见，图像雅可比矩阵的k行与图像的变化率成线性关系。通过不断的测量机器人关节的变化和对应图像的改变，可同时用n组

遗忘因子递推最小二乘算法在线估计出图像雅可

比矩阵的伪逆，具体算法如下：

????JT??k?1?Jk?Kk?1?[qk?fk?1?Jk] （8）

K?PT?1k?1k?fk?1?[??fk?1?Pk?fk?1]

（9） PTk?1?1?[I?Kk?1?fk?1]?Pk （10） ?式中：J?k为k次叠代对参数的估计；?为

遗忘因子（0???1）。

显然，这里的估计算法无需任何标定，因不

需要计算图像雅可比矩阵伪逆，可避免雅可比矩阵的奇异性等特点。

5 实验结果

5.1 试验条件

试验用的是日本三菱重工生产的PA10系列机械手PA10-6CE，它有6个自由度。本试验只用其中4个关节来实现三维运动，即第1（s1），第2（s2），第3（e1）和第5关节（w1）。摄像机安装在机械手的第6关节上，构成眼在手上

结构，内外参数不作任何标定。目标为一个木制的仿形火炬，为简化图像处理和目标识别，在仿形火炬杆上涂有两个颜色环，分别是：黑色和紫色环。本试验以黑色和紫色环的中心点作为目标特征点，利用无标定视觉伺服实现机械手三维跟踪目标。视觉伺服的目的是控制机械手，使黑色和紫色的中心点的图像最终位于指定的位置。在起动了机械手后，每个伺服循环周期由图像处理、参数估计、视觉伺服算法运算和机械手关节运动等环节构成。

试验过程中采用VC++编写机器人视觉伺服控制系统，系统控制界面如图4所示。

图4 系统控制界面

5.2 实验结果

在无标定跟踪试验中，当控制比例系数?k取得过大时，关节变化量也会比较大，容易使摄像

头超出它的视觉范围而无法到达目标点。

?k取得小点，不容易超出摄像头的视觉范围，也可以达

到目标点，但收敛比较慢，要循环更多的次数才能到达目标点。实验中，控制比例系数?k取为(0.15,0.15，0.15，0.15)，如果图像误差（当前特征点与期望特征点在图像平面的差值）小于6个pixel范围内，并且跟踪上目标的次数大于30次视为完成视觉伺服。

本文介绍两组静态目标的无标定跟踪实验。 实验1：目标特征点从起始位置到期望位置的两个特征点在图像平面的距离值不变，目标在图像平面的起始位置为（69，103），（66，148），期望位置为（101，97），（98，142）。图5是两个特征点的跟踪轨迹图，图6是x轴跟踪结果图，图7是y轴跟踪结果图，图8是两特征点图像与期望图像的总误差值。

图5 实验1的图像平面的运动轨迹

图6 实验1的X轴跟踪结果

图7 实验1的Y轴跟踪结果

图8 实验1的图像误差曲线

实验2：目标特征点从起始位置到期望位置的两个特征点在图像平面的距离值变大，目标在图像平面的起始位置为（51，103），（47，145），期望位置为（129，62），（123，138）。图9是两个特征点的跟踪轨迹图，图10是x轴跟踪结果图，图11是y轴跟踪结果图，图12是两特征点图像与期望图像的总误差值。

图9 实验2的图像平面的运动轨迹

图10 实验2的X轴跟踪结果

图11 实验2的Y轴跟踪结果

图12 实验2的图像误差曲线

以上2个实验表明本文采用的在线最小二乘法估计图像雅可比矩阵伪逆的视觉伺服均能很好地跟踪上目标，且跟踪误差都能稳定在允许范围之内。

6 结论

本文在手眼关系及摄像机模型完全未知的情况下，针对眼在手上机器人，选取了目标的两个特征点，利用在线最小二乘法估计图像雅可比矩阵伪逆的视觉伺服的方法实现三维视觉跟踪多特征点目标。实验结果验证了这种方法可行性，而且还可以避开计算图像雅可比矩阵伪逆的奇异性。

参考文献

1 Sutanto H, Sharma R, Varma V . Image Based Auto Docking Without Calibration[A] . proc IEEE international conference on robotics and automation[C] . albuquerque, new mexico, 1997

2 项龙江，司秉玉，薛定宇. 模型无关的无标定视觉伺服控制[J].机器人，2003，25（5）：424-427

3 王新成. 高级图像处理技术[M]. 北京：中国科学技术出报社，2001：149-152

4 赵玲，刘清. 基于机器人单目视觉导航的测距方法研究[J]. 自动化博览, 2006 (12) ：80-82

5 郝婷，机器人火炬交接中的视觉伺服[D]. 南京: 东南大学自动化学院, 2006

6 郝婷，孟正大. 机器人在复杂环境下的火炬识别[J]. 东南大学学报, 2005,35(2) ：151-154

7 康庆生，孟正大，戴先中. 图像雅可比矩阵伪逆估计在视觉伺服中的应用[J]. 机器人，2006，28(4) ：406-409

8 Kang Qing-sheng，Hao Ting，Meng zheng-da. Pseudo-inverse Estimation of Image Jacobian Matrix in Uncalibrated Visual Servoing[A].proc IEEE international conference on Mechatronics and Automation[C]. 2006：1515-1520

本文来源：https://www.bwwdw.com/article/ey7o.html