空间科学实验机器人辅助遥操作系统

w

2003年12月　

　　　中国空间科学技术　　　　第6期　CHINESESPACESCIENCEANDTECHNOLOGY　　　　　　7

空间科学实验机器人辅助遥操作系统

(北京航空航天大学机器人研究所,北京100083)(北京控制工程研究所,北京100080)丑武胜　孟　陈建新　李晟

摘要　建立了一个面向空间舱内晶体生长科学实验的地面模拟机器人遥操作系统。该

系统通过基于虚拟现实的预测仿真来克服通讯时延的影响,并通过仿真图形和实际视频图像的叠加来对虚似仿真环境进行校准,以提高预测仿真的保真性。操作员利用空间鼠标等人机交互工具实时控制仿真机器人系统的运动,,并借助全局和局部视觉信息,。

主题词　机器人　遥控操作器　空间科学1　引言

[1]。空间机器人的应用领域之一,完成科学实验操作任务。

,给空间机器人的稳定性遥操作控制带来了很大的困难。地面操作者在控制空间机器人时一般采用“运动2等待”的方式来保证操作的可靠性和安全性,这就造成系统整体效率的降低[2]。许多学者从不同的角度出发,针对如何克服时延影响提出了许多方法,这些方法大体上可以分为三类:双边控制[3]、预测显示/控制[4]和遥编程[5]。双边控制主要是针对主从遥操作系统中的力反馈控制问题提出的[6],只适合于小时延的场合;而对于空间或水下环境这些大时延的场合,双边控制方法的应用就受到很大的限制。遥编程是监控控制的一种表现方式,在操作端和远端之间传递的不是关节空间或操作空间的伺服控制指令,而是具有一定抽象程度的符号命令程序段,但是它要求远端机器人具有较高的局部自主能力,该方法存在控制不灵活,难以适应复杂多变的环境,在遇到差错、意外情况时,很难依靠自身进行误差恢复等缺点。预测显示/控制采用虚拟现实技术,在计算机屏幕上生成与远端机器人相同的虚拟机器人及工作环境的3维虚拟场景,操作者根据现场的情况和操作任务要求,通过人机交互设备发送出控制指令,用这些指令操纵虚拟机器人,再将虚拟机器人的操作信息发送给远端机器人,由远端机器人实现这些操作。预测显示/控制应用最为广泛,如德国的ROTEX

空间机器人实验系统[7]、美国NASA的舱内机器人系统[8]以及日本的工程实验卫星ETS2Ⅶ上的机器人系统[9]等。

预测显示方法由于要对远端环境进行虚拟三维建模,这就要求环境是已知的,或至少是部分已知的,因此它仅适用于结构化或半结构化的环境,不能很好地处理未建模环境的动态变化。有些学者试图利用视觉或触觉信息对环境进行在线重建,但目前方法还很不成熟。本文在建立面向空间舱内晶体生长科学实验的地面模拟机器人遥操作系统的基础上,不仅在OpenGL环境下设计并实现了一个虚拟预测仿真环境,而且同时将实际视频图像引入虚拟仿真环境,通过虚拟仿真图形和实际视频图像的叠加来消除地面仿真模型和空间模型的不匹配,提高仿真的保真性;在机器人接近操作对

收稿日期:2003204210。收修改稿日期:2003206220

w

8中国空间科学技术2003年12月象时,实现了图像的多分辨率显示,在不增加空间硬件载荷的情况下,方便操作者进行操作。2　系统结构

机器人辅助空间科学实验地面模拟系统由客户端(操作端)和服务器端两大部分组成,两者通过100Mbit/s高速局域网相连接,通过软件可模拟28s的通讯时延,如图1所示。客户端包括人机交互设备(手控器、键盘、空间鼠标)和

一台用于预测仿真和人机交互的

PC机。在服务器端,由PUMA260

和两指电动夹持器组成的机器人

系统被安装在可移动的导轨上。

为简化系统软硬件结构,提高系统的集成度和可靠性,用一台高

性能PC机完成低层对集、。在服务器

端通过彩色摄像头输入视频信号

到DH2VRT2CG200图像采集卡,

然后把RGB像素格式的视频图像图1　空间科学实验照料机器人遥操作系统结构

读入内存,运用Intel公司开发的

IntelJPEGLibrary库函数

,把每帧24位BMP格式的图像压缩成JPEG格式,最后调用Winsock进行图像的传输,并在客户端进行解压缩和显示。

3　预测仿真子系统

利用OpenGL生成了在PC机Windows操作系统下遥操作机器人及其工作环境的预测仿真图形。

操作员在客户端面对机器人及其工作环境的仿真图

形,

借助于手控器、空间鼠标、以及键盘等人机交互设

备对机器人的仿真图形进行运动控制与规划,仿真

系统再将模型的数据通过通讯传给服务器,从而控

制遥机器人完成相应指令任务。图2为预测仿真子

系统的功能结构。

其中,网络接口模块的作用是建立TCP/IP网络连接;用户接口模块初始化并管理有关的输入输出

设备和显示设备;消息处理模块接收本地或网络的

图2　预测仿真子系统的功能结构控制消息和数据消息,对消息进行初步翻译和分类,

通过消息机制将消息发送到系统核心仿真模块和视

频叠加仿真模块;视频显示模块接收远端传来的视频数据流,在屏幕上显示活动图像;主核心仿真模块用于维护仿真环境中各对象类,接收消息控制模块的命令,改变相应的数据,并控制图形渲染

w

2003年12月中国空间科学技术9模块刷新显示;仿真数据管理模块用来管理所有仿真环境的数据,包括所有物体位姿、关节数据、物体从属关系以及所有仿真参数,在系统初始化时通过读取仿真数据文件建立仿真数据,在运行过程中维护仿真数据;三维图形渲染模块则通过WTK/OpenGL提供的API实现虚拟现实的仿真环境,并且通过与核心仿真模块的数据交互实现对仿真环境显示的更新。

4　虚拟环境的校准

通过将实际视频图像和仿真环境进行重叠显示,即对虚拟环境进行校准,可消除仿真模型和实际环境间的不匹配,提高操作者的操作可信度,并可

有效集中操作者的注意力,便于操作者及时发现和

处理现场的情况。

为进行虚拟环境的校准,需要建立图3像机标定、。

(1)空间点P在图像上的成像位置可以用针孔模型

来近似表示,即任意点P在图像上的投影位置p’,

为光心O与P的连线与图像平面的交点。这种关系

多称为透视投影,该关系式表示如下

u’=z(1)图3　虚拟环境和真实环境中的坐标系v’=z)为P点在图像上的坐标

,(x,y,z)为P点在摄像机坐标系中的坐标,表示为齐次式中　(u’,v’

矩阵的形式如下

uzv=f0f00

10xyz(2)0

010　　一副M×N灰度图像在计算机内都以一个M×N的一维数组进行存储,也可以把该一维数组看成是M×N的二维数组,为与前面的图像坐标系区别,把数组化后的图像坐标系Oc2uv称为屏幕坐标系(数组中各个数与屏幕上的像素是一一映射的),该坐标系的原点取在图像的左上角,u,v轴分别与u’,v’轴平行。屏幕上的每一个像素的坐标(u,v)分别是该像素在数组中的行数和列数,该坐标并没有明确的物理意义,因而首先要将屏幕坐标的单位转化为以物理单位(

mm)表示的形式。在图像坐标系中,坐标原点o定义为光轴与图像平面的交点,该点一般在图像中心。但是由于摄像机制造的原因,有时会有一些偏离,假设该交点在屏幕坐标中的坐标为(u0,v0),单位像素对应的实际物理尺寸为dx,dy,则从图像坐标到屏幕坐标的转换关系为

u=dx+u0

v=+v0dy(3)

w

10中国空间科学技术2003年12月写成齐次矩阵的形式为

u

v=dx0

d

yu0v0uv(4)0

r1110r12

r22

r321r13r23r33txtytz(5)设从世界坐标系到摄像机坐标系的变换矩阵为R,即r21r31R=

dx0由式(2)、式(4)和式(5),zdyu0v00

RXYZ(6)0001

1

(f,dx,dy,u0,v0)只与摄像机的内部结构有关,

称为摄像机的内部参数。而在实际计算中往往把k1=f

/dx,k2=f/dy看做两个参数,因而摄像机的内部参数为(k1,k2,u0,v0),则式(6)可以记为

zv=k1r11r21

r31r12r22r32r13r23r33txtytz0k2u0v0XYZ(7)0

0010001　　(2)摄像机标定

首先在实际机器人上选择6个以上的特征点作为标定点,并测得这些点在世界坐标系中的空间坐标,然后利用鼠标在视频图像上选取对应点的像点,并取得这些点在图像坐标系中的2维坐标。根据PUMA机器人的外观,选取六个点,所有的点均为棱角点,比较容易分辨,而且相对转轴的位置能够精确的测量。标定点拾取的误差对将要求解的摄像机标定矩阵影响很大,所以在进行标定点拾取时,应保证包含六个点的平面与摄像机的主光轴基本垂直,而对于机器人的姿态,可以任意选取,由摄像机几何成像模型,物点、焦点和像点满足三点一线关系,

由此可得到关于数字图像平面像点坐标(ui,vi)和三维物体空间坐标(Xi,Yi,Xi)的方程组。利用摄像机标定算法[10]可求出式(7)中待定参数,得到摄像机的标定矩阵,该矩阵包含与摄像机有关的旋转、平移及焦距信息。

(3)图形与图像的同时显示

为使图形与图像在同一窗口中重叠显示,首先将实际视频图像作为动态纹理背景调入虚拟仿真环境,其次以线框的方式显示虚拟仿真机器人。

(4)静态校准

将摄像机标定矩阵左乘仿真模型各点,得到经透视投影后的二维图形,把该二维图形正投影到图像平面上,即进行图形与图像的叠加。根据叠加结果,操作者可对虚拟环境的视点进行微调,以进一步提高叠加的精度。图4为叠加后的结果,其中虚拟机器人用线框方式进行显示,背景为实际的机器人系统。图5为真实机器人在一定时延后跟随虚拟机器人的运动情况。

w

2003年12月中国空间科学技术11

图4　

虚拟环境校准结果图　　(5)图像多分辨率显示

,。由于增加空间载荷的成本很大,。在这里,采,实现多分辨率显示。图像采:PAL—768×576;而要求显示的图像大小是352×288。为了实现双分辨率显示,而又不影响视野的大小,同时保证图像清晰,在服务器端采集大小为768×576的一幅图像,然后对它进行双线性压缩,压缩后大小为384×288。根据客户端发出的请求命令不同,可以把整幅图像和压缩后的图像发送到客户端。

当在大小为384×288的图像上选择一矩形区域进行二倍放大时,由于图像数据格式为由左往右、由下至上、每像素三个字节的顺序排列,首先计算出所选择的矩形左下角相对于图像的左下角的相对坐标(tx,ty),则相对原图(768×576)的相对坐标为(2×tx,2×ty),于是可得相对原图左下角平移的字节数

TByte=2×ty×xMax×3+2×tx×3,其中xMax=768;然后根据矩形的长宽计算所需传输的像素。

5　实验研究

基于本文的方法,建立了面向空间科学实验照料的机器人遥操作地面模拟实验系统,并针对空间晶体生长科学实验中更换晶体炉料棒的作业任

务进行了实验研究。操作者利用空间鼠标和预测

仿真环境进行交互,经过虚拟环境校准后,在预

测仿真的导引下,借助于全局视觉和局部视觉信

息,同时结合主从遥控和局部自主控制技术,实

现了料棒的更换,如图6所示,其所要抓取的料

棒长40cm直径为3cm。

整个操作过程是:操作者依靠视频融合,主

从操作式地移动机器人到料棒附近,然后,发送

自主命令。机器人接收到自主抓棒命令后,即开

始基于视觉的自主抓棒。同时,仿真端机器人也

开始自主抓棒,抓取完成后手爪上抬。操作者发送移动导轨命令,机器人通过导轨移动到晶体炉附图6　机器人更换晶体生长炉料棒

w

12中国空间科学技术2003年12月近,并进行姿态调整,旋转手爪使料棒与晶体炉支架平行。之后,操作者发送放棒命令,实际机器人、仿真机器人分别完成自主放棒动作。远端放棒动作为:机器人到支架上方的固定位置,手爪下移,将料棒放到水平支撑槽上,接着手爪进行水平移动,将料棒推入水平支撑孔内,打开手爪。仿真端做相应的仿真动作,并等待远端任务完成信号,接收到反馈后,发送复位命令,真实、仿真端机器人回到初始位置。

6　结论机器人遥操作是空间机器人完成作业任务的一种重要的操作方式。料的机器人遥操作系统的关键技术进行研究,,器人遥操作模拟实验系统。在系统的操作端,L,有效克服了通讯时延的影响。同时为了减小仿真模型的误差,融合,对虚拟环境进行校准,、可靠地完成空间晶体生照料,。

参　考　文　献

1　ToruKasai.ResultsoftheETS27MissionRendezvousDockingandSpaceRoboticsExperiments.ProcFifthIntSymponArtificialIntelligence,RoboticsandAutomationinSpace,1999:299306

2　KimWS,SchenkerPS,BejczyAK,etal.AdvancedGraphicsInterfacesforTeleroboticServicingandInspection.ProceedingsoftheIEEE/RSJInternationalConferenceonIntelligentRobotsandSystems,Yokohama,Japan,1993:3033093　LawrenceDA.Stability

andTransparencyinBilateralTeleoperation.IEEETransactionsonRoboticsandAutomation,1993,9(5):624637

4　BejczyAK,KimW.SandVenemaS.ThePhantomrobot:PredictiveDisplayforTeleoperationWithTimeDelay.IEEEInter2nationalConferenceonRoboticsandAutomation,1990:546551

5　BlackmonT,StarkL.Model2basedSupervisoryControlinTelerobotics.Presence2TeleoperationandVirtualEnvironment,1996,5(2):205223

6　Penin,etal.ForceReflectionforTime2DelayedTeleoperationofSpaceRobots.ProcIEEEInternationalConferenceonRoboticsandAutomation,2000:31203125

7　BrunneRB,HirzingerG.MultisensorySharedAutonomyandTelesensorProgramming2KeyIssueintheSpaceTechnologyExper2imentROTEX.IEEE/RSJInternationalConfereceonIntelligentRobotsandSystems,1993:21232139

8　KimWS,BejczyAK.DemonstrationofaHigh2FidelityPredictive/PreviewDisplayTechniqueforTeleroboticServicinginSpace.IEEETransactiononRoboticsandAutomations,1993,9(5):698701

9　OdaM,KibeK,YamagataF,ETS2Ⅶ,SpaceRobotIn2OrbitExampleSatellite.IEEEInternationalConferenceonRoboticsandAutomations,1996:739744

10　袁立行,郑南宁,王爱群1基于空间透视不变量的摄像机标定方法1机器人,1997,19(3):197201

作者简介

丑武胜　1969年生,1998年毕业于天津大学机械工程系,获博士学位,现为北京航空航天大学机器人研究所副教授。主要研究方向为机器人远程遥操作技术。

w

2003年12月中国空间科学技术13

RobotAssistedTeleoperationofSpaceScientificExperiment

ChouWusheng　MengCai

(RoboticsInstitute,BeijingUniversityofAeronauticsandAstronantics,Beijing100083)

ChenJianxin　LiCheng

(BeijingInstituteofControlEngineering,Beijing100080)

Abstract　Ateleroboticsystemissetupfortheofspaceincabin.ThenegativeeffectoftimedelayisovercomebyusingbasedonVirtualenviron2mentiscalibratedbysuperimposingtherealvideo

biningthemaster-odewiththeglobalandlocalvision,theoperatorcaninteractivelycontrolrealroboticsystembyspacemouseandsuccessfullyperformthetaskofcrystalgrowthstove.

SubjectT　Telemanipulator　Spacescience　Experimentation

中国首次载人航天飞行获得圆满成功

2003年10月15日9时整,中国自主研制的“神舟五号”载人飞船在酒泉卫星发射中心用“长征二号F”运载火箭发射升空。9时9分50秒,飞船准确进入预定轨道,将中国第一名航天员杨利伟成功送上太空。“神舟五号”载人飞船的发射成功是伟大祖国的荣耀,标志着我国在攀登世界科技高峰的征程上又迈出了具有重大历史意义的一步。

此次发射的“神舟五号”载人飞船,包括推进舱、返回舱、轨道舱和附加段四个部分,由中国航天科技集团公司所属的中国空间技术研究院和上海航天技术研究院为主研制。发射飞船的“长征二号”型运载火箭,由中国航天科技集团公司所属的中国运载火箭技术研究院为主研制。飞船上进行空间科学和技术试验的载人航天应用系统由中国科学院、信息产业部等部门的有关单位研制。此次发射是长征系列运载火箭第71次飞行,也是继1996年10月以来,我国航天发射连续第29次获得成功。飞船在轨运行期间,在北京航天指挥控制中心的统一调度和指挥下,中国西安卫星测控中心,国内外有关测控站和“远望”号远洋航天测量船队,对飞船进行持续跟踪、测量与控制,通过航天员生理遥测参数和回传图像及话音通信,了解航天员的身体、生活和工作状态,载人航天应用系统在飞船上进行空间科学和技术试验。

按照预定计划,“神舟五号”载人飞船绕地球飞行14圈,随后,航天员杨利伟乘坐飞船返回舱于10月16日6时23分在内蒙古主着陆场成功着陆,返回舱完好无损,航天员杨利伟自主出舱。中国首次载人航天飞行获得圆满成功!

本文来源：https://www.bwwdw.com/article/rjx1.html