[發明專利]視覺引導對準系統和方法

有效

• 申請號: 201180041489.1
• 申請日: 2011-08-25
• 公開（公告）號: CN103153553A
• 公開（公告）日: 2013-06-12
• 發明（設計）人: 張飚;汪建軍;G·F·羅薩諾;T·A·富爾布里格
• 申請（專利權）人: ABB研究有限公司
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 王茂華

技術領域

總體上，本發明涉及一種視覺引導對準系統。更具體地，本發明涉及一種利用相機空間操控控制過程的視覺引導對準系統。特別地，本發明涉及一種使用自動初始化的相機空間操控控制過程進行控制的視覺引導對準系統。

背景技術

諸如拾取和放置操作、材料去除以及包括諸如移動通信設備、GPS(全球定位系統)導航設備和PDA(個人數據助理)之類的便攜式掌上電子設備的電子設備組裝的要求兩個或更多組件相對于彼此對準的機器人自動化過程主要是重復的手工作業。具體地，關于拾取和放置操作以及材料去除，執行這樣的操作的機器人處理需要以高精度移動各種結構組件以成功完成操作。然而，使得電子設備組裝自動進行的困難是因為涉及到小比例或小尺寸電子組件的獨特特性，上述電子組件通常處于1至10mm的范圍之中，并且它們必須以緊密的空間公差被組裝在一起。因此，電子設備的成功自動組裝要求每個小型組件所提供的結構特征(諸如印刷電路板(PCB)上的連接插口)被精確對準以允許它們成功組裝。

為了實現結構組件的精確對準以及小型電子組件緊湊公差自動組裝，已經利用諸如模型校準技術和視覺伺服技術之類的視覺引導的機器人對準和組裝技術對自動機器人對準和組裝系統的操作中所固有的位置和方位變化誤差進行補償。模型校準技術依賴于獲取準確的相機模型校準以及產生準確的機器人運動學模型，以在自動機器人對準和組裝期間實現精確的組件定位，這是昂貴、復雜且耗時的。另一方面，視覺伺服需要高速圖像處理以始終魯棒地檢測機器人當前姿態和目標機器人姿態之間的圖像誤差，以便對機器人的運動進行調節以使得其能夠接近目標姿態或者否則向目標姿態進行調節。不幸的是，視覺伺服所采用的高速圖像處理的部署和維護是復雜且昂貴的。

由于模型校準和視覺伺服技術的缺陷，研發了相機空間操控(CSM)控制技術。相機空間操控在組件被機器人操控或否則移動時使用一個或多個成像相機對所述組件進行成像以生成簡單的局部相機空間模型，該模型對機器人的標稱位置坐標和相機成像空間中所操控的諸如電子組件的組件上所找到的結構特征的外觀之間的關系進行映射。例如，相機空間模型可以對組件上的結構特征的外觀進行建模，所述結構特征是諸如被機器人手爪所抓握的印刷電路板(PCB)上的連接插口。相機空間操控僅需要在定位過程期間獲取有限數量的局部數據點以改善局部相機模型以便對抓握誤差、機器人向前運動學誤差和相機模型誤差進行補償，從而實現小型組件精確的緊湊公差組裝，以及例如拾取和放置以及材料去除操作期間的精確對準。

然而，為了使用相機空間操控技術來實現視覺引導對準或組裝，首先要求進行手動設置或初始化以使得局部相機空間模型識別被機器人操控的組件所提供的視覺結構特征。為了完成手動訓練，在視覺上可被相機所訪問的組件的視覺結構特征由個人基于其經驗而在特別基礎上進行選擇。一旦特征被確定，組件就被帶到相機的視場之內以使得其被成像為圖像幀。此外，個人必須手動定義相機空間視場中的視覺特征的中心，同時要求對機器人物理空間中的每個視覺特征之間的相對位置進行定義。而且，手工初始化要求在視覺上可被相機所訪問的視覺特征與處于相機視場之外的圖像幀中組件的組裝特征之間的相對位置也要被定義。然而，由于組件的組裝特征無法在視覺上被成像相機所訪問，所以難以準確地手動測量視覺特征和組裝特征之間的距離。不幸的是，手動測量所產生的誤差導致了基于視覺特征位置所生成的機器人相機模型不準確。該機器人相機模型被用來控制機器人以便對組件進行定位以使得在視覺上被遮擋的組裝特征處于正確位置。因此，如果機器人相機模型不準確，則機器人無法以高精度準確地對準或組裝組件，這是不期望看到的。

此外，通過手動輕推或移動機器人來識別插入位置是非常困難的并且需要熟練的機器人工程師的多次試驗，該插入位置確定組件要耦合或組裝在一起的地方的結構特征的位置。用于識別在視覺相機空間中所捕捉的機器人位置和視覺特征外觀數據的初始校準信息被用來對機器人相機校準模型進行初始化，并且取決于需要遍及相機的每個校準位置建立組件視覺特征的可視性的機器人工程師的技能。不幸的是，使用手動初始化過程難以確保機器人的可達性(reachability)，確保機器人能夠避免與機器人單元中的周邊結構相碰撞，并且確保在校準位置和插入位置之間存在相同的方位，原因在于每個機器人位置可能具有由有缺陷的機器人向前運動模型所導致的不同定位誤差。此外，手動初始化過程使得難以確保校準位置在相機成像空間和機器人物理空間中進行分布以便獲得所期望的對來自相機空間操控(CSM)控制過程初始化計算的噪聲進行采樣的穩定性和靈敏度水平，而這是期望的。