[發明專利]一種面向機器人抓取及增強現實的空間目標六自由度姿態估計方法

在審

• 申請號: 202210422447.2
• 申請日: 2022-04-21
• 公開（公告）號: CN114972525A
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 吳鵬;王俊驍;王晨
• 申請（專利權）人: 浙江理工大學
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06N3/04;G06N3/08
• 代理公司: 無錫市匯誠永信專利代理事務所(普通合伙) 32260
• 代理人: 朱曉林

本發明公開一種面向機器人抓取及增強現實的空間目標六自由度姿態估計方法，本發明針對增強現實及協作機器人技術對空間目標六自由度姿態信息的需求，結合目標3D模型多尺度包圍框的特征，基于深度全卷積網絡提出并實現了一種空間目標六自由度姿態估計方法，該方法魯棒性強，準確率高且滿足處理速度需求，能夠在協作機器人抓取及增強現實等場景推廣應用。

技術領域

本發明涉及到增強現實及機器人抓取等領域，特別涉及到一種基于空間目標多尺度包圍框的六自由度姿態估計方法。

背景技術

在增強現實，協作機器人抓取等領域中，物體的空間姿態是一種必不可少的信息。傳統方法通過激光相機獲取場景及物體點云，并通過點云配準獲取物體的相對位姿。但由于點云信息龐大冗余，且對設備具有一定要求，難以滿足輕便快速的任務需求。

發明內容

為此本發明提出一種基于RGB圖像的六自由度姿態估計方法，不需要額外的信息采集設備且能夠保證穩定、快速的六自由度姿態估計。

一種面向機器人抓取及增強現實的空間目標六自由度姿態估計方法，包括以下步驟：

步驟1，對相機進行標定獲取相機內參，對物體的3D模型進行計算，獲取到物體的多尺度包圍框，并通過相機內參矩陣映射至2D圖像上；

步驟2，將多尺度包圍框的組成點視為特征點，訓練全卷積神經網絡以檢測、定位特征點，網絡以RGB圖像為輸入，輸出關于特征點的高斯熱圖；

步驟3，對神經網絡輸出的高斯熱圖進行非極大值抑制，獲得具體的特征點二維坐標；

步驟4，通過改進的EPnP算法，將2D-3D特征點對應關系恢復為空間目標的六自由度姿態，進而為后續的抓取工作提供基礎；

步驟1的具體實現方式包括以下子步驟，

步驟1.1，通過棋盤標定獲取RGB相機內參；

步驟1.2，計算物體3D模型在空間坐標下x,y,z軸最大值及最小值，以此獲取物體的普通尺寸邊界框；計算x,y,z軸最大值及最小值的均值點，并將該軸上的長度(最大值減最小值)乘以系數，獲取3D模型的不同尺度的邊界框；

步驟1.3，通過相機的內參矩陣及物體的姿態信息將物體的3D多尺度邊界框投影至不同場景的圖片下，具體的計算方法如下：

x＝u′×f_x÷z′+C_x

y＝v′×f_y÷z′+C_y

其中，u,v,z分別代表在3D坐標下的x,y,z軸坐標，R代表旋轉矩陣，T代表平移矩陣，fx,fy分別為相機x,y軸上的焦距，Cx,Cy代表相機主點位置，相機參數均以像素為單位，x,y代表在2D圖像下的坐標；

步驟2的具體實現包括如下子步驟，

步驟2.1，通過模塊式卷積對圖像進行特征提取，得到特征圖，為后續的特征點檢測打下基礎；

步驟2.2，采用注意力機制模塊在尺寸通道不變的前提下做進一步的特征提取，在提取后連續進行三次模塊化卷積并再次使用注意力機制模塊提取特征；

步驟2.3，通過語義嵌入模塊對得到的特征圖進行降維，將特征點概率分布信息映射至n幅熱圖上，n為尺度數×8；

步驟3的具體實現方式包括以下子步驟，

步驟3.1，對高斯熱圖進行3x3的卷積操作，使像素點帶有其相鄰點的信息；

步驟3.2，對得到的高斯熱圖進行非極大值抑制，將特征點的概率分布轉化為具體的坐標點；