[發明專利]一種面向機器人抓取及增強現實的空間目標六自由度姿態估計方法

在審

• 申請號: 202210422447.2
• 申請日: 2022-04-21
• 公開（公告）號: CN114972525A
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 吳鵬;王俊驍;王晨
• 申請（專利權）人: 浙江理工大學
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06N3/04;G06N3/08
• 代理公司: 無錫市匯誠永信專利代理事務所(普通合伙) 32260
• 代理人: 朱曉林

1.一種面向機器人抓取及增強現實的空間目標六自由度姿態估計方法，其特征在于，包括以下步驟：

步驟1，對相機進行標定獲取相機內參，對物體的3D模型進行計算，獲取到物體的多尺度包圍框，并通過相機內參矩陣映射至2D圖像上；

步驟2，將多尺度包圍框的組成點視為特征點，訓練全卷積神經網絡以檢測、定位特征點，網絡以RGB圖像為輸入，輸出關于特征點的高斯熱圖；

步驟3，對神經網絡輸出的高斯熱圖進行非極大值抑制，獲得具體的特征點二維坐標；

步驟4，通過改進的EPnP算法，將2D-3D特征點對應關系恢復為空間目標的六自由度姿態，進而為后續的抓取工作提供基礎；

步驟1包括以下子步驟，

步驟1.1，通過棋盤標定獲取RGB相機內參；

步驟1.2，計算物體3D模型在空間坐標下x,y,z軸最大值及最小值，以此獲取物體的普通尺寸邊界框；計算x,y,z軸最大值及最小值的均值點，并將該軸上的長度(最大值減最小值)乘以系數，獲取3D模型的不同尺度的邊界框；

步驟1.3，通過相機的內參矩陣及物體的姿態信息將物體的3D多尺度邊界框投影至不同場景的圖片下，具體的計算方法如下：

x＝u′×f_x÷z′+C_x

y＝v′×f_y÷z′+C_y

其中，u,v,z分別代表在3D坐標下的x,y,z軸坐標，R代表旋轉矩陣，T代表平移矩陣，fx,fy分別為相機x,y軸上的焦距，Cx,Cy代表相機主點位置，相機參數均以像素為單位，x,y代表在2D圖像下的坐標；

步驟2包括如下子步驟，

步驟2.1，通過模塊式卷積對圖像進行特征提取，得到特征圖，為后續的特征點檢測打下基礎；

步驟2.2，采用注意力機制模塊在尺寸通道不變的前提下做進一步的特征提取，在提取后連續進行三次模塊化卷積并再次使用注意力機制模塊提取特征；

步驟2.3，通過語義嵌入模塊對得到的特征圖進行降維，將特征點概率分布信息映射至n幅熱圖上，n為尺度數×8；

步驟3包括以下子步驟，

步驟3.1，對高斯熱圖進行3x3的卷積操作，使像素點帶有其相鄰點的信息；

步驟3.2，對得到的高斯熱圖進行非極大值抑制，將特征點的概率分布轉化為具體的坐標點；

步驟4包括以下子步驟，

步驟4.1，通過多尺度包圍框線段之間的平行關系調整特征點位置，減少神經網絡的誤差；

步驟4.2，3D模型中的線段與2D圖像中的線段擁有相同的比例關系，通過2D-3D線段之間的等比關系對特征點進行擴充，降低精度丟失帶來的影響；

步驟4.3，對擴充后得到的特征點集進行隨機采樣，每次采樣n個特征點通過PnP算法求解位姿，將該過程執行m次，對m個位姿結果求取與其他結果的歐氏距離，選擇距離最小的結果作為最終結果。