[發明專利]基于雙向RGB-D特征融合的物體姿態估計方法及裝置

有效

• 申請號: 202211419607.4
• 申請日: 2022-11-14
• 公開（公告）號: CN115578461B
• 公開（公告）日: 2023-03-10
• 發明（設計）人: 孟啟煒;宋偉;朱世強;金天磊;郭方泰
• 申請（專利權）人: 之江實驗室
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06V10/80;G06V10/25;G06V10/26;G06V10/46;G06V10/762;G06V10/82
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

1.一種基于雙向RGB-D特征融合的物體姿態估計方法，其特征在于，包括以下步驟：

（1）對場景RGB-D圖像進行預處理，獲得對齊后的RGB圖像以及場景點云，再通過深度神經網絡提取RGB圖像的淺層特征用于物體檢測和感興趣區域定位；

（2）根據步驟（1）中定位的感興趣區域，首先將感興趣區域與原始RGB圖像以及場景點云對齊，分割原始RGB圖像和場景點云，得到原始RGB圖像和場景點云中的感興趣區域；然后采用ResNet-PSP網絡和RandLA網絡逐層將RGB特征與點云特征投影到標準空間實現雙向特征融合得到RGB融合特征與點云融合特征，進而通過特征純化網絡對融合特征進行純化，分別得到當前層級的RGB特征與點云特征，通過ResNet-PSP網絡和RandLA網絡逐層推理，以獲得最終的純化后的RGB特征與點云特征；最后將最終的純化后的RGB特征與點云特征通過多層感知機進行融合，得到感興趣區域的RGB-D融合特征；

（3）根據步驟（2）獲得的RGB-D融合特征，通過多任務協同學習的網絡結構將RGB-D融合特征用于物體語義分割、物體中心點以及關鍵點投票三項任務的協同訓練，并將投票得到的物體中心點與關鍵點聚類；

（4）基于所述步驟（3）中獲得的聚類后相機坐標系下的物體中心點與關鍵點，將實際場景的物體與其CAD模型相對應，并通過最小二乘法解算物體模型到相機坐標系下的轉換關系，即為物體的六自由度姿態。

2.根據權利要求1所述的基于雙向RGB-D特征融合的物體姿態估計方法，其特征在于，所述步驟（1）包括以下子步驟：

（1.1）根據RGB-D相機獲取RGB圖像，將所述RGB圖像與深度圖像進行對齊，以獲取對齊的深度圖像；

（1.2）結合標定好的RGB-D相機內部參數，將對齊的深度圖像轉換為場景點云；

（1.3）通過深度神經網絡提取所述RGB圖像的淺層特征，進而基于提取的淺層特征得到若干個檢測框，根據非極大抑制算法剔除無效檢測框，得到有效檢測框，所述有效檢測框用于物體檢測和感興趣區域定位。

3.根據權利要求1所述的基于雙向RGB-D特征融合的物體姿態估計方法，其特征在于，所述ResNet-PSP網絡包括第一特征編碼器和第一特征解碼器，所述第一特征編碼器包含四層二維卷積網絡，所述第一特征解碼器包含三層二維卷積網絡；

所述RandLA網絡包括第二特征編碼器和第二特征解碼器，所述第二特征編碼器包含四層連續的空洞卷積結構，所述第二特征解碼器包含三層二維卷積網絡。

4.根據權利要求3所述的基于雙向RGB-D特征融合的物體姿態估計方法，其特征在于，所述步驟（2）中獲得最終的純化后的RGB特征與點云特征的方法具體為：得到當前層級的RGB特征與點云特征后，將當前層級的RGB特征與點云特征用于下一層級的特征計算；重復步驟獲取當前層級的RGB特征與點云特征，直至完成第一特征編碼器和第二特征編碼器的所有層以及到達第一特征解碼器和第二特征解碼器的最后一層，獲得最終的純化后的RGB特征與點云特征。

5.根據權利要求4所述的基于雙向RGB-D特征融合的物體姿態估計方法，其特征在于，所述步驟（2）中得到當前層級的RGB特征與點云特征的方法具體包括以下步驟：

（2.1）根據獲得的原始RGB圖像和場景點云中的感興趣區域，采用第一特征編碼器逐層對RGB圖像進行下采樣并提取RGB特征，采用第二特征編碼器逐層對場景點云進行下采樣并提取點云特征；

（2.2）逐層將RGB特征投影到點云的標準空間，得到點云空間RGB特征，與原點云特征連接得到點云空間融合特征；逐層將點云特征投影到RGB的標準空間，得到RGB空間點云特征，與原RGB特征連接得到RGB空間融合特征；

（2.3）通過特征純化網絡對點云空間融合特征和RGB空間融合特征進行純化，以得到當前層級的點云特征與RGB特征，并用于下一層級的特征計算。