[發明專利]6D位姿識別的方法、裝置及計算機存儲介質

在審

• 申請號: 202011179162.8
• 申請日: 2020-10-29
• 公開（公告）號: CN112233181A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 孫靖文;石超;言宏亮;伍廣彬;于波;張華;夏壯;婁常緒
• 申請（專利權）人: 深圳市廣寧股份有限公司;深圳市格靈人工智能與機器人研究院有限公司;深圳市格靈人工智能與機器人研究院
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/80;G06T7/11;G06T5/00;G06T5/50;G06N20/00
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 邱維杰

1.一種6D位姿識別的方法，其特征在于，包括如下步驟：

獲取待測物體的第一目標深度圖、第一目標RGB圖以及第一分割信息；其中，所述第一分割信息包括第一分割掩碼；

獲取所述第一目標深度圖對應的第一點云信息；

將所述第一點云信息、所述第一目標RGB圖以及所述第一分割信息輸入到已訓練好的位姿識別網絡中；

根據所述位姿識別網絡的輸出結果，獲取所述待測物體的6D位姿信息。

2.根據權利要求1所述的6D位姿識別的方法，其特征在于，

所述獲取待測物體的第一目標深度圖、第一目標RGB圖以及第一分割信息，包括如下步驟：

獲取原始深度圖以及原始RGB圖；

通過圖像分割算法對所述原始RGB圖進行分割處理，得到所述第一目標RGB圖以及所述第一分割信息；

根據所述第一分割信息的第一分割掩碼對所述原始深度圖進行裁剪處理，得到所述第一目標深度圖。

3.根據權利要求1所述的6D位姿識別的方法，其特征在于，

所述獲取所述第一目標深度圖對應的第一點云信息，包括如下步驟：

獲取所述第一目標深度圖在相機坐標系下的第二點云信息；

將所述第二點云信息進行點云去噪處理，得到所述第一點云信息。

4.根據權利要求3所述的6D位姿識別的方法，其特征在于，

所述獲取所述第一目標深度圖對應的第一點云信息，還包括如下步驟：

將去噪處理得到的所述第一點云信息中點的個數與預設的個數進行比較；

根據比較結果，選擇將所述第一點云信息進行上采樣或下采樣處理。

5.根據權利要求1所述的6D位姿識別的方法，其特征在于，

所述根據所述位姿識別網絡的輸出結果，獲取所述待測物體的6D位姿信息，包括如下步驟：

獲取所述位姿識別網絡輸出的所述待測物體的若干預測位姿信息，其中，所述預測位姿信息包括第一旋轉信息、旋轉置信度、第一平移信息以及平移置信度，所述旋轉置信度與所述第一旋轉信息一一對應，所述平移置信度與所述第一平移信息一一對應；

獲取第二旋轉信息，所述第二旋轉信息為所有預測位姿信息中值最大的旋轉置信度對應的所述第一旋轉信息；

獲取第二平移信息，所述第二平移信息為所有預測位姿信息中值最大的所述平移置信度對應的所述第一平移信息；

根據所述第二旋轉信息以及所述第二平移信息得到所述6D位姿信息。

6.根據權利要求1所述的6D位姿識別的方法，其特征在于，

所述位姿識別網絡通過損失函數進行優化，所述損失函數設置為待訓練物體的預測點云與真實點云之間的平均平方距離。

7.根據權利要求1至6任一所述的6D位姿識別的方法，其特征在于，

所述位姿識別網絡用于對所述待測物體進行顏色特征圖、幾何特征圖、目標點云特征圖、第一融合特征圖以及第二融合特征圖的提取；

所述第一融合特征圖通過MaxPooling層提取第三融合特征圖的骨干特征得到，所述第三融合特征圖通過將所述顏色特征圖與所述目標點云特征圖進行像素級圖像融合處理得到；

所述第二融合特征圖通過將所述第一融合特征與所述幾何特征圖進行密集融合得到。

8.根據權利要求1至6任一所述的6D位姿識別的方法，其特征在于，還包括如下步驟：

獲取所述6D位姿信息的位姿精度；

將所述位姿精度與預設的參考位姿精度進行比較；

根據比較結果，通過ICP算法對所述6D位姿信息進行迭代處理，得到與所述參考位姿精度匹配的6D位姿信息。

9.一種6D位姿識別的裝置，其特征在于，包括：

圖像分割模塊，用于得到待測物體的第一點云信息、第一目標RGB圖以及第一分割信息；

位姿識別網絡訓練模塊，用于獲取訓練好的位姿識別網絡；

位姿處理模塊，用于將所述第一點云信息、第一目標RGB圖以及第一分割信息輸入所述位姿識別網絡獲得6D位姿信息。

10.一種計算機存儲介質，其特征在于，包括存儲有計算機可執行指令，所述計算機可執行指令用于執行權利要求1至8中任一項所述的6D位姿識別的方法。