[發明專利]6D位姿識別的方法、裝置及計算機存儲介質

在審

• 申請號: 202011179162.8
• 申請日: 2020-10-29
• 公開（公告）號: CN112233181A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 孫靖文;石超;言宏亮;伍廣彬;于波;張華;夏壯;婁常緒
• 申請（專利權）人: 深圳市廣寧股份有限公司;深圳市格靈人工智能與機器人研究院有限公司;深圳市格靈人工智能與機器人研究院
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/80;G06T7/11;G06T5/00;G06T5/50;G06N20/00
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 邱維杰

本發明公開了一種6D位姿識別的方法、裝置及計算機存儲介質，涉及機器視覺技術領域。包括：獲取待測物體的第一目標深度圖、第一目標RGB圖以及第一分割信息；其中第一分割信息包括第一分割掩碼；獲取第一目標深度圖對應的第一點云信息；將第一點云信息、第一目標RGB圖以及第一分割信息輸入到已訓練好的位姿識別網絡中；根據位姿識別網絡的輸出結果，獲取待測物體的6D位姿信息。通過已訓練好的位姿識別網絡提取待測物體的第一目標深度圖、第一目標RGB圖以及第一分割信息的特征獲得6D位姿信息，可以充分利用待測物體的特征，在強反光、弱紋理和遮擋嚴重等復雜環境下也能準確測量6D位姿，從而提高位姿識別的準確度。

技術領域

本發明涉及人工智能領域，特別涉及一種6D位姿識別的方法、裝置及計算機存儲介質。

背景技術

隨著深度相機的普及以及3D視覺研究的發展，機械臂開始承擔如智能分揀、柔性上下料等復雜的任務。以工業產線的零部件抓取為例，精確測量目標零部件的6D位姿是引導機器人完成抓取操作的基礎，其中，位姿是一個相對的概念，指的是兩個坐標系之間的位移和旋轉變換，而兩個坐標系分別表示以物體上初始位置以及旋轉、平移后的位置建立的坐標系,6D指6個自由度，包括3個自由度的平移和3個自由度的旋轉。但是工業零部件具有結構復雜、表面紋理單一、反光性強等特點，且相互之間遮擋嚴重；通過基于點云信息的6D位姿識別的方法，由于點云數據固有的稀疏性、冗余性和無序性，需要大量的數據計算才能保證位姿識別的準確度；而基于RGB圖進行識別的方法，在低紋理物體的測量場景，準確度低。

發明內容

本發明旨在至少解決現有技術中存在的技術問題之一。為此，本發明提供了一種6D位姿識別的方法、裝置和計算機存儲介質，可以提高位姿識別的準確度。

第一方面，本發明提供一種6D位姿識別的方法，包括如下步驟：

獲取待測物體的第一目標深度圖、第一目標RGB圖以及第一分割信息；其中，所述第一分割信息包括第一分割掩碼；

獲取所述第一目標深度圖對應的第一點云信息；

將所述第一點云信息、所述第一目標RGB圖以及所述第一分割信息輸入到已訓練好的位姿識別網絡中；

根據所述位姿識別網絡的輸出結果，獲取所述待測物體的6D位姿信息。

根據本發明第一方面的上述實施例，至少具有如下有益效果：通過已訓練好的位姿識別網絡提取待測物體的第一目標深度圖、第一目標RGB圖以及第一分割信息的特征獲得6D位姿信息，可以充分利用待測物體的特征，在強反光、弱紋理和遮擋嚴重等復雜環境下也能準確測量6D位姿，從而提高位姿識別的準確度。

根據本發明第一方面的一些實施例，所述獲取待測物體的第一目標深度圖、第一目標RGB圖以及第一分割信息；其中，所述第一分割信息包括第一分割掩碼，包括如下步驟：

獲取原始深度圖以及原始RGB圖；

通過圖像分割算法對所述原始RGB圖進行分割處理，得到所述第一目標RGB圖以及所述第一分割信息，所述第一分割信息包括第一分割掩碼；

根據所述第一分割信息的第一分割掩碼對所述原始深度圖進行裁剪處理，得到所述第一目標深度圖。

通過采用第一分割掩碼對原始深度圖進行裁剪，可以去除冗余的數據對目標圖像的影響，以提高位姿識別的準確度。

根據本發明第一方面的一些實施例，所述獲取所述第一目標深度圖對應的第一點云信息，包括如下步驟：

獲取所述第一目標深度圖在相機坐標系下的第二點云信息；

將所述第二點云信息進行點云去噪處理，得到所述第一點云信息。