[發明專利]基于實例分割和雙目深度估計的目標姿態識別系統與方法

有效

• 申請號: 202110397545.0
• 申請日: 2021-04-14
• 公開（公告）號: CN113221953B
• 公開（公告）日: 2023-01-31
• 發明（設計）人: 葉趙君;王成光;郭逸;楊根科;褚健;王宏武
• 申請（專利權）人: 上海交通大學寧波人工智能研究院
• 主分類號: G06F18/214
• 分類號: G06F18/214;G06N3/08;G06T7/55;G06T7/70;G06T7/80;B25J9/16
• 代理公司: 上海劍秋知識產權代理有限公司 31382
• 代理人: 徐浩俊;徐海兵

本發明公開了一種基于實例分割和雙目深度估計的目標姿態識別系統與方法，涉及物體6D姿態估計領域，所述系統包括：雙目相機攝像機模塊，所述雙目相機攝像機模塊包括一個設置于試驗臺上特定位置的雙目相機，通過所述雙目相機攝像機模塊得到包含目標物體的兩幅存在差異的場景圖像；數據預處理模塊，所述數據預處理模塊對所述兩幅場景圖像進行預處理，所述預處理包括降噪；實例分割模塊，所述實例分割模塊接收經過預處理的所述兩幅場景圖像，使用實例分割模型進行實例分割，得到所述目標物體的兩幅掩碼圖；物體5D位姿估計模塊，所述物體5D位姿估計模塊獲得所述目標物體的5D位姿估計。

技術領域

本發明涉及物體6D姿態估計領域，尤其涉及一種基于深度學習實例分割和雙目深度估計的目標姿態識別系統與方法。

背景技術

機器人的環境感知技術與定位技術是機器人領域的研究熱點。近幾年來，由于計算機視覺和深度學習技術的發展，視覺技術得到了巨大的提升，將視覺與神經網絡結合成為機器人領域的一種主流方法。機器人通過攝像機采集周圍環境的圖像信息，通過建立好的模型，可以精準地得到相關信息并傳遞給機器人，完成相應的操作。在機器人抓取任務中，這種方式的定位顯得尤為常見，目標的圖片信息通過神經網絡處理后，便能得到高精度的目標位置信息，為機器人抓取提供了有力的技術支持。

公開號為CN110470228A的專利申請文件提供了一種利用姿態角估計的雙目視覺測距方法，其方法具體為：在實例分割后得到目標的輪廓信息后，需要結合物體先驗的幾何信息，計算出物體與雙目攝像機間的距離。但是該方法需要建立物體先驗幾何信息庫，建立的庫的準確性和種類數量會直接影響最終的結果。

公開號為CN110322512A的專利申請文件提供了一種結合小樣本實例分割和三維匹配的物體位姿估計方法，其方法具體為：為了解決現有六自由度物體位姿估計方法對背景雜亂、前景物體遮擋魯棒性差，從而需要訓練樣本數量大的問題，該發明提出了一種結合小樣本實例分割和三維匹配的物體位姿估計方法。但是該方法需要借助目標物體的深度圖像點云，數據集制作過程復雜、計算量大、耗時長。

因此，本領域的技術人員致力于開發一種基于深度學習實例分割和雙目深度估計的目標姿態識別系統與方法，解決現有技術中存在的需要事前準備物體先驗幾何信息庫導致的信息不準確不完備，或者制作深度圖像點云所導致的計算復雜和耗時等問題。

發明內容

有鑒于現有技術的上述缺陷，本發明所要解決的技術問題是在不準備物體先驗幾何信息庫也不制作深度圖像點云的前提情況下完成目標姿態識別。

為實現上述目的，本發明提供了一種基于深度學習實例分割和雙目深度估計的目標姿態識別的系統與方法，通過雙目相機得到包含目標物體的兩幅RGB圖像，經由訓練得到的模型對圖像進行實例分割，得到兩幅實例分割后的掩碼圖像，再對兩幅掩碼圖像運用數字圖像處理知識進行處理后，得到目標物體較精確的位姿信息。

本發明提供了一種基于實例分割和雙目深度估計的目標姿態識別系統，包括：雙目相機攝像機模塊，所述雙目相機攝像機模塊包括一個設置于試驗臺上特定位置的雙目相機，通過所述雙目相機攝像機模塊得到包含目標物體的兩幅存在差異的場景圖像；

數據預處理模塊，所述數據預處理模塊對所述兩幅場景圖像進行預處理，所述預處理包括降噪；

實例分割模塊，所述實例分割模塊接收經過預處理的所述兩幅場景圖像，使用實例分割模型進行實例分割，得到所述目標物體的兩幅掩碼圖；

物體5D位姿估計模塊，所述物體5D位姿估計模塊獲得所述目標物體的5D位姿估計，所述5D位姿估計包括所述目標物體在x軸、y軸方向上的角度信息、深度信息以及在x軸、y軸上的位置信息。

進一步地，所述實例分割模型為基于神經網絡的模型。