[發明專利]一種多任務目標對象捕獲方法、裝置及電子設備

在審

• 申請號: 202310080552.7
• 申請日: 2023-01-18
• 公開（公告）號: CN116051641A
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 韓默淵;南柄飛;郭志杰;葉晨曦;吳江偉;鞏文鵬;滕貸宇
• 申請（專利權）人: 北京天瑪智控科技股份有限公司;北京煤科天瑪自動化科技有限公司
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/00;G06V10/44;G06V10/75;G06T5/00;B25J9/16
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 石茵汀

1.一種多任務目標對象捕獲方法，其特征在于，包括：

接收預設范圍內的三維點云數據和圖像幀數據；

根據所述三維點云數據和所述圖像幀數據，確定目標對象的空間位置及抓取點的姿態數據；

根據路徑規劃結果、所述空間位置及所述抓取點的姿態數據，生成所述目標對象的捕獲方案，以實現目標對象的捕獲。

2.根據權利要求1所述的方法，其特征在于，所述根據所述三維點云數據和所述圖像幀數據，確定目標對象的空間位置，包括：

對所述三維點云數據及所述圖像幀數據進行預處理，得到預處理后的所述三維點云數據及所述圖像幀數據；

根據所述預處理后的三維點云數據及所述圖像幀數據，獲取所述目標對象的視覺圖像數據；

將所述目標對象的視覺圖像數據與模板庫中的模型進行數據匹配，獲取所述目標對象的空間位置。

3.根據權利要求1所述的方法，其特征在于，所述根據所述三維點云數據和所述圖像幀數據，確定目標對象的抓取點的姿態數據，包括：

根據所述圖像幀數據，確定所述目標對象的二維檢測框及類別數據；

基于所述二維檢測框、所述類別數據、預處理后的三維點云數據及圖像幀數據，獲取所述二維檢測框中的所述目標對象的視覺圖像數據；

將所述二維檢測框中的所述目標對象的視覺圖像數據與模板庫中的模型進行數據匹配，獲取所述抓取點的姿態數據。

4.根據權利要求3所述的方法，其特征在于，所述方法還包括：

根據視覺傳感器的位姿數據、所述目標對象的空間位置及所述抓取點的姿態數據，獲取所述目標對象的坐標系與所述視覺傳感器的坐標系之間的第一轉換關系；

獲取所述視覺傳感器的坐標系與機械臂本體的坐標系之間的第二轉換關系；

根據所述第一轉換關系及所述第二轉換關系，構建所述目標對象、所述視覺傳感器和所述機械臂本體之間的坐標系。

5.根據權利要求1所述的方法，其特征在于，所述方法還包括：

根據所述三維點云數據，生成所述目標對象的第一模型；

對所述目標對象的第一模型進行去噪處理，得到所述目標對象的第二模型；

針對所述第二模型進行參數標注，得到參數標注后的模型；所述參數包括抓取點的姿態數據、目標對象的類別數據；

將所述參數標注后的模型存儲至模板庫中。

6.根據權利要求1所述的方法，其特征在于，所述方法還包括：

根據所述目標對象的屬性數據，確定所述目標對象的跟蹤邊框的編號；所述屬性數據包括以下數據的至少一種：所述目標對象進入預設范圍內的時間順序、體積、顏色、距離；

根據所述跟蹤邊框的編號，確定所述跟蹤邊框的編號對應的抓取點。

7.一種多任務目標對象捕獲裝置，其特征在于，包括：

接收模塊，用于接收預設范圍內的三維點云數據和圖像幀數據；

第一確定模塊，用于根據所述三維點云數據和所述圖像幀數據，確定目標對象的空間位置及抓取點的姿態數據；

第一生成模塊，用于根據路徑規劃結果、所述空間位置及所述抓取點的姿態數據，生成所述目標對象的捕獲方案，以實現目標對象的捕獲。

8.根據權利要求7所述的裝置，其特征在于，所述第一確定模塊具體用于，

對所述三維點云數據及所述圖像幀數據進行預處理，得到預處理后的所述三維點云數據及所述圖像幀數據；

根據所述預處理后的三維點云數據及所述圖像幀數據，獲取所述目標對象的視覺圖像數據；

將所述目標對象的視覺圖像數據與模板庫中的模型進行數據匹配，獲取所述目標對象的空間位置。

9.一種電子設備，其特征在于，包括：

處理器；

用于存儲所述處理器可執行指令的存儲器；

其中，所述處理器被配置為執行所述指令，以實現如權利要求1-6中任一項所述的多任務目標對象捕獲的方法。

10.一種存儲介質，當所述存儲介質中的指令由電子設備的處理器執行時，使得電子設備能夠執行如權利要求1-6中任一項所述的多任務目標對象捕獲的方法。