[發明專利]托盤位姿檢測方法、裝置、設備和存儲介質

在審

• 申請號: 202011561213.3
• 申請日: 2020-12-25
• 公開（公告）號: CN112614183A
• 公開（公告）日: 2021-04-06
• 發明（設計）人: 胡小波;銀江濤
• 申請（專利權）人: 深圳市鐳神智能系統有限公司
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/00;G06N3/04;G06N3/08
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 潘登

1.一種托盤位姿檢測方法，其特征在于，包括：

獲取至少一個托盤的深度圖像和彩色圖像；

將所述彩色圖像輸入托盤檢測模型，以確定所述托盤的至少一組目標角點坐標，所述托盤檢測模型是基于預設神經網絡訓練得到的；

根據所述至少一組目標角點坐標，在所述深度圖像中確定所述托盤的托盤區域；

根據所述托盤的托盤區域中的數據，確定所述托盤的位姿信息。

2.根據權利要求1所述的方法，其特征在于，所述獲取至少一個托盤的深度圖像和彩色圖像之后，還包括：

對所述深度圖像和所述彩色圖像進行對齊處理；

相應的，所述將所述彩色圖像輸入托盤檢測模型，以確定所述托盤的至少一組目標角點坐標，包括：

將處理后的所述彩色圖像輸入所述托盤檢測模型，以確定所述托盤的至少一組目標角點坐標。

3.根據權利要求2所述的方法，其特征在于，所述一組目標角點坐標包括：第一角點坐標和第二角點坐標；

相應的，所述根據所述至少一組目標角點坐標，在所述深度圖像中確定所述托盤的托盤區域，包括：

確定處理后的所述深度圖像中與所述第一角點坐標對應的第一目標點坐標，以及與所述第二角點坐標對應的第二目標點坐標；

根據所述第一目標點坐標和所述第二目標點坐標，確定所述托盤的托盤區域。

4.根據權利要求3所述的方法，其特征在于，所述根據所述托盤的托盤區域中的數據，確定所述托盤的位姿信息，包括：

根據所述托盤的托盤區域中每個像素點的像素坐標，確定所述每個像素點的三維坐標；

根據所述第一目標點坐標對應的三維坐標和所述第二目標點坐標對應的三維坐標，確定所述托盤的中心點坐標；

將從所述托盤的托盤區域中選取的多個像素點投影到所述托盤的姿態檢測面中，并對所述托盤的姿態檢測面中的所有像素點對應的三維坐標進行線性擬合，基于擬合結果確定所述托盤的偏航角；

根據所述托盤的中心點坐標和偏航角，確定所述托盤的位姿信息。

5.根據權利要求1-4任一項所述的方法，其特征在于，所述將所述彩色圖像輸入托盤檢測模型，以確定所述托盤的至少一組目標角點坐標之后，還包括：

對所述托盤的至少一組目標角點坐標進行過濾處理。

6.根據權利要求1所述的方法，其特征在于，所述獲取至少一個托盤的深度圖像和彩色圖像之前，所述方法還包括：

獲取數據集，所述數據集包括至少一個托盤的若干個彩色圖像；

對所述數據集進行數據劃分，得到訓練數據集和測試數據集；

基于所述訓練數據集和所述預設神經網絡，訓練所述托盤檢測模型；

基于所述測試數據集，測試當前訓練得到的所述托盤檢測模型是否滿足預設要求，若滿足，則停止訓練所述托盤檢測模型。

7.根據權利要求6所述的方法，其特征在于，所述獲取數據集之后，所述方法還包括：

對所述數據集中至少一個托盤的若干個彩色圖像進行增強處理，得到增強數據集，其中，所述增強處理包括下述至少一項：亮度調整、圖像裁剪、圖像平移和添加噪聲。

8.一種托盤位姿檢測裝置，其特征在于，包括：

圖像獲取模塊，用于獲取至少一個托盤的深度圖像和彩色圖像；

角點確定模塊，用于將所述彩色圖像輸入托盤檢測模型，以確定所述托盤的至少一組目標角點坐標，所述托盤檢測模型是基于預設神經網絡訓練得到的；

區域確定模塊，用于根據所述至少一組目標角點坐標，在所述深度圖像中確定所述托盤的托盤區域；

位姿確定模塊，用于根據所述托盤的托盤區域中的數據，確定所述托盤的位姿信息。