[發明專利]基于雙目深度相機的裝卸位置檢測方法、裝置和系統

在審

• 申請號: 202011485438.5
• 申請日: 2020-12-16
• 公開（公告）號: CN112614191A
• 公開（公告）日: 2021-04-06
• 發明（設計）人: 蔡傳玉;宋林鵬
• 申請（專利權）人: 江蘇智庫智能科技有限公司
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T7/66;G06T7/50;G06T5/00;G06K9/62
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 董建林

1.基于雙目深度相機的裝卸位置檢測方法，其特征在于，包括如下步驟：

采集裝卸區域內待檢測物的圖像和深度；

基于雙目深度相機的畸變參數，對所述圖像進行去畸變處理；

利用訓練好的深度學習模型識別經去畸變處理后的圖像，獲取所述待檢測物的中心點像素坐標；

根據所述畸變參數、采集的所述深度和獲取的所述中心點像素坐標，計算所述待檢測物的空間三維坐標；

根據待檢測物的真實空間三維坐標、計算得到的空間三維坐標和影響坐標精度的誤差項，構建待檢測物的坐標誤差模型；

根據所述坐標誤差模型獲得經誤差糾正的空間三維坐標。

2.根據權利要求1所述的基于雙目深度相機的裝卸位置檢測方法，其特征在于，對所述圖像進行去畸變處理的方法包括如下步驟：

利用雙目深度相機的畸變系數并調用視覺opencv庫中的函數對采集的圖像進行去畸變處理。

3.根據權利要求2所述的基于雙目深度相機的裝卸位置檢測方法，其特征在于，訓練深度學習模型的方法包括如下步驟：

利用標注工具對經去畸變處理的圖像進行待檢測物標注，構建包含待檢測物的邊緣和范圍的訓練集；

利用深度學習模型和物體檢測算法對構建的訓練集進行訓練，獲得模型收斂的深度學習模型。

4.根據權利要求1所述的基于雙目深度相機的裝卸位置檢測方法，其特征在于，所述待檢測物包括無人行車和貨物，獲取所述待檢測物的中心點像素坐標的方法包括如下步驟：

利用訓練好的深度學習模型實時識別裝卸區域中的無人行車圖像和貨物圖像，獲取無人行車區域像素坐標集和貨物區域像素坐標集；

對獲取的無人行車區域像素坐標集和貨物區域像素坐標集分別取中值，計算獲得無人行車和貨物的中心像素坐標。

5.根據權利要求1所述的基于雙目深度相機的裝卸位置檢測方法，其特征在于，計算所述待檢測物的空間三維坐標的方法包括如下步驟：

根據相機成像模型求得待檢測物的四維歸一化坐標，然后對求得的四維歸一化坐標進行去除歸一化處理得到待檢測物的空間三維坐標；其中，

所述相機成像模型表示如下：

Zp＝K[R|t]P

其中，p為中心像素坐標，K為相機內參數，R,t為相機外參數，P為四維歸一化坐標[X,Y,Z,1]^T，(X,Y,Z)為空間三維坐標。

6.根據權利要求1所述的基于雙目深度相機的裝卸位置檢測方法，其特征在于，構建待檢測物的坐標誤差模型的方法包括如下步驟：

測量得到待檢測物的真實空間三維坐標；

根據真實空間三維坐標和計算得到的空間三維坐標，計算獲得坐標誤差值；

根據影響坐標精度的誤差項，建立坐標誤差值和誤差項之間的坐標誤差模型關系；

根據多組所述坐標誤差值，計算確定坐標誤差模型中參數。

7.根據權利要求1所述的基于雙目深度相機的裝卸位置檢測方法，其特征在于，還包括對雙目深度相機進行相機標定，具體方法包括如下步驟：

制作黑白標定板；

采集一定數量的標定板圖像；

利用經篩選去除后的標定板圖像和張氏相機標定法對雙目深度相機進行相機標定；

根據所述相機標定獲取雙目深度相機的內參數和外參數以及畸變參數。