[發明專利]一種基于深度學習的復雜物料體積測量方法

在審

• 申請號: 202010766575.X
• 申請日: 2020-08-03
• 公開（公告）號: CN112053324A
• 公開（公告）日: 2020-12-08
• 發明（設計）人: 蔣姍;孫淵
• 申請（專利權）人: 上海電機學院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/55;G06T7/62;G06T7/80;G06T17/00;G06N3/08;G01B11/00;G01B11/24;G01N21/84
• 代理公司: 上海伯瑞杰知識產權代理有限公司 31227
• 代理人: 劉宗磊

1.一種基于深度學習的復雜物料體積測量方法，其特征在于，包括如下步驟：

S1、位于堆體上方的雙目視覺相機采集堆體上方的多角度視野影像，并將兩個相機采集到的圖像進行結合，以得到堆體的2D圖像和3D深度信息；

S2、雙目視覺相機與GPU嵌入式系統進行數據傳輸，將采集到圖像數據傳輸到GPU嵌入式系統主機中；

S3、GPU嵌入式系統對已采集的圖像進行圖像預處理，結合兩相機獲取到的2D圖像特征及3D深度信息，再根據相機標定參數信息完成整個堆體的三維重建；

S4、利用深度學習網絡使用基于特征點匹配的方法，對所獲取圖像中的堆體圖像進行區域選定、截取，再對選定的區域的深度信息進行擬合采樣，通過GPU加速運算完成復雜物料堆體體積的計算、確定圖像中的物料類型；

S5、將物料堆體的具體物料信息與預存的物料類型進行比對對后，將其與所計算出的體積數值相對應，錄入管理系統中，完成整個堆體體積的計算和物料類型信息采集過程。

2.如權利要求1所述的基于深度學習的復雜物料體積測量方法，其特征在于，雙目視覺相機首次使用時，先進行手動消除畸變后再于物料堆體上方進行圖像采集。

3.如權利要求2所述的基于深度學習的復雜物料體積測量方法，其特征在于，在步驟S1中，在所述堆體周圍設置有將所述堆體圍在其內的環形導軌，環形導軌上設置有滑塊，所述雙目視覺相機通過擺臂固定在所述滑塊上，由所述滑塊帶動所述雙目視覺相機圍繞所述堆體做繞圈運動，以同時對所述堆體上方進行兩個角度的視野影像的采集。

4.如權利要求1所述的基于深度學習的復雜物料體積測量方法，其特征在于，步驟S3具體包括：

S31、基于點云深度信息的特征點匹配，對堆體圖像進行截取，隨后進行點云的預處理；

S32、對選定區域深度信息進行擬合采樣，完成整個堆體的三維重建。

5.如權利要求4所述的基于深度學習的復雜物料體積測量方法，其特征在于，通過兩副圖像間的關聯性或者通過視野間的視差關系，并結合GPU顯卡加速達到視野拼接和融合的目的，還原出目標堆體特征空間3D形貌。

6.如權利要求1所述的基于深度學習的復雜物料體積測量方法，其特征在于，在步驟S4中，通過提取計算體積相關數值信息和物料介質特征信息，完成堆體體積計算和介質確定。