[發明專利]基于機器視覺的滿斗率預測系統和方法

有效

• 申請號: 202110777966.6
• 申請日: 2021-07-09
• 公開（公告）號: CN113486818B
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 姚宗偉;徐朝澤;冉亞斌;李學飛;畢秋實
• 申請（專利權）人: 吉林大學
• 主分類號: G06V20/50
• 分類號: G06V20/50;G06V10/25;G06V10/30;G06V10/34;G06V10/82;G06K9/62;G06N3/04;G06N3/08;G01D21/02
• 代理公司: 北京專贏專利代理有限公司 11797
• 代理人: 于剛

1.基于機器視覺的滿斗率預測系統，其特征在于，所述系統包括傳感單元、通信單元、預處理單元、預測單元和供電單元，其中：

傳感單元，用于采集裝載機工作時的圖片信息；采集裝載機移動時的位置與速度信息；采集裝載機挖掘物料的物料信息；采集裝載機工作環境的溫濕度信息；

通信單元，用于將所述圖片信息、位置與速度信息、物料信息和溫濕度信息傳輸至預處理單元和預測單元；

預處理單元，用于將所述圖片信息進行降噪和清晰化處理，得到清晰化信息；將圖片降噪信息進行尺寸適應改變和拼接，得到適應圖片數據；將所述適應圖片數據、位置與速度信息、物料信息和溫濕度信息融合，得到融合數據；

預測單元，用于以多個融合數據作為訓練樣本，訓練得到卷積神經網絡模型；將所述圖片信息輸入卷積神經網絡模型，得到第一滿斗率數據；將所述圖片信息、位置與速度信息、物料信息和溫濕度信息通過圖像處理算法推算，得到第二滿斗率數據；將所述第一滿斗率數據和第二滿斗率數據融合對比，得到滿斗率預測數據；

供電單元，用于向所述傳感單元、通信單元、預處理單元和預測單元供電。

2.根據權利要求1所述的基于機器視覺的滿斗率預測系統，其特征在于，所述傳感單元具體包括：

圖片信息采集模塊，用于采集裝載機工作時的圖片信息；

位置與速度信息采集模塊，用于采集裝載機移動時的位置與速度信息；

物料信息采集模塊，用于采集裝載機挖掘物料的物料信息；以及

溫濕度信息采集模塊，用于采集裝載機工作環境的溫濕度信息。

3.根據權利要求1所述的基于機器視覺的滿斗率預測系統，其特征在于，所述預處理單元具體包括：

清晰化處理模塊，用于將所述圖片信息進行降噪和清晰化處理，得到清晰化信息；

尺寸適應改變和拼接模塊，用于將圖片降噪信息進行尺寸適應改變和拼接，得到適應圖片數據；以及

同步融合模塊，用于將所述適應圖片數據、位置與速度信息、物料信息和溫濕度信息同步融合，得到融合數據。

4.根據權利要求1所述的基于機器視覺的滿斗率預測系統，其特征在于，所述預測單元具體包括：

模型訓練模塊，用于以多個融合數據作為訓練樣本，訓練得到卷積神經網絡模型；

第一滿斗率數據生成模塊，用于將所述圖片信息輸入卷積神經網絡模型，得到第一滿斗率數據；

第二滿斗率數據生成模塊，用于將所述圖片信息、位置與速度信息、物料信息和溫濕度信息通過圖像處理算法推算，得到第二滿斗率數據；以及

滿斗率預測數據生成模塊，用于將所述第一滿斗率數據和第二滿斗率數據融合對比，得到滿斗率預測數據。

5.根據權利要求1所述的基于機器視覺的滿斗率預測系統，其特征在于，所述基于機器視覺的滿斗率預測模型訓練的系統還包括：

輔助單元，用于將所述圖片信息、位置與速度信息、物料信息和溫濕度信息備份；監測裝載機的工作狀態，并在出現異常時告警。

6.基于機器視覺的滿斗率預測方法，其特征在于，所述方法具體包括以下步驟：

采集并處理裝載機的圖片信息、位置與速度信息、物料信息和溫濕度信息，得到融合數據；

以多個融合數據作為訓練樣本，訓練得到卷積神經網絡模型；

將所述圖片信息輸入卷積神經網絡模型，得到第一滿斗率數據；

將所述圖片信息、位置與速度信息、物料信息和溫濕度信息通過圖像處理算法推算，得到第二滿斗率數據；

將所述第一滿斗率數據和第二滿斗率數據融合對比，得到滿斗率預測數據。

7.根據權利要求6所述的基于機器視覺的滿斗率預測方法，其特征在于，所述融合數據的生成方法具體包括以下步驟：

采集裝載機工作時的圖片信息；

采集裝載機移動時的位置與速度信息；

采集裝載機挖掘物料的物料信息；

采集裝載機工作環境的溫濕度信息；

將所述圖片信息、位置與速度信息、物料信息和溫濕度信息傳輸至預處理單元和預測單元；

將所述圖片信息進行降噪和清晰化處理，得到清晰化信息；

將圖片降噪信息進行尺寸適應改變和拼接，得到適應圖片數據；

將所述適應圖片數據、位置與速度信息、物料信息和溫濕度信息同步融合，得到融合數據。