[發明專利]基于深度學習卷積神經網絡的電鏟斗齒脫落檢測方法

在審

• 申請號: 202010534219.5
• 申請日: 2020-06-12
• 公開（公告）號: CN111739029A
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 解治宇;徐連生;孫健;鄧卓夫;柳小波
• 申請（專利權）人: 鞍鋼集團礦業有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/33;G06N3/04;G06N3/08
• 代理公司: 鞍山貝爾專利代理有限公司 21223
• 代理人: 喬麗艷

1.基于深度學習卷積神經網絡的電鏟斗齒的脫落檢測方法，其特征在于：包括以下主要步驟：

步驟1：數據獲取及預處理；

步驟1.1：從安放在電鏟上方的高清攝像頭采集電鏟斗齒圖像，將其作為后續電鏟斗齒缺失檢測的輸入數據；

步驟1.2：將采集的電鏟斗齒圖像對其中的電鏟斗齒區域進行人工標記；

步驟1.3：對進行標記的電鏟斗齒圖像進行數據預處理；

步驟2：將采集到的電鏟斗齒圖像分割成訓練集和驗證集兩個部分：訓練集用來訓練電鏟斗齒分割模型，驗證集用來驗證電鏟斗齒分割訓練效果；

步驟3：搭建電鏟斗齒分割卷積神經網絡；

步驟3.1：搭建原始的DeeplabV3+語義分割網絡，輸入任意大小的圖像，可得到對應的高級特征圖，再通過線性插值上采樣與低級特征圖進行融合，緊接著上采樣回原圖大小，再經過分類器最終得到對應的分割圖；

步驟3.2：根據需要，修改基層網絡增加2層語義信息融合層來獲取更多邊界信息；

步驟3.3，設置了Dilation Rate＝5，增加卷積的感受野，同時減少不必要的信息損失；

步驟4：將制作好的訓練集圖像作為電鏟斗齒分割卷積神經網絡的輸入，并進行多次迭代訓練得到電鏟斗齒分割模型。將在驗證集中表現優異的模型作為最終的電鏟斗齒分割模型；

步驟5：將電鏟斗齒分割預測結果與設定的基準圖像進行配準，得到配準之后的圖像；

步驟6：對配準之后的圖像進行斗齒數量檢測分析，并得出結論。

步驟6.1：由于電鏟的斗齒有5個，所以設定斗齒基準數目為5。如果配準之后的斗齒數量少于5那么就認定為斗齒已脫落，如果斗齒數量等于5那么斗齒就是正常的。

2.根據要求1所述的基于學習深度卷積神經網絡的電鏟斗齒的脫落檢測方法，其主要特征在于：通過利用深度學習中的語義分割獲取電鏟斗齒圖像，并與基準圖像進行特征圖像配準再校驗判定。

3.根據要求1中所述的基于深度學習卷積神經網絡的電鏟斗齒的脫落檢測方法，其特征在于：所述的步驟1.2進一步包括：1)對獲取的電鏟斗齒圖像使用labelme標注工具對其中斗齒區域進行斗齒區域標記，只標記電鏟的斗齒，其數目應小于或等于5；步驟1.3)將斗齒圖像數據集進行顏色空間轉換或者是灰度化。

4.根據權利要求1中所述的基于深度學習卷積神經網絡的電鏟斗齒的脫落檢測方法，其特征在于：所述的步驟3.1：在原DeepLabV3+網絡結構基礎上通過add方式增加多個低層次圖像與高層次圖像的語義信息融合。

5.根據權利要求1中所述的基于學習深度卷積神經網絡的電鏟斗齒的脫落檢測方法，其特征在于：所述的步驟5進一步包括：使用多模態圖像配準技術將分割之后的圖像與設定基準圖像配準，只保留與基準圖像相似的位置區域，繼續對該圖像進行圖像膨脹、腐蝕降噪操作。

6.根據權利要求1中所述的基于深度學習卷積神經網絡的電鏟斗齒的脫落檢測方法，其特征在于：所述的步驟6具體為：1)找到配準圖像中的最小矩形輪廓；2)根據繪制的矩形個數判斷斗齒是否缺失。