[發明專利]基于深度學習的電鏟斗齒視頻關鍵幀的檢測方法

在審

• 申請號: 202010533835.9
• 申請日: 2020-06-12
• 公開（公告）號: CN111738117A
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 解治宇;徐連生;孫健;鄧卓夫;柳小波
• 申請（專利權）人: 鞍鋼集團礦業有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08;G06K9/46;G06K9/52
• 代理公司: 鞍山貝爾專利代理有限公司 21223
• 代理人: 喬麗艷

1.一種基于深度學習的電鏟斗齒視頻關鍵幀的檢測方法，其特征在于：分為電鏟斗齒監控視頻的采集部分，視頻數據預處理部分，基于深度學習的電鏟監控視頻的電鏟斗齒關鍵幀獲取部分以及后續利用本方法獲取的關鍵幀的應用部分；包括以下主要步驟：

步驟1：關于電鏟斗齒的監控視頻數據的采集——從安放在電鏟上方的監控攝像頭中采集電鏟斗齒監控視頻數據，將其作為后續提取電鏟斗齒的視頻關鍵幀圖像的輸入；

步驟2：對電鏟斗齒監控視頻數據進行視頻數據預處理；

步驟3：搭建電鏟斗齒視頻關鍵幀圖像提取器；

步驟3.1：搭建初始的電鏟斗齒視頻關鍵幀圖像提取卷積神經網絡，并在此基礎上進行修改；

步驟3.2：經過多次實驗，在原來的SegNet網絡的基礎上中加上深度殘差子結構，并且在每次池化之前加上1*1的卷積核實現跨通道的信息交互和信息整合，之后再反卷積成原始分辨率大小的效果更好；

步驟4：將步驟2中經過預處理的視頻作為電鏟斗齒視頻關鍵幀圖像提取卷積神經網絡的輸入；

步驟4.1：通過電鏟斗齒視頻關鍵幀圖像提取器對電鏟斗齒監控視頻進行顯著性特征檢測,繼而得到電鏟斗齒監控視頻中的關鍵幀圖像；

步驟4.2：通過對電鏟斗齒監控視頻進行顯著性檢測，就可以得到電鏟斗齒監控視頻中關于電鏟斗齒的顯著性特征圖像，也就是監控視頻中的關于電鏟斗齒的圖像；

步驟5：對得到的電鏟斗齒顯著性特征圖像，繼續進行圖像處理；

步驟6：獲取電鏟斗齒監控視頻中的關鍵幀圖像之后，就可將之用于后續的電鏟斗齒的缺失檢測。

2.據權利要求1中所述的基于深度學習的電鏟斗齒視頻關鍵幀的檢測方法，其特征在于：所述步驟2：監控視頻流數據預處理包括：對獲取的電鏟斗齒監控視頻圖像進行視頻灰度轉換或二值轉換，降低色彩帶來的影響。

3.根據權利要求1中所述的基于深度學習的電鏟斗齒視頻關鍵幀的檢測方法，其特征在于：所述的步驟3中對于電鏟斗齒視頻關鍵幀圖像提取是經過多次實驗，在全卷積網絡中再加上深度殘差子結構，并且在每次池化之前加上1*1的卷積核實現跨通道的信息交互和信息整合，之后再反卷積成原始分辨率大小，找到視頻中的斗齒關鍵幀圖像。

4.根據權利要求1中所述的基于深度學習的電鏟斗齒視頻關鍵幀的檢測方法，其特征在于：所述的步驟5中，對得到的的電鏟斗齒顯著性特征圖像繼續進行圖像處理；包括：1)對得到的的斗齒顯著性特征圖像再進行進一步的膨脹腐蝕處理；2)再將處理后的的斗齒顯著性特征圖像進行二次篩選：利用OpenCV判斷圖像中的最大連通區域的面積大小，如果該連通區域的面積大小大于設定的閾值，就能確定有效的斗齒關鍵幀圖像。