[發明專利]基于深度學習的電鏟斗齒視頻關鍵幀的檢測方法

在審

• 申請號: 202010533835.9
• 申請日: 2020-06-12
• 公開（公告）號: CN111738117A
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 解治宇;徐連生;孫健;鄧卓夫;柳小波
• 申請（專利權）人: 鞍鋼集團礦業有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08;G06K9/46;G06K9/52
• 代理公司: 鞍山貝爾專利代理有限公司 21223
• 代理人: 喬麗艷

本發明公開了一種基于深度學習的電鏟斗齒視頻關鍵幀的檢測方法，該方法包括電鏟斗齒監控視頻的采集部分，斗齒視頻數據處理部分和基于深度學習的電鏟斗齒視頻關鍵幀獲取部分以及后續利用本方法獲取的關鍵幀的其他應用部分。本發明主要通過利用深度學習的方式解決了以往的對于關鍵幀選取錯誤從而導致選取的視頻關鍵幀圖像不具備代表性和實時性差以及計算量大的傳統方案的缺點。

技術領域

本發明涉及一種基于深度學習的電鏟斗齒視頻關鍵幀的檢測方法。

背景技術

從監控設備中獲取的視頻中有很多是冗余數據，從這些視頻數據中獲取其中的關鍵幀圖像是一個難題。過去有通過以K-means聚類方法并設定初始閾值來提取視頻中的關鍵幀、基于抽樣的關鍵幀提取以及基于鏡頭邊界以及顏色還有紋理特征的方式對視頻流中的關鍵幀圖像提取等。通過聚類的方式會受到由于閾值設定的不合理的影響而導致提取的關鍵幀圖像效果不理想。通過抽樣的方式則是從視頻幀圖像中隨機抽取機幀當作斗齒關鍵幀，但是這些關鍵幀圖像并不具備代表性，顯然不合理。通過鏡頭邊界和顏色特征法則是根據視頻中的鏡頭變換及顏色特征變換來確定斗齒關鍵幀圖像。這些方法通過針對圖像的整體信息變化來確定關鍵幀的,就很容易造成關鍵幀選取錯誤、不理想、代表性差，同時增加計算量。

發明內容

針對現有技術存在的不足，本發明利用現有的深度學習技術提供了一種基于深度學習的電鏟斗齒視頻關鍵幀的檢測方法，主要應用于從礦山中的電鏟斗齒監控視頻圖像中找到所需要的電鏟斗齒關鍵幀圖像并保存。

本發明提出的方法是這樣實現的。

本發明的一種基于深度學習的電鏟斗齒視頻關鍵幀的檢測方法，其特征在于：電鏟斗齒監控視頻的采集部分，斗齒視頻數據處理部分和基于深度學習的電鏟斗齒視頻關鍵幀獲取部分以及后續利用本方法獲取的關鍵幀的其他應用部分。包括以下主要步驟：

步驟1：關于電鏟斗齒的監控視頻數據的采集——從安放在電鏟上方的監控攝像頭中采集電鏟斗齒監控視頻數據，將其作為后續提取電鏟斗齒的視頻關鍵幀圖像的輸入；

步驟2：對電鏟斗齒監控視頻數據進行視頻數據預處理；

步驟3：搭建電鏟斗齒視頻關鍵幀圖像提取器；

步驟3.1：搭建初始的電鏟斗齒視頻關鍵幀圖像提取卷積神經網絡，并在此基礎上進行修改；

步驟3.2：經過多次實驗，在原來的SegNet網絡的基礎上中加上深度殘差子結構，并且在每次池化之前加上1*1的卷積核實現跨通道的信息交互和信息整合，之后再反卷積成原始分辨率大小的效果更好；

步驟4：將步驟2中經過預處理的視頻作為電鏟斗齒視頻關鍵幀圖像提取卷積神經網絡的輸入；

步驟4.1：通過電鏟斗齒視頻關鍵幀圖像提取器對電鏟斗齒監控視頻進行顯著性特征檢測,繼而得到電鏟斗齒監控視頻中的關鍵幀圖像；

步驟4.2：通過對電鏟斗齒監控視頻進行顯著性檢測，就可以得到電鏟斗齒監控視頻中關于電鏟斗齒的顯著性特征圖像，也就是監控視頻中的關于電鏟斗齒的圖像；

步驟5：對得到的電鏟斗齒顯著性特征圖像，繼續進行圖像處理；

步驟6：獲取電鏟斗齒監控視頻中的關鍵幀圖像之后，就可將之用于后續的電鏟斗齒的缺失檢測。

作為本發明的進一步優化，所述步驟2：視頻流數據預處理包括：1)對獲取的電鏟斗齒監控視頻圖像進行視頻預處理，如視頻灰度轉換或二值轉換，能進一步刨除監控視頻中由于這些噪聲帶來各種影響。