[發明專利]一種礦井工人鉆桿智能計時計數方法、設備及存儲設備

有效

• 申請號: 202010723778.0
• 申請日: 2020-07-24
• 公開（公告）號: CN112001420B
• 公開（公告）日: 2022-09-09
• 發明（設計）人: 謝維都
• 申請（專利權）人: 武漢安視感知科技有限公司
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/764;G06V10/82;G06V10/766;G06K9/62;G06T7/246;G06N3/04;G06N3/08;H04N7/18
• 代理公司: 武漢知產時代知識產權代理有限公司 42238
• 代理人: 郝明琴

本發明提供了一種礦井工人鉆桿鉆進智能計時計數方法、設備及存儲設備，其方法包括：像素軌跡法計算光流，然后通過兩個VGG16網絡分別對視頻幀和光流進行特征提取，使用全連接層進行特征融合，接著通過雙向長短期記憶網絡來編碼時間上下文信息，使用一個置信度模塊輔助Softmax完成幀級別的分類，使用一個簡單平滑方法對預測結果進行后處理，得到整個視頻的時序工作狀態序列，根據狀態序列計算鉆桿鉆進次數與時間，進而估算井下鉆進距離。本發明的有益效果是：使用像素軌跡法計算光流，補充視頻運動信息，提高檢測性能；使用兩個VGG16分別對視頻幀和光流做特征提取，能夠自主學習，不斷優化特征可分性；使用BLSTM整合時間信息，從幀級別對視頻進行分類。

技術領域

本發明涉及計算機視覺技術領域，具體涉及一種礦井工人鉆桿智能計時計數方法、設備及存儲設備。

背景技術

視頻監控系統是計算機、機器視覺、模式識別和自動化等技術交叉融合的產物。隨著社會的不斷發展，視頻監控系統也越來越成熟，會不斷地融進新的研究領域，比如地理學、生物學等。隨著“數字化礦山”理念的提出，使得智能監控技術在煤礦行業得到廣泛應用，逐步實現了煤礦通信、瓦斯濃度控制、膠帶運輸機速度控制等方面的自動化，減少了礦難的發生，提高了煤炭行業的生產效率。

煤礦井下環境惡劣、空間狹窄、地形復雜，在打鉆過程中。鉆桿周期性地重復打入和打出，鉆桿的往返動作通常需要記錄次數和時間，幫助施工者分析土質環境以及記錄工作進度。現階段鉆桿計數一般情況下都是人工記錄，人為失誤不僅會使鉆桿計數不準確，并且效率低下。施工現場有攝像頭記錄工人施工過程，所以可以通過計算機視覺技術對監控視頻進行工人鉆桿過程檢測，進而實現對鉆桿數量和時間的準確、穩定、有效的記錄從而估計井下鉆進距離。

發明內容

為了解決上述問題，本發明提供了一種礦井工人鉆桿智能計時計數方法，深度學習中的神經網絡方法，解決使用計算機自動計算出鉆桿鉆進次數與時間的問題，并使用一個雙向循環網絡，關聯視頻的時序信息，提高檢測精度，最后通過鉆桿鉆進次數與鉆桿長度的乘積估計鉆進距離。

所述一種礦井工人鉆桿智能計時計數方法，應用于礦井鉆進距離估計過程中；具體包括以下步驟：

S101：提取鉆進施工監控視頻的視頻幀，按像素軌跡法計算所述視頻幀對應的光流圖，以表示視頻幀與視頻幀之間的運動信息；

S102：采用兩個經過預訓練的VGG16網絡分別對所述視頻幀與所述光流圖的視頻特征進行提取，得到的視頻幀的時序特征序列{f₁,f₂,…,f_t}和光流圖的時序特征序列{o₁,o₂,…,o_t}；其中，t為視頻幀的序號，序號相同的視頻幀和光流圖定義為一對視頻幀和光流圖；

S103：將每一對視頻幀與光流圖拼接起來，并使用兩層全連接層對拼接的特征做特征融合，得到對應的融合特征序列{F₁,F₂,…,F_t}；

S104：每20個融合特征作為一個整體，輸入到雙向長短期網絡BLSTM，得到融合特征對應的輸出{H₁,H₂,…,H_t}；

然后通過softmax層對每一個BLSTM輸出計算一個分類結果，得到一個分類結果序列

S105：使用平滑算法消除所述分類結果序列中的毛刺，得到最終的幀級別分類結果序列；

S106：采用一個時間間隔準則，通過分類所述的最終的幀級別分類結果序列計算出鉆進次數，并由鉆進次數乘以鉆桿長度估計鉆進距離。