[發明專利]一種礦井工人鉆桿智能計時計數方法、設備及存儲設備

有效

• 申請號: 202010723778.0
• 申請日: 2020-07-24
• 公開（公告）號: CN112001420B
• 公開（公告）日: 2022-09-09
• 發明（設計）人: 謝維都
• 申請（專利權）人: 武漢安視感知科技有限公司
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/764;G06V10/82;G06V10/766;G06K9/62;G06T7/246;G06N3/04;G06N3/08;H04N7/18
• 代理公司: 武漢知產時代知識產權代理有限公司 42238
• 代理人: 郝明琴

1.一種礦井工人鉆桿智能計時計數方法，應用于礦井鉆進距離估計過程中；其特征在于，所述一種礦井工人鉆桿智能計時計數方法，包括以下步驟：

S101：提取鉆進施工監控視頻的視頻幀，按像素軌跡法計算所述視頻幀對應的光流圖；

S102：采用兩個經過預訓練的VGG16網絡分別對所述視頻幀與所述光流圖的視頻特征進行提取，得到的視頻幀的時序特征序列{f₁,f₂,…,f_t}和光流圖的時序特征序列{o₁,o₂,…,o_t}；其中，t為視頻幀的序號，序號相同的視頻幀和光流圖定義為一對視頻幀和光流圖；

S103：將每一對視頻幀與光流圖拼接起來，并使用兩層全連接層對拼接的特征做特征融合，得到對應的融合特征序列{F₁,F₂,…,F_t}；

S104：每20個融合特征作為一個整體，輸入到雙向長短期網絡BLSTM，得到融合特征對應的輸出{H₁,H₂,…,H_t}；

然后通過softmax層對每一個BLSTM輸出計算一個分類結果，得到一個分類結果序列

S105：使用平滑算法消除所述分類結果序列中的毛刺，得到最終的幀級別分類結果序列；

S106：采用一個時間間隔準則，通過分類所述的最終的幀級別分類結果序列計算出鉆進次數，并由鉆進次數乘以鉆桿長度估計鉆進距離；

其中，步驟S106具體包括：將分類結果為“鉆進過程”的連續視頻幀作為一段鉆進過程；鉆進過程的總段數就為鉆進次數；時間間隔準則為：若一段鉆進過程距離上一段鉆進過程的距離小于200幀，則將該段鉆進過程和上一段鉆進過程作為同一段鉆進過程；

預估鉆進距離＝鉆進次數×鉆桿長度；

步驟S102中，采用的兩個經過預訓練的VGG16網絡為兩個VGG16網絡、各全連接層、雙向長短期網絡BLSTM和Softmax分類器組成的整個網絡，該網絡為預先采用梯度下降法訓練好的網絡；訓練時加入置信度模塊，以提高網絡訓練的精度；所述置信度模塊包括：兩層順次連接的全連接層；具體如下：

訓練時，將BLSTM的每一個前向輸出h_t和反向輸出h′_t分別輸入至置信度模塊，通過兩層全連接層回歸一個當前時刻工人開始施工的可能性,并將對應的兩個輸出求平均值后得到對應的置信度所述置信度用來表示某一幀是鉆進過程開始階段的概率，取值范圍為(0,1]；

訓練時損失函數包括交叉熵損失和置信度回歸損失兩部分，表達式如下：

M為工作狀態類別個數，為預設值；N為視頻的總幀數，z_t,k代表第t個視頻幀是否為第k類，取0或者1，0代表不是，取1代表是；λ為權重，且λ＝1；表示第t個視頻幀的預測置信度；表示第t個視頻幀的置信度真值；計算公式如下：

其中，t為第t個視頻幀所在的時刻，s為距離第t個視頻幀最近的施工開始時刻,為預先給定值；v_t表示第t個視頻幀。

2.如權利要求1所述的一種礦井工人鉆桿智能計時計數方法，其特征在于：步驟S101中，按照步長為6幀，長度為7幀的滑動窗口，遍歷所述鉆進施工監控視頻，取出視頻中的若干長度為7幀的片段；將片段中的第四幀與其他6幀分別計算光流圖，然后將視頻幀與光流圖的大小調整后作為對應VGG16網絡的輸入。

3.如權利要求1所述的一種礦井工人鉆桿智能計時計數方法，其特征在于：S103中，針對每一對視頻幀和光流圖：先拼接視頻幀和光流的特征，然后將拼接后的特征輸入至順次連接的兩個全連接層，使用兩個全連接層對拼接的特征進行融合，得到對應的融合特征；各視頻幀和光流圖對應的融合特征組成融合特征序列{F₁,F₂,…,F_t}。