[發明專利]一種礦井打鉆計數方法

在審

• 申請號: 202011020689.6
• 申請日: 2020-09-25
• 公開（公告）號: CN112116633A
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 楊恒;李軒
• 申請（專利權）人: 深圳愛莫科技有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T3/40;E21B47/002
• 代理公司: 重慶百潤洪知識產權代理有限公司 50219
• 代理人: 郝艷平

本發明公開一種礦井打鉆計數方法，它包括如下步驟：獲取鉆機在礦井工作區域的打鉆視頻；對連續兩幀視頻圖進行光流估計，得到稠密光流圖；將稠密光流圖和視頻圖逐幀進行拼接，從而獲取鉆機的三維數據點；將三維數據點中的二維坐標進行直線擬合，估計出鉆機的運動方向；對二維坐標進行坐標變換投影成基于運動方向的一維坐標，從而形成保留時間信息的二維數據點；將二維數據點通過自適應濾波得到運動數據點；對運動數據點進行狀態分析得到鉆機的運動軌跡、鐵桿與鉆頭的連接信息，從而判斷出鉆機的運動狀態，估計出打入或取出鐵桿的數量。本發明將光流估計、基于深度學習的檢測與識別，以及自適應濾波等技術結合在一起，提高了識別的適應能力，且該方法對鉆機鐵桿的識別精度高、識別速度快。

技術領域

本發明屬于計算機視覺領域，具體來說，涉及一種基于機器學習的打鉆計數方法。

背景技術

由于礦井中作業環境非常復雜和危險，所以必須對礦井中各種環境進行監測。為了提高礦井的安全性，防止瓦斯爆炸或者水源滲漏，通常會使用鉆機在礦井墻壁中打入或取出鐵桿。通常打入或取出的鐵桿數量要求是一定的，為了防止由人為失誤導致打入或取出的鐵桿數量出錯，需要對這一數量進行監測。

在傳統做法中，通常是邊看視頻邊統計數量，這種方式不但費時費力，而且后期識別過程也全靠人工完成，效率十分低下且出錯可能性大。

近些年來，隨著人工智能的不斷發展，自動檢測識別技術開始越來越多地應用到工業生產、社會安防和生活消費等各個方面。由于機器具備速度快、無疲勞、能適應惡劣環境等優點，自動檢測識別技術的普及極大地提高了工業生產水平，改善了人們的生活質量。但在礦井打鉆計數方面，目前國際國內仍然沒有一種有效的技術方案。

發明內容

本發明旨在提供一種高精度、魯棒的礦井打鉆計數方法，該方法通過相應算法對攝像頭獲取到的礦井中的鉆機視頻進行檢測，從而統計出打入或取出礦壁中鐵桿的數量。

為實現上述技術目的，本發明采用的技術方案如下：

一種礦井打鉆計數方法，包括如下步驟：

獲取鉆機在礦井工作區域的打鉆視頻，并逐幀生成視頻圖；

通過Farneback光流法對連續兩幀視頻圖進行光流估計，得到稠密光流圖；

將稠密光流圖和視頻圖逐幀進行拼接，從而獲取鉆機的三維數據點，所述鉆機的三維數據點包括鐵桿、鉆頭和機身在運動過程中的二維坐標和時間信息；

將三維數據點中的二維坐標進行直線擬合，估計出鉆機的運動方向；

對二維坐標進行坐標變換投影成基于運動方向的一維坐標，從而形成包含一維坐標和時間信息的二維數據點；

將二維數據點通過自適應濾波得到運動數據點；

對運動數據點進行狀態分析得到鉆機的運動軌跡、鐵桿與鉆頭的連接信息，從而判斷出鉆機的運動狀態，估計出打入或取出鐵桿的數量。

進一步限定，打鉆視頻需要確保鉆機的運動軌跡清晰，使得鉆機的分辨率大小不低于20×20。

進一步限定，所述將稠密光流圖和視頻圖逐幀進行拼接，從而獲取鉆機的三維數據點，具體為：

將稠密光流圖的RGB數據和視頻圖和RGB信息合并形成RGB四通道圖像，利用基于深度卷積神經的目標檢測中心網絡進行學習，從而獲取鉆機的三維數據點。

進一步限定，所述將二維數據點通過自適應濾波得到運動數據點，具體包括：

通過二維數據點的一維坐標計算自適應方差，過濾掉坐標值大于自適應方差的二維數據點，然后對一維坐標在時間軸上一次進行線性插值和平均濾波，從而得到運動數據點；