[發明專利]基于視覺關系檢測的煤礦綜采工作面不安全行為識別方法

有效

• 申請號: 201910360181.1
• 申請日: 2019-04-30
• 公開（公告）號: CN110119701B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 楊峰;徐友慶;孟祥峰;高旺;麥倩怡;楊采藝
• 申請（專利權）人: 東莞恒創智能科技有限公司
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V20/70;G06V10/26;G06V10/764;G06V10/82;G06N3/0464;G06N3/08;G06Q50/02
• 代理公司: 蘇州創元專利商標事務所有限公司 32103
• 代理人: 范晴;丁浩秋

本發明公開了一種基于視覺關系檢測的煤礦綜采工作面不安全行為識別方法，包括：獲取煤礦綜采工作面的圖像數據，對數據進行標注和語義描述，建立煤礦綜采工作面不安全行為語義圖像數據集；在建立的數據集上構建“人?機?環”目標識別算法和視覺關系檢測模型，形成圖像文本描述；通過語句相似度計算進行圖像文本描述語句與煤礦不安全行為數據庫中詞條進行匹配檢索，識別煤礦不安全行為。基于圖像理解的方法，不僅能夠對識別煤礦工作面中的“人、機、環”對象，還能識別每個對象間的語義關系，可以對煤礦工作面中的不安全行為進行識別，準確率高。

技術領域

本發明涉及信息處理的計算機視覺技術領域，具體地涉及一種基于視覺關系檢測的煤礦綜采工作面不安全行為識別方法。

背景技術

隨著機器學習方法的不斷發展和計算機硬件性能的提升，利用機器學習技術對煤礦監控圖像進行智能分析處理來達到安全預警的目的已經成為煤礦安全決策的重要依據與手段。目前，相關技術包括煤巖識別、礦工人臉識別、火災識別等，還有針對煤礦井下安全生產過程中的智能化監測技術，主要有：牛犇針對井下運輸機車在運行過程中發生的相撞及傷人等安全事故問題，提出了基于單目視覺測距原理的礦井機車防撞預警系統和裝置，可在一定程度上有效預防機車運輸事故的發生。蔡利梅針對煤礦井下在生產中的危險區域，通過對視頻圖像中運動目標行為的研究分析，提出運動目標檢測及跟蹤定位的方法。萬航將智能視頻監控技術應用于煤礦井下異常情況的識別，通過圖像處理技術及時發現視頻中的異常達到災害預警的目的。賈偉利用智能視頻監控技術進行煤礦井下多目標跟蹤研究，對礦工進入危險區域進行報警。姜代紅對煤礦井下特殊環境，圍繞基于礦井監控視頻的圖像去噪、圖像增強、圖像拼接、復雜場景情況下的運動目標跟蹤識別及行為分析進行研究，針對性的提出解決問題的方法。雷耀花在井下礦工的檢測方面使用幀間差分法來完成視頻中運動區域的提取及圖像背景的更新，之后使用輪廓特征參數以及梯度方向直方圖+支持向量機的方法完成井下礦工的檢測。現有技術方案提出的都是基于圖像識別技術對煤礦工作面中涉及的對象進行識別，不能真正識別出不安全行為。

但是，目前，針對煤礦安全行為識別的卻很少。綜采工作面是由人、機和環境組成的一種復合系統，煤礦工作面不安全行為的發生是“人-機-環”相互交互造成的，利用傳統圖像識別技術僅通過監控圖像檢測出其中的“人-機-環”對象，并不能完整傳遞其內容，還必須檢測出對象間的視覺關系，才能真正發現圖像中的語義信息，因此并不能真正識別出不安全行為。本發明因此而來。

發明內容

為了解決上述技術問題，本發明提出了一種基于視覺關系檢測的煤礦綜采工作面不安全行為識別方法，基于圖像理解的方法，不僅能夠對識別煤礦工作面中的“人、機、環”對象，還能識別每個對象間的語義關系，可以對煤礦工作面中的不安全行為進行識別，準確率高。

本發明所采用的技術方案是：

一種基于視覺關系檢測的煤礦綜采工作面不安全行為識別方法，包括以下步驟：

S01：獲取煤礦綜采工作面的圖像數據，對數據進行標注和語義描述，建立煤礦綜采工作面不安全行為語義圖像數據集；

S02：在建立的數據集上構建“人-機-環”目標識別算法和視覺關系檢測模型，形成圖像文本描述；

S03：通過語句相似度計算進行圖像文本描述語句與煤礦不安全行為數據庫中詞條進行匹配檢索，識別煤礦不安全行為。

優選的技術方案中，所述步驟S01中煤礦綜采工作面圖像采集途徑包括，通過網絡搜索得到煤礦綜采工作面的監控圖像，通過三維模擬安全培訓視頻中截取綜采工作面的圖像，通過煤礦企業現場截取煤礦綜采工作面的監控圖像，及現場模擬不安全行為的圖像。

優選的技術方案中，在搜集前期制定圖像搜集策略，對采集到的圖像進行預處理，進行塵霧圖像清晰化和圖像增強。

優選的技術方案中，所述步驟S01中對數據進行標注和語義描述包括：