[發明專利]基于視覺關系檢測的煤礦綜采工作面不安全行為識別方法

有效

• 申請號: 201910360181.1
• 申請日: 2019-04-30
• 公開（公告）號: CN110119701B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 楊峰;徐友慶;孟祥峰;高旺;麥倩怡;楊采藝
• 申請（專利權）人: 東莞恒創智能科技有限公司
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V20/70;G06V10/26;G06V10/764;G06V10/82;G06N3/0464;G06N3/08;G06Q50/02
• 代理公司: 蘇州創元專利商標事務所有限公司 32103
• 代理人: 范晴;丁浩秋

1.一種基于視覺關系檢測的煤礦綜采工作面不安全行為識別方法，其特征在于，包括以下步驟：

S01：獲取煤礦綜采工作面的圖像數據，對數據進行標注和語義描述，建立煤礦綜采工作面不安全行為語義圖像數據集；

S02：在建立的數據集上構建“人-機-環”目標識別算法和視覺關系檢測模型，形成圖像文本描述；

S03：通過語句相似度計算進行圖像文本描述語句與煤礦不安全行為數據庫中詞條進行匹配檢索，識別煤礦不安全行為；

所述步驟S02中形成圖像文本描述，包括：

S21：構建Faster?R-CNN的檢測網絡并進行訓練，對采集的數據集進行特征提取；

S22：訓練區域建議網絡，生成高質量的區域建議框，所述區域建議網絡和檢測網絡共享全圖的卷積特征，使用Fast?R-CNN進行檢測分類，檢測圖像上“人-機-環”對象的位置和類別；

S23：構建VTransE網絡進行視覺關系檢測，在目標識別的基礎上，訓練圖像語義理解網絡，選擇損失函數，并根據訓練誤差對網絡參數進行調優，得到圖像的文本描述；

所述步驟S03中的匹配檢索包括：

S31：從煤礦綜采工作面不安全行為管理手冊、操作規程、事故案例和專家經驗4個方面整理常見的不安全行為，形成不安全行為數據庫；

S32：根據得到的圖像文本描述，采用機械分析法分別對不安全行為數據庫中的描述詞條和圖像文本描述語句進行分詞處理，提取影響因素對應的關鍵詞；

S33：采用基于多層次融合的語句相似度計算方法，匹配符合圖像文本描述的不安全行為詞條，識別出圖像中不安全行為。

2.根據權利要求1所述的基于視覺關系檢測的煤礦綜采工作面不安全行為識別方法，其特征在于，所述步驟S01中煤礦綜采工作面圖像采集途徑包括，通過網絡搜索得到煤礦綜采工作面的監控圖像，通過三維模擬安全培訓視頻中截取綜采工作面的圖像，通過煤礦企業現場截取煤礦綜采工作面的監控圖像，及現場模擬不安全行為的圖像。

3.根據權利要求2所述的基于視覺關系檢測的煤礦綜采工作面不安全行為識別方法，其特征在于，在搜集前期制定圖像搜集策略，對采集到的圖像進行預處理，進行塵霧圖像清晰化和圖像增強。

4.根據權利要求1所述的基于視覺關系檢測的煤礦綜采工作面不安全行為識別方法，其特征在于，所述步驟S01中對數據進行標注和語義描述包括：

S11：對煤礦綜采工作面圖像進行標注，包括礦工標注，環境圖像劃分和大型設備部件化標注，將大型設備拆分成多個部件作為對象；

S12：對煤礦綜采工作面圖像進行語義描述，按照設定的策略，對每一張圖像，分別形成區域描述、對象描述、屬性描述、關系描述、區域圖根據、場景圖構建和問答對構建；所述對象和關系根據煤礦綜采工作面不安全行為管理手冊中涉及的“人-機-環”的對象和相關關系進行確定；

S13：制定數據集存儲格式和開發數據開放接口。

5.根據權利要求1所述的基于視覺關系檢測的煤礦綜采工作面不安全行為識別方法，其特征在于，還包括對識別出的不安全行為進行預警。