[發明專利]一種施工違規行為檢測模型的構建方法及其應用

有效

• 申請號: 202010601260.X
• 申請日: 2020-06-28
• 公開（公告）號: CN111832443B
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 韓守東;陳國榮;馬迪;劉巾英;陳陽
• 申請（專利權）人: 華中科技大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/40;G06V10/75;G06V10/774;G06V10/82;G06K9/62;G06N3/08
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 尹麗媛;李智

本發明涉及違規行為檢測領域，具體公開了一種施工違規行為檢測模型的構建方法及其應用，包括：對原始圖像樣本集中的圖像進行相似度配對，并對每組圖像對進行前景交換以及對交換后的所有圖像進行風格渲染，得到擴展圖像樣本集；基于原始圖像樣本集和擴展圖像樣本集，訓練單階段目標檢測網絡，其中在訓練時根據圖像上文信息以及檢測網絡中的類別預測分支和位置預測分支的預測結果對網絡參數進行調優，最后基于構建的違規行為檢測模型進行違規行為的檢測。本發明對原始樣本進行配對相似度增強，極大提高訓練樣本規模以及模型訓練精度，另外在訓練時考慮上下文信息，通過對網絡添加上下文信息對其正則化，極大提高目標檢測的準確率。

技術領域

本發明屬于違規行為檢測領域，更具體地，涉及一種施工違規行為檢測模型的構建方法及其應用。

背景技術

在施工過程中，保障施工安全是提高生產效率、提升企業效益、保障員工安全的重要環節。設計生產一套智能化的監控系統，使之能在復雜多變的工業環境下完成對工人自動實時準確的識別、判斷、定位，具有重要意義。具體地，這套系統要求可以通過攝像頭實時地對鏡頭范圍內的工人進行檢測，判斷其是否存在未佩戴安全帽、未系安全帶的行為，若發現存在違規行為的員工則通過告警系統立即發出警報，為后臺監控人員提供可靠信息。用這種方式可以提高工人在生產環境中的安全性，可以提升對企業安全生產的保障。

目前用于違規行為檢測的方案主要有：若將輸入設置為視頻段，則可以采用基于多幀處理的方法，如C3D、I3D、雙流法、基于骨架的行為檢測等；若將輸入設置為單幀，則可以采用基于單幀圖像的方法，如圖像分類、目標檢測。其中，(1)對于目前主流的基于多幀的視頻處理方法，如雙流法，同時輸入單幀圖像和基于多幀視頻計算出光流圖，通過卷積神經網絡提取特征，并融合單幀特征和光流特征作為視頻段的特征表達，但提取光流時間較長，無法滿足實時性的要求；而基于3D卷積的方法，如C3D、I3D，通過在神經網絡的輸入中增加時間這個維度，賦予神經網絡捕捉時序行為的能力，需要對輸入視頻在同時在時間和空間上進行卷積，計算復雜度較高，難以訓練，在一些對計算資源有限制的監控系統上可能無法使用。此外，目前很多主流的基于視頻段行為檢測的方法只能給出幀級別的預測，即僅能檢測出違規行為發生的時間段，無法給出違規的具體人員幀定位。隨著人體關鍵點定位技術愈發成熟，研究人員開始嘗試通過人體骨架進行行為識別。基于人體骨架的方法大多通過對視頻中的人提取關鍵點，并將這些關鍵點構成人體骨架，再通過卷積神經網絡對人體骨架進行特征提取，從而進行行為識別。但是這類方法的輸入是人體關鍵點，無法對人體和物體之間的交互進行建模。而在違規行為中存在大量人、物交互的場景，如是否佩戴安全帽，因此不適用于監控視角違規行為檢測。(2)基于單幀的圖像處理方法，其中純粹的圖像分類只能給出單幀預測結果，無法給出違規行為的發生位置。

發明內容

本發明提供一種施工違規行為檢測模型的構建方法及其應用，用以解決現有施工違規行為檢測方法所存在的無法準確地同時檢測違規行為類別及位置的技術問題。

本發明解決上述技術問題的技術方案如下：一種施工違規行為檢測模型的構建方法，包括：

獲取施工違規行為原始圖像樣本集；

對所述原始圖像樣本集中的圖像進行相似度配對，得到多組圖像對，并對每組所述圖像對進行前景交換，以及對交換后的所有圖像進行風格渲染，以消除交換帶來的邊緣效應，得到擴展圖像樣本集；

基于所述原始圖像樣本集和所述擴展圖像樣本集，訓練單階段目標檢測網絡，得到違規行為檢測模型，其中在訓練時根據圖像上文信息以及檢測網絡中的類別預測分支和位置預測分支的預測結果對網絡參數進行調優。