[發明專利]一種自動化識別施工中違規使用梯子行為的系統

在審

• 申請號: 202010868308.3
• 申請日: 2020-08-26
• 公開（公告）號: CN112131951A
• 公開（公告）日: 2020-12-25
• 發明（設計）人: 燕松;姚岳;徐宗標;戰培志;彭鳳強
• 申請（專利權）人: 中通服咨詢設計研究院有限公司;江蘇省通信服務有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 于瀚文;胡建華

1.一種自動化識別施工中違規使用梯子行為的系統，其特征在于，包括檢測環境布控模塊、圖像處理模塊、深度學習網絡訓練模塊、目標約束模塊和梯上作業檢測模塊；

所述檢測環境布控模塊通過對監測作業區進行攝像機布控，對視野內的操作活動進行檢測，實現監控視頻的傳輸，并在出現違規行為時進行自動語音告警提醒；

所述圖像處理模塊，對出現在攝像機視野內的梯子作業圖片進行收集與標注，利用數據清洗得到樣本圖片，將樣本圖片集合作為神經網絡模型yolov3的訓練集；

所述深度學習網絡訓練模塊利用融合通道注意力機制的神經網絡模型yolov3來學習擬合樣本圖片集合中的樣本圖片，檢測得到梯子與操作工在樣本圖片中的位置信息；

所述目標約束模塊通過檢測框的交并比和布控相機多角度信息實現對操作工與梯子在圖像上的關系約束；

所述梯上作業檢測模塊利用訓練好的融合通道注意力機制的神經網絡模型yolov3結合操作工與梯子在圖像上的關系約束實現對在梯子上作業時是否按規定進行操作的檢測。

2.根據權利要求1所述的系統，其特征在于，所述圖像處理模塊對出現在攝像機視野內的梯子作業圖片進行收集，分別標注操作工與梯子，同時利用數據清洗去除質量低下、模糊不清的圖片，得到樣本圖片，將樣本圖片集合作為訓練集進行神經網絡模型yolov3的訓練。

3.根據權利要求2所述的系統，其特征在于，所述加入通道注意力機制的神經網絡模型yolov3的骨干網絡采用darknet53，用于提取圖片細節特征；

神經網絡模型yolov3提取3個不同層的特征圖，大小分別為13*13，26*26，52*52，通過特征圖映射原圖從而進行目標的檢測與分類；

在骨干網絡darket53中加入通道注意力機制，提升模型對圖像特征的提取效果；

神經網絡模型yolov3的損失函數由3部分構成，分別是定位損失、分類損失和置信度損失，定位損失采用的是平方差損失，分類損失和置信度損失采用的是交叉熵損失，計算方式如下：

其中，K表示網格個數，共K*K個，M表示每個網格生成的候選框個數，x_i，y_i分別表示真實標注框左上角橫坐標和縱坐標，w_i，h_i分別表示真實標注框的寬度和高度，分別為x_i，y_i的預測值，分別為w_i，h_i的預測值，Loss(object)表示整個網絡的誤差和；

參數表示第i個網格第j個預測框是否在負責目標，如果是則值為1，否則為0；

參數如果在第i個網格第j個預測框處有目標，值為0，否則為1；

參數C_i表示的是第i個網格處預測框的置信度，計算方式為當前預測框包含物體的概率和該預測框與真實框交并比大小的乘積，而表示的是C_i對應的預測值；

參數p_i表示的是第i個網格處的預測框目標類別，對應的為預測的類別信息；

λ_coord與λ_noobj為損失系數，通過神經網絡模型yolov3，最終得到梯子與操作工在樣本圖片中的位置信息。

4.根據權利要求3所述的系統，其特征在于，所述目標約束模塊對于操作工和梯子的位置信息，通過訓練好的融合通道注意力機制的神經網絡模型yolov3預測得到操作工和梯子在圖上的預測框位置，并計算這兩個預測框位置區域的交集與并集的比值IOU，如果存在IOU大于閾值threshold1，且操作工預測框右下角坐標在圖像坐標系下小于梯子預測框的右下角坐標，則表明存在操作工在梯上作業，此時如果神經網絡模型yolov3檢測到視野存在另一個操作工，且該操作工的預測框與梯子的預測框的交并比IOU大于設定的距離閾值threshold2，且在不同的相機角度下同時滿足該距離交并比約束時，則說明梯上作業時存在梯下有人按操作規范進行固定操作，而存在候選框之間交并比小于設定閾值或不同相機角度下距離約束結果差異超過閾值則表示在梯上作業時存在違規操作的情況；通過計算對應的IOU實現圖像上的距離約束。

5.根據權利要求4所述的系統，其特征在于，所述梯上作業檢測模塊結合相機采集的視頻圖像，通過訓練好的融合通道注意力機制的神經網絡模型yolov3檢測得到操作工與梯子預測框在多角度下距離關系，從而整體實現對操作工在梯上作業時，是否存在另一操作工對梯子進行固定操作這一規范操作行為的檢測。