[發明專利]一種基于優化yolov4算法的違章行為識別方法及系統

在審

• 申請號: 202111196412.3
• 申請日: 2021-10-14
• 公開（公告）號: CN113971775A
• 公開（公告）日: 2022-01-25
• 發明（設計）人: 張昱;黃浩聲;梁偉;陶風波;朱睿;尹康涌;林元棣;王靜君;賈萌萌
• 申請（專利權）人: 江蘇省電力試驗研究院有限公司;國網江蘇省電力有限公司電力科學研究院
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/22;G06V10/764;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08;G08G1/017
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 張弛

1.一種基于優化yolov4算法的違章行為識別方法，其特征在于，包括以下步驟：

(1)收集違章行為的圖像數據，建立違章行為的圖像數據庫；針對數據庫內的圖像數據分別標注違章行為類別，通過優化yolov4算法進行模型訓練和測試，獲取最優模型；

所述yolov4算法的優化包括在構建特征提取網絡過程中采用自適應感受野融合模塊，具體為以下步驟：

(1.1)在輸入部分采用1×1卷積將前一層的輸入特征圖的通道數減少到原來的四分之一；

(1.2)使用四個不同大小的空洞卷積分支來生成不同大小感受野的輸出特征；

(1.3)利用感受野融合結構融合四個不同分支的輸出特征信息并濾除冗余信息；

(1.4)在輸出部分的卷積層采用1×1卷積來調整輸出特征圖的通道數；

(1.5)利用殘差網絡獲得最終的輸出特征圖；

(2)獲取待檢測的視頻圖像數據，將待檢測的視頻圖像數據作為最優模型的輸入，通過最優模型檢測出目標的空間的位置以及違章行為的類別信息，根據空間位置坐標進行目標之間位置關系判斷，判定是否屬于違章行為，輸出檢測結果；

(3)根據檢測結果生成實時預警信息，將檢測結果和實時預警信息傳輸至前端APP的網頁端，供管理人員實時監測。

2.根據權利要求1所述違章行為識別方法，其特征在于，所述yolov4算法的優化還包括在構建金字塔網絡過程中采用增強的上采樣模塊，具體為以下步驟：

(1.6)使用上采樣層將低分辨率特征圖大小擴展至與高分辨率特征圖一致；

(1.7)利用1×1卷積將上采樣輸出特征圖通道數調整到原來的一半；

(1.8)采用兩種不同膨脹率的3×3空洞卷積來構造特征增強結構；

(1.9)使用通道維度上合并兩個特征增強層輸出的特征圖，并使用1×1卷積層增加特征圖通道，獲得最終增強后的特征圖。

3.根據權利要求2所述違章行為識別方法，其特征在于，所述yolov4算法的優化還包括對于Yolov4模型損失函數改進，總的損失函數為：

式中，i,j分別表示第i個網格，第j個預測框；(x_i，y_i)表示第i個網格的第j個預測框中心點的坐標；表示第i個網格的第j個真實目標框中心點坐標；(w_i，h_i)表示第i個網格的第j個預測框的寬和高；表示第i個網格的第j個真實目標框的寬和高；為控制函數，第i個網格的第j個anchor box是否包含這個物體目標，在標簽中包含物體的那些格點處，該值為1；若格點不含有物體，該值為0；C_i定義為預測框的置信度；表示真實值,它的取值是由第i網格中的回歸框有沒有負責預測某個對象決定的；如果負責取值為1，否則取值為0；S²定義為輸入圖像中的網格數；B定義為每個單元內產生的包圍框數；∑c∈classes意為c表示類別，p(c)定義為目標屬于c類的概率，表示分類為c的真實概率；λ_obj參數為預測目標中心在網格單元內置信度損失的權重；λ_nobj為無目標的邊界框的置信度損失權重；λ_cls為類損失權值。

4.根據權利要求1所述違章行為識別方法，其特征在于，步驟(1.2)中所述四個不同大小的空洞卷積分支為一個1×1空洞卷積、三個不同膨脹率的3×3空洞卷積。

5.根據權利要求1所述違章行為識別方法，其特征在于，所述的感受野融合結構進行不同感受野分支的融合方法為：

其中(i,j)分別表示為特征向量的坐標，Xⁿ代表多分支感受野結構，代表特征圖Xⁿ在位置(i,j)處的特征向量,A_ij、B_ij、C_ij和D_ij分別表示特征圖Xⁿ的融合權重；Y_ij用于表示輸出特征圖在位置(i,j)的特征向量。