[發明專利]復雜場景下基于人工智能的變電站內異常行為識別與檢測方法

在審

• 申請號: 202010102771.7
• 申請日: 2020-02-19
• 公開（公告）號: CN111339883A
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 姚一楊;聶禮強;戰新剛;鄭曉云;尹建華;張新星
• 申請（專利權）人: 國網浙江省電力有限公司;山東大學;智洋創新科技股份有限公司;國網浙江省電力有限公司衢州供電公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06N3/04;G06N3/08
• 代理公司: 濟南竹森知識產權代理事務所(普通合伙) 37270
• 代理人: 呂利敏;孫憲維

1.一種復雜場景下基于人工智能的變電站內異常行為識別與檢測方法，其特征在于，該檢測方法包括以下步驟：

S1：對監控視頻進行預處理，得到靜態圖；

S2：使用基于深度學習的目標檢測算法FPN網絡檢測人體區域：利用候選框將人體區域標識出來，并對原圖像進行裁剪處理作為待識別圖像；

S3：將待識別圖像進行預處理操作，產生二值化圖像；

S4：將所述二值化圖像作為CPN網絡的輸入進行人體骨架的關鍵點檢測：生成人體骨架關鍵點圖像；

S5：將人體骨架關鍵點圖像與步驟S1得到RGB單幀靜態圖融合，輸入到LSTM網絡進行分類識別，判斷是否為異常行為。

2.根據權利要求1所述的一種復雜場景下基于人工智能的變電站內異常行為識別與檢測方法，其特征在于，所述步驟S1對視頻預處理的過程具體包括：提取視頻中的每幀圖像，得到RGB單幀靜態圖。

3.根據權利要求1所述的一種復雜場景下基于人工智能的變電站內異常行為識別與檢測方法，其特征在于，在所述步驟S2對人體檢測之前還包括對網絡進行訓練：

使用COCO人體檢測的數據集，并過濾重復、模糊數據后作為FPN網絡的訓練集。

4.根據權利要求3所述的一種復雜場景下基于人工智能的變電站內異常行為識別與檢測方法，其特征在于，所述步驟S2對人體檢測的過程具體包括：

S21：使用Mask RCNN中的ROI Align替換FPN的ROI Pooling，將ROI Pooling的反向傳播公式

替換為ROI Align的反向傳播公式

在公式(I)中，x_i表示池化前特征圖上的像素點，y_rj表示池化后的第r個候選區域的第j個點，i^*(r,j)表示點y_rj像素值的來源；

在公式(II)中，表示一個浮點數的坐標，表示兩點x_i與之間的距離，Δh和Δw表示x_i與橫、縱坐標的差值，這里作為雙線性內插的系數乘在原始的梯度上；

S22：訓練FPN網絡；

S23：將圖像輸入FPN網絡檢測人體區域；

S24：網絡將帶有候選框的圖像輸出，按照候選框切割圖像，得到只有人體區域的待識別圖像。

5.根據權利要求1所述的一種復雜場景下基于人工智能的變電站內異常行為識別與檢測方法，其特征在于，所述步驟S3對待識別圖像預處理方法包括：

S31：對待識別圖像灰度化處理：從RGB顏色空間轉變為GRAY顏色空間轉變公式為：

Gray(i,j)＝0.299*R(i,j)+0.587*G(i,j)+0.114*B(i,j) (III)

公式(III)中R、G、B代表相應的紅綠藍色彩空間的值；

S32：使用OTSU二值化處理圖像。

6.根據權利要求1所述的一種復雜場景下基于人工智能的變電站內異常行為識別與檢測方法，其特征在于，所述步驟S4對人體骨架關鍵點檢測包括：

其中，包括CPN網絡，所述CPN網絡包括兩個子模塊——GlobalNet和RefineNet；

S41：GlobalNet基于ResNet網絡結構，分為四層通道對圖像進行特征提取，并在上采樣后，兩層特征相加之前，再進行一次1*1的卷積操作，用于對易檢測部位進行識別成可見容易關鍵點，采用的損失函數為L2loss，即：

其中，n表示關鍵點的個數，y(x)表示預測值，a^L(x)表示真實值；

S42：基于GlobalNet生成的特征金字塔表示，RefineNet利用不同層的特征信息，并通過采用HyperNet的思想進行上采樣和鏈接，整合不同層的特征信息：

對于難以辨識的關鍵點：利用之前GlobalNet檢測出的可見容易關鍵點，放大該區域，使用增大感受野來估計關鍵點位置；

對于未檢測出的不可見關鍵點：使用上下文內容，即各個已知點進行預測。

7.根據權利要求1所述的一種復雜場景下基于人工智能的變電站內異常行為識別與檢測方法，其特征在于，所述步驟S5對異常行為識別的過程還包括：

S51：首先將違規行為、危險行為進行分類：在步驟S1得到的圖像中中每類至少標記一組連續動作或單獨動作，為其打上標簽；

S52：將步驟S1的大量圖像數據和步驟S51中得到的少量標注數據與人體骨架關鍵點圖像進行融合，利用弱監督學習和小樣本學習的方法訓練該融合后的數據用到的LSTM網絡；

S53：利用LSTM網絡的記憶性將連續的圖片串聯起來形成一個可識別的連續動作，能更好地對行為進行識別；

S54：最后用softmax分類器進行分類，辨別正常行為與異常行為。