[發明專利]基于監控視頻時序動作定位和異常檢測的變電站人員行為識別方法

有效

• 申請號: 202010103140.7
• 申請日: 2020-02-19
• 公開（公告）號: CN111291699B
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 聶禮強;戰新剛;鄭曉云;姚一楊;徐萬龍;尉寅瑋
• 申請（專利權）人: 山東大學;智洋創新科技股份有限公司;國網浙江省電力有限公司衢州供電公司;國網浙江省電力有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/762;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08;G06Q50/06;G06Q50/26
• 代理公司: 濟南竹森知識產權代理事務所(普通合伙) 37270
• 代理人: 呂利敏;孫憲維

1.一種基于監控視頻時序動作定位和異常檢測的變電站人員行為識別方法,其特征在于，該方法包括以下步驟:

S1：利用先驗知識自主采集、處理和構建變電站人員異常行為監控視頻數據集；

S2：構建3D卷積特征提取網絡：對于輸入的未分割變電站監控長視頻進行特征提取，抽取監控視頻序列的特征信息；

S3：構建時序候選區域提取網絡：用來提取可能存在變電站人員異常行為的候選時序片段；

S4：構建時序行為分類網絡：對提取到的變電站人員行為視頻段進行分類和回歸操作；

S5：構建異常行為檢測網絡：對經步驟S4時序行為分類網絡得到行為類別視頻片段進行異常行為檢測；

S6：采用遷移學習對由S2-S4組成的結構進行端到端的聯合訓練，利用訓練得到的模型處理監控長視頻，以截取簡單分類的行為類別視頻片段；

S7：設計一種基于時空連續性的幀聚類算法對視頻進行分割，采用基于多示例學習的異常行為檢測網絡對視頻片段中內容進行評估，從而識別視頻片段中是否存在異常行為，并確定異常行為類型及精確位置；

所述步驟S3構建時序候選區域提取網絡的方法包括：

S31：首先將S2得到的C_conv5b特征圖作為輸入進行候選時序生成；

S32：利用一個3x3x3的3D卷積過濾器來擴展時序感受野，再用大小為的3D最大池化對其進行下采樣，將空間維度降至，得到獲得了時間位置特征的特征圖；每個時序位置上的512維的特征向量用來預測中心位置的相對偏移{δc_i,δl_i}和每個Anchor的長度{c_i,l_i}，i∈{l,...,K }；

S33：在特征圖C_tl上增加兩個1x1x1的卷積，預測候選時序片段為背景或存在行為活動的置信度得分；

所述步驟S4中構建時序行為分類網絡的方法為：

S41：以0.6為閾值，對步驟S3得到的候選時序片段進行非極大值抑制操作，得到候選時序片段；

S42：將RoI映射到步驟S2得到的C_conv5b特征圖中，通過3D RoI池化操作得到512x1x4x4的輸出特征；

S43：將輸出特征首先送入一個大的全連接層進行特征綜合，再用兩個全連接層分別進行分類和回歸：通過分類層進行變電站人員行為類別分類，通過回歸層調整這些行為片段的開始和結束時間；

所述步驟S5異常行為檢測網絡構建的方法為：

S51：對時序動作檢測部分截取到的特定視頻片段畫面的尺寸和幀率進行調整；

S52：將每個視頻片段劃分為一組固定長度1幀的單位視頻段，通過基于時空連續性的K-means幀聚類算法對單位視頻段進行聚類，每一個聚類結果代表一個完整的動作；

S53：使用步驟S2構建的3D卷積特征提取網絡對視頻片段進行特征提取，提取每16幀的C_conv5b特征均值，并添加一個全連接層得到4096維的特征；

S54：將提取到的特征輸入到由3個連續全連接層構成的多層感知器為每一個段打分，視頻中異常分數最大段的分數作為異常分數，獲得最后的預測異常值；

所述步驟S1中數據集的構建方法包括：

S11：采集不同拍攝角度、背景環境下的變電站人員行為監控視頻；

S12：對典型行為類別進行時序行為標注，以構建用于時序動作檢測任務的視頻數據集；時序動作檢測任務是基于變電站監控長視頻進行人員行為的時間定位和行為類別分類的；

S13：對視頻進行標簽，通過標注視頻片段是否存在異常行為，構建異常行為識別視頻數據集；異常行為識別任務是基于時序動作檢測模塊分割得到的視頻片段按所分類別進行異常行為檢測的；

所述步驟S2中構建3D卷積特征提取網絡的方法包括：

S21：對C3D特征提取網絡進行改進：利用深度可分離卷積替換普通的卷積操作；

S22：采用改進的C3D特征提取網絡提取變電站監控視頻序列幀的特征：

輸入監控視頻的幀序列，經過由多層深度可分離3D卷積層構成的特征提取網絡處理，得到的特征圖；

所述步驟S6時序動作檢測模型訓練和運行的過程具體為：

S61：所述遷移學習是先用THUMOS2014數據集聯合訓練步驟S2-S4中分別對應的網絡模塊，固定步驟S2特征提取網絡的前四層的參數，再在步驟S1構造的數據集上進行訓練，得到后面網絡結構的參數；

S62：按正負樣本1:3的比例，對步驟S4得到的RoI采樣訓練；

S63：對于步驟S3的時序候選區域提取網絡和步驟S4的時序行為分類網絡，同時優化分類任務和回歸任務：

分類任務L_cls采用softmax損失，回歸任務L_reg采用smooth L1損失：

其中，N_cls和N_reg代表一次訓練所選取的樣本數和進行回歸的候選時序片段數量，λ是損失平衡參數，i是一個批處理中候選時序片段的下標，α_i是將候選時序段預測為人員行為的可能性，α_i^*是ground truth，是預測的時序片段對于候選時序片段的相對偏移量，t_i^*={δc_i,δl_i}是ground truth與候選時序片段的坐標變換，其計算公式為：

S64：基于步驟S2-S4構建的時序動作檢測網絡模塊，利用S61-S63訓練得到的模型參數，對變電站監控長視頻進行處理，以截取簡單分類的行為類別視頻片段。