[發明專利]一種安防監控下的睡覺行為識別方法、系統與介質

在審

• 申請號: 202310248079.9
• 申請日: 2023-03-07
• 公開（公告）號: CN116311516A
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 周翔;徐剛;肖江劍;陳紅樑;曾晶;崔玥;莊立
• 申請（專利權）人: 中國科學院寧波材料技術與工程研究所
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/52;G06V10/44;G06V10/80;G06V10/82;G06N3/044
• 代理公司: 南京利豐知識產權代理事務所(特殊普通合伙) 32256
• 代理人: 趙世發

本發明公開了一種安防監控下的睡覺行為識別方法、系統及介質，所述方法包括制作視頻序列數據集；采用卷積神經網絡對視頻序列數據集進行特征編碼，編碼出圖像幀特征；采用視頻分段策略對圖像幀特征進行分段，并計算出當前片段的片段級特征；對每個片段的片段級特征按照時間順序堆疊形成視頻序列的視頻級特征，作為添加了時空非本地注意力機制的時間循環神經網絡模塊的輸入；將時空非本地注意力機制的輸出特征圖經過時間循環神經網絡模塊的全連接層，完成最終睡覺行為的識別。本發明通過改進后的CNN?LSTM網絡架構實現了監控視頻下的睡覺行為檢測。

技術領域

本發明屬于視頻動作識別領域，具體涉及一種安防監控下的睡覺行為識別方法、系統及介質。

背景技術

視頻動作識別算法是對視頻序列中的人員動作進行識別的一種視頻分類算法。行為識別的重點是對人員的個人行為和環境之間的一系列聯系中觀測出人員的行為動作，需要識別的動作可能包含站立、坐下、說話、步行等，這些動作中有些動作可以直接通過單幀圖像來判斷，而一些復雜的動作如開門和關門等則需要當前幀與前后幀組成一個視頻序列來判斷具體的動作。在崗睡覺的人員往往都是坐在椅子上進行睡覺，其睡覺姿勢可能與辦公姿勢相同，再者由于安防監控的距離較遠，無法清晰觀察到人臉的狀態，使用單幀圖像來判斷在崗睡覺會引起較大的誤差。

視頻序列動作識別發展過程中，有基于傳統手工設計特征方法：如基于全局特征和局部特征等發放。再有就是基于深度學習的方法。

傳統手工設計特征的方法如IDT在HDMB51和UCF101等公開數據集上取得較好的效果，但是手工制作的特征具有昂貴的計算成本、較差的泛化能力和難以部署的特點。利用深度學習網絡可以很好的解決這些問題。

目前深度學習中視頻動作識別算法主要有兩種：一種是CNN(ConvolutionalNeural?Networks，卷積神經網絡)網絡，另一種是利用CNN對視頻序列圖像幀進行特征提取，然后使用RNN(Recurrent?Neural?Network，循環神經網絡)網絡對整個視頻序列進行建模。第一種方法主要有Two-Stream(雙流法)、C3D、SlowFast、PoseC3D等。第二種方法主要有CNN-LSTM(卷積長短期記憶神經網絡)、LRCN(Learning?Resource?CentreNetwork，學習資源中心)、雙向LSTM等方法。

深度學習網絡解決視頻動作識別的步驟分為數據標注、訓練、預測。視頻標注一般是將含有某一類動作的視頻片段單獨放在一個文件夾下，訓練時對每一類動作視頻序列進行采樣后，送入到神經網絡進行迭代優化網絡參數，使得視頻分類結果與目標標簽一致。基于卷積網絡的代表方法主要有雙流網絡和C3D網絡。雙流網絡添加額外的光流分支作為視頻序列圖像幀之間的運動表示，C3D網絡將視頻序列看做是一個具有兩個空間維度和一個時間維度上的三維張量，使用3D卷積作為視頻動作識別的通用特征提取器?；谘h神經網絡的方法是將視頻看做一個時間序列，通用的處理方法是將單幀的CNN的特征聚合為視頻級的特征后作為RNN網絡的輸入得到最終的預測標簽。

現有視頻動作識別算法在視頻序列較短的數據集上取得較好的效果，但在長視頻序列上性能表現并不是很好。如3D卷積網絡可以堆疊多個短時間卷積來實現長距離時間連接。但這種方法會丟失相隔較遠的圖像幀之間的聯系信息。且當前大多算法都是在視頻序列中動作幅度變化較大的情況下設計，而在睡崗這種動作幅度變化較小的場景中的表現并不如人意。

因此，如何設計一種適用于在睡崗這種動作幅度變化較小的場景的視頻動作識別算法，是一個急需解決的問題。

發明內容

本發明的主要目的在于提供一種適用于在睡崗這種動作幅度變化較小的場景的安防監控下的睡覺行為識別方法、系統及介質。

為實現前述發明目的，本發明采用的技術方案包括：一種安防監控下的睡覺行為識別方法，包括：