[發明專利]一種無人機監控場景下的人體行為識別方法、系統及裝置

在審

• 申請號: 201711488387.X
• 申請日: 2017-12-30
• 公開（公告）號: CN108182416A
• 公開（公告）日: 2018-06-19
• 發明（設計）人: 郝祿國;張曉龍;李偉儒;吳楚權;楊琳;葛海玉
• 申請（專利權）人: 廣州海昇計算機科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;H04N5/272;H04N7/18
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 胡輝

1.一種無人機監控場景下的人體行為識別方法，其特征在于，包括以下步驟：

通過無人機監控攝像頭對所需的監控地點進行視頻拍攝并預處理，得到樣本視頻；

基于樣本視頻，對樣本視頻中人體行為進行分類，并創建卷積神經網絡模型和訓練測試集樣本庫，進而通過訓練測試集樣本庫對卷積神經網絡模型進行訓練；

將實際監控視頻進行處理后輸入至訓練后的卷積神經網絡模型中，得到實際監控視頻中的人體行為的分類類型。

2.根據權利要求1所述的一種無人機監控場景下的人體行為識別方法，其特征在于：所述的通過無人機監控攝像頭對所需的監控地點進行視頻拍攝并預處理，得到樣本視頻，這一步驟具體包括：

通過無人機監控攝像頭對所需的監控地點進行視頻拍攝，得到初步視頻；

根據初步視頻對應的監控地點，對初步視頻進行背景去除處理，得到二次處理視頻；

根據二次處理視頻，得到能框住每一幀中人體行為的最小邊界框；

對二次處理視頻中的空間信息、時間信息和深度信息進行規范化處理，得到規范化視頻；

將得到的規范化視頻進行水平翻轉處理形成翻轉后的規范化視頻，結合原本的規范化視頻，得到樣本視頻。

3.根據權利要求2所述的一種無人機監控場景下的人體行為識別方法，其特征在于：所述的對二次處理視頻進行空間規范化處理、時間規范化處理和深度信息規范化處理，得到規范化視頻，這一步驟具體包括：

將二次處理視頻中的圖像縮放至預設的尺寸，得到空間規范化視頻；

將所有空間規范化視頻通過時間規范化公式處理至統一的視頻長度，得到時間規范化視頻；

通過MiniMax算法將所有時間規范化視頻的像素值規范化到[0,1]范圍內，得到規范化視頻。

4.根據權利要求1所述的一種無人機監控場景下的人體行為識別方法，其特征在于：所述的基于樣本視頻，對樣本視頻中人體行為進行分類，并創建卷積神經網絡模型和訓練測試集樣本庫，進而通過訓練測試集樣本庫對卷積神經網絡模型進行訓練，這一步驟具體包括：

基于樣本視頻，對樣本視頻中人體行為進行分類并標注，得到行為類別，并創建卷積神經網絡模型和訓練測試集樣本庫；

設定卷積神經網絡模型中在分類器階段的全連接層神經元使用隨機Dropout方法，且將設定輸出為0的神經元比例在每次網絡更新時都進行隨機變化；

將訓練測試集樣本庫的樣本視頻進行分段，得到分段視頻，并將分段視頻作為卷積神經網絡模型輸入；

將標注的行為類別作為輸出，通過誤差反向傳播算法訓練卷積神經網絡模型的連接參數。

5.根據權利要求4所述的一種無人機監控場景下的人體行為識別方法，其特征在于：所述的將訓練測試集樣本庫的樣本視頻進行分段，得到分段視頻，并將分段視頻作為卷積神經網絡模型輸入，這一步驟具體包括：

將幀數為N_F的規范化視頻以預設的步長L_Stride進行分段，每段包括預設的幀數L_Seg，則分段數為N_seg＝1+(N_F-L_Seg)/L_Stride，并根據預設的采樣率進行采樣，形成得到第一視頻段矩陣；

以初步視頻中每一幀的左手關節為中心，根據預設的幀大小截取并組成新視頻，對新視頻采取上進行分段處理，得到第二視頻段矩陣；

將第一視頻段矩陣和第二視頻段矩陣進行融合得到第三視頻段矩陣，同時將第三視頻段矩陣中的分段視頻輸入到卷積神經網絡模型中。

6.根據權利要求3所述的一種無人機監控場景下的人體行為識別方法，其特征在于：所述的時間規范化公式為：

其中，N和N_F分別為規范化前后視頻含有的幀數，則規范化后第j幀來自于規范化前視頻中的第i幀，括號表示上取整。