[發明專利]一種基于殘差網絡的人體行為識別方法及裝置

在審

• 申請號: 201710413546.3
• 申請日: 2017-06-05
• 公開（公告）號: CN107292247A
• 公開（公告）日: 2017-10-24
• 發明（設計）人: 桂江生;遲元峰;包曉安
• 申請（專利權）人: 浙江理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙)33240
• 代理人: 楊天嬌

技術領域

本發明屬于視頻識別技術領域，尤其涉及一種基于殘差網絡的人體行為識別方法。

背景技術

伴隨著互聯網技術的發展進步，網絡環境的完善，以及數碼相機、攝像錄影機等視頻獲取設備的普及，網絡視頻、手機視頻、監控視頻數據呈現爆炸性的增長。為了迎接視頻數據極速增長的挑戰，解決大規模計算需求與高配硬件、海量視頻數據與有效數據之間的矛盾，對視頻內容的分析研究迫在眉睫。

對視頻中人體行為的分析識別，是視頻內容分析的重要組成部分。基于視頻的人體行為識別是通過計算機對采集得到的未知視頻序列進行處理，能自動地對視頻中包含的人體行為進行檢測、跟蹤、分類和識別，從而使得計算機能夠對人的行為進行描述和理解。由于視頻中大部分有意義的信息都與人類活動有關，因此人體行為識別是智能監控、基于內容的視頻檢索、人機交互等應用的重要研究內容。

現有的人體行為識別方法主要有深度學習表示方法，其不需要像傳統方法那樣對特征提取方法進行人工設計，可以在視頻數據上進行訓練和學習，得到最有效的表征方法。這種思路對數據具有很強的適應性，尤其在標定數據較少的情況下能夠獲得更好的效果。

但是深度學習表示仍然存在一些缺點。首先深度學習表示一般直接從視頻像素數據中學習特征，需要訓練大量的網絡參數，這造成了對行為視頻樣本的巨大的需求問題。其次，這些深度學習表示在訓練學習的過程中，需要對海量視頻數據執行卷積操作。在二維圖像中，卷積操作計算量比較小，但是在三維視頻中，該操作的復雜度呈指數級增長。最后，真實的行為視頻場景一般都比較復雜，而大部分的行為特征對混雜背景、遮擋、鏡頭變換、服飾變化等因素比較敏感。那么，針對復雜場景中的行為識別，學習穩定魯棒的不變特征，也是一個亟待解決的問題。

發明內容

本發明的目的是提供一種基于殘差網絡的人體行為識別方法，以避免卷積神經網絡在使用高質量視頻時產生的巨大計算量問題。

為了實現上述目的，本發明技術方案如下：

一種基于殘差網絡的人體行為識別方法，所述人體行為識別方法包括：

將視頻轉換為RGB圖像和光流圖像；

采用RGB圖像作為輸入，利用設定的殘差網絡的卷積網絡提取視頻的空間特征；

采用光流圖像作為輸入，利用所述殘差網絡的卷積網絡提取視頻的時間特征；

在卷積網絡的最后一個卷積層之后，通過融合策略將視頻的空間特征和時間特征融合；

將融合的空間特征和時間特征，經過殘差網絡的池化層和全連接層后，輸入到分類器中進行分類，確定視頻所屬的人體行為類別。

本發明的一種實施方式，所述殘差網絡的卷積網絡中各個卷積層為線性結構，每兩層增加一個捷徑連接。

本發明的另一種實施方式，所述殘差網絡的卷積網絡包括第一個卷積層和至少兩個分支結構，每個分支結構上的每兩個卷積層增加一個捷徑連接，并且相鄰的分支結構之間的捷徑連接交叉連接。

進一步地，所述將視頻轉換為光流圖像，采用Brox光流算法，所述 Brox光流算法，包括：

將視頻幀序列表示為其中表示一幀視頻圖像，x，y 表示視頻圖像中像素點的坐標；

基于圖像亮度恒定假設：簡記為：

其中其中和就是要求的光流圖像；

構造相應的能量泛函為：

其中遞增凹函數ε為健壯因子；

采用歐拉-拉格朗日方程：

求解光流圖像。

進一步地，所述通過融合策略將視頻的空間特征和時間特征融合，采用相加融合。相加融合效率最高，并且準確度也很高。

本發明還公開了一種基于殘差網絡的人體行為識別裝置，所述人體行為識別裝置包括：

轉換模塊，用于將視頻轉換為RGB圖像和光流圖像；

空間特征提取模塊，用于采用RGB圖像作為輸入，利用設定的殘差網絡的卷積網絡提取視頻的空間特征；

時間特征提取模塊，用于采用光流圖像作為輸入，利用所述殘差網絡的卷積網絡提取視頻的時間特征；

融合模塊，用于在卷積網絡的最后一個卷積層之后，通過融合策略將視頻的空間特征和時間特征融合；

分類模塊，用于將融合的空間特征和時間特征，經過殘差網絡的池化層和全連接層后，輸入到分類器中進行分類，確定視頻所屬的人體行為類別。

進一步地，所述轉換模塊將視頻轉換為光流圖像，采用Brox光流算法，執行如下步驟：