[發明專利]一種基于殘差網絡的人體行為識別方法及裝置

在審

• 申請號: 201710413546.3
• 申請日: 2017-06-05
• 公開（公告）號: CN107292247A
• 公開（公告）日: 2017-10-24
• 發明（設計）人: 桂江生;遲元峰;包曉安
• 申請（專利權）人: 浙江理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙)33240
• 代理人: 楊天嬌

1.一種基于殘差網絡的人體行為識別方法，其特征在于，所述人體行為識別方法包括：

將視頻轉換為RGB圖像和光流圖像；

采用RGB圖像作為輸入，利用設定的殘差網絡的卷積網絡提取視頻的空間特征；

采用光流圖像作為輸入，利用所述殘差網絡的卷積網絡提取視頻的時間特征；

在卷積網絡的最后一個卷積層之后，通過融合策略將視頻的空間特征和時間特征融合；

將融合的空間特征和時間特征，經過殘差網絡的池化層和全連接層后，輸入到分類器中進行分類，確定視頻所屬的人體行為類別。

2.根據權利要求書1中所述的人體行為識別方法，其特征在于，所述殘差網絡的卷積網絡中各個卷積層為線性結構，每兩層增加一個捷徑連接。

3.根據權利要求書1中所述的人體行為識別方法，其特征在于，所述殘差網絡的卷積網絡包括第一個卷積層和至少兩個分支結構，每個分支結構上的每兩個卷積層增加一個捷徑連接，并且相鄰的分支結構之間的捷徑連接交叉連接。

4.根據權利要求書1中所述的人體行為識別方法，其特征在于，所述將視頻轉換為光流圖像，采用Brox光流算法，所述Brox光流算法，包括：

將視頻幀序列表示為其中表示一幀視頻圖像，x，y表示視頻圖像中像素點的坐標；

基于圖像亮度恒定假設：簡記為：

其中其中和就是要求的光流圖像；

構造相應的能量泛函為：

E(v‾)=∫Ωψ(||▿3I·v‾||2+γ||H3(I)v‾||2)dx‾+α∫Ωψ(||▿3v‾||2F)dx‾;]]>

其中遞增凹函數ε為健壯因子；

采用歐拉-拉格朗日方程：

Ψ,(||▿3I·v‾||2+γ||H3(I)v‾||2)(▿3I▿3TI+γH3T(I)H3(I))v‾-αdiv(Ψ,||▿3v‾||F2▿3v‾)=0]]>

求解光流圖像。