[發明專利]基于多損失雙流卷積神經網絡的人體動作識別方法

在審

• 申請號: 201910400344.4
• 申請日: 2019-05-14
• 公開（公告）號: CN110110686A
• 公開（公告）日: 2019-08-09
• 發明（設計）人: 吳春雷;曹海文;王雷全;魏燚偉
• 申請（專利權）人: 中國石油大學（華東）
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.基于多損失雙流卷積神經網絡的人體動作識別方法，其特征在于，所述方法包括以下步驟：

S1.將數據集中視頻V平均分為K段S₁,S₂,…,S_K(K為經驗值K＝3)，從每個子段中隨機采樣一幀圖片和光流圖作為多損失雙流卷積神經網絡的輸入。

S2.構建多損失雙流卷積神經網絡架構。

S3.將步驟S1中采集的圖片和光流圖輸入到多損失雙流卷積神經網絡中進行訓練，使得損失函數最小。

S4.將測試樣本中的圖片和光流圖輸入到上述已訓練完成的多損失雙流卷積神經網絡中進行測試，再進行雙流融合，最后完成基于視頻的人體動作識別。

2.根據權利要求1所述的基于多損失雙流卷積神經網絡的人體動作識別方法，其特征在于，所述S2的具體過程為：

多損失雙流卷積神經網絡是對時序分割網絡的改進，其空間網絡和時間網絡的網絡結構是相同的(輸入模態不同，分別是圖片和光流圖)，多損失雙流卷積神經網絡的空間網絡和時間網絡的網絡結構分為三個分支：動作識別、動作復原和差異懲罰。

(1)動作識別

動作識別分支選用BN-Inception作為基礎的網絡結構，為了模擬長期的時間結構，本發明在整個視頻中進行稀疏采樣并聚集片段特征進行動作識別。

(2)動作復原

在動作識別分支的最后一層卷積層的輸出進行對輸入數據的復原，本發明采用了四層反卷積層和四層跳躍連接層進行復原，并利用歐氏距離損失計算復原差，為了保證在動作識別網絡中能夠保留部分動作細節信息。

(3)差異懲罰

差異懲罰分支與動作識別和動作復原分支共享特征編碼網絡，它在動作識別分支的最后一層卷積層后進行差異懲罰操作，本發明利用了相鄰片段間的特征差進行動作識別，輔助動作識別網絡能夠提取豐富的時空特征。

3.根據權利要求1所述的基于多損失雙流卷積神經網絡的人體動作識別方法，其特征在于，所述S3的具體過程為：

具體的說，多損失雙流卷積神經網絡的訓練方法是利用ImageNet數據集做預訓練模型，訓練動作識別模塊，在動作識別網絡訓練完成的基礎上進行訓練整個網絡，并利用了隨機梯度下降算法進行優化。

多損失雙流卷積神經網絡的損失函數計算公式如下：

(1)動作識別

將整個視頻V平均分為K段{S₁,S₂,…,S_K}，從每個片段中隨機采樣一幀{I₁,I₂,…,I_K}作為網絡的輸入，最終得到視頻在每個動作類中預測分數函數為：

R(I₁,I₂,…,I_K)＝P(h(C(I₁；W),C(I₂；W),…,C(I_K；W))) (1)

其中W為參數，函數C(I_k；W)計算每個輸入經過網絡所輸出的類分數，k∈1,2,…,K，函數h代表融合K個片段的輸出，得到最終的動作類假設分數，函數P是Softmax操作。

因此，動作識別模塊的損失函數為：

其中n是動作類總個數，y_i是真是標簽，H_r＝h(C(I₁；W),C(I₂；W),…,C(I_K；W))，

即H_i＝h(C_i(I₁),C_i(I₂),…,C_i(I_K))表示K個片段預測的同一i動作類的分數。

(2)動作復原

本模塊利用歐氏距離損失進行優化訓練，其損失函數為：

其中是第k個片段通過復原網絡輸出的特征圖，I_k為原始特征圖。

(3)差異懲罰

首先要計算相鄰兩張圖片或者是光流圖經過動作識別網絡到最后一層卷積層輸出的特征(f_k，f_k+1)差異：

d_k＝f_k+1-f_k (4)

然后將特征d_k進行動作識別，即差異懲罰的損失函數為：

綜上所述，多損失雙流卷積神經網絡的總損失函數為：

L＝L_r(y,H_r)+L_g+L_d(y,H_d) (6) 。

4.根據權利要求1所述的基于多損失雙流卷積神經網絡的人體動作識別方法，其特征在于，所述S4中測試訓練完成的多損失雙流卷積神經網絡，每個視頻采用一張圖片或者是光流圖作為多損失雙流模型的輸入來預測動作識別的分數，最后融合空間網絡和時間網絡輸出的分數作為多損失雙流卷積神經網絡的最終測試得分。