[發明專利]一種基于雙流神經網絡的人體圖像動作識別方法

在審

• 申請號: 201711038331.4
• 申請日: 2017-10-30
• 公開（公告）號: CN107862376A
• 公開（公告）日: 2018-03-30
• 發明（設計）人: 吳昊宣;吳賀俊
• 申請（專利權）人: 中山大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/00
• 代理公司: 廣州粵高專利商標代理有限公司44102
• 代理人: 林麗明

1.一種基于雙流神經網絡的人體圖像動作識別方法，其特征在于：包括以下步驟：

S1.構建時間神經網絡和空間神經網絡；

S2.為時間神經網絡和空間神經網絡準備足夠多的訓練視頻，然后從訓練視頻中提取信息對時間神經網絡、空間神經網絡進行訓練，提取信息的步驟如下：

S21.設對視頻幀分段的次數為k，k的初始值為1；

S22.將訓練視頻的視頻幀劃分為多段，然后分別采集多段視頻幀的RGB信息和光流圖信息；

S23.令k＝k+1然后對每段視頻幀執行步驟S22的處理，直至k>a，a為設定的視頻分段的次數閾值；

S24.將步驟S2采集的RGB信息輸入至空間神經網絡中對空間神經網絡進行訓練，而將步驟S2采集的光流圖信息輸入至時間神經網絡中對時間神經網絡進行訓練；

S3.分別計算時間神經網絡和空間神經網絡的損失函數數值，然后判斷時間神經網絡和空間神經網絡的損失函數數值是否小于設定的閾值，若是則結束對時間神經網絡和空間神經網絡的訓練，否則基于時間神經網絡和空間神經網絡的損失函數數值對時間神經網絡和空間神經網絡的參數進行迭代更新，然后重復步驟S2對時間神經網絡和空間神經網絡的訓練；

S4.對于測試視頻，將其按照步驟S21～S23進行信息的提取，然后將提取的測試視頻的RGB信息和光流圖信息分別輸入至空間神經網絡、時間神經網絡中，將空間神經網絡、時間神經網絡的輸出融合后得到動作識別結果。

2.根據權利要求1所述的基于雙流神經網絡的人體圖像動作識別方法，其特征在于：所述視頻幀的光流圖信息由視頻幀及與視頻幀相鄰的另一視頻幀確定，設視頻幀t上的一個像素點為(u,v)，則將其移動至視頻幀t+1上對應位置的光流向量表示為d_t(u,v)，視頻幀t上的每一個像素點均對應著一個光流向量，通過提取所有像素點的光流向量，即可得到一張與視頻幀t對應的光流圖。

3.根據權利要求1所述的基于雙流神經網絡的人體圖像動作識別方法，其特征在于：所述a設為2。

4.根據權利要求3所述的基于雙流神經網絡的人體圖像動作識別方法，其特征在于：所述測試視頻提取的RGB信息表示如下：{{S₁₁,S₁₂,……,S_1m},{S₂₁,S₂₂,……,S_2m},…,{S_n1,S_n2,……,S_nm}}，其中S_ij表示第一次劃分的第i段里，再次劃分后第j段提取的RGB信息，所述訓練視頻/測試視頻提取的光流圖信息表示如下：{{S′₁₁,S′₁₂,……,S′_1m},{S′₂₁,S′₂₂,……,S′_2m},…,{S′_n1,S′_n2,……,S′_nm}},S′_ij表示第一次劃分的第i段里，再次劃分后第j段提取的光流圖信息，則步驟S4將提取的測試視頻的RGB信息和光流圖信息分別輸入至空間神經網絡、時間神經網絡中，空間神經網絡、時間神經網絡的輸出Prediction₁(V)、Prediction₂(V′)表示如下：

Prediction₁(V)

＝H₁(G(F₁(S1,S₁₁,S₁₂,……,S_1m),……,F_n(SN,S_n1,S_n2,……,S_nm)))

Prediction₂(V′)

＝H₂(G(F₁(S′1,S′₁₁,S′₁₂,……,S′_1m),……,F_n(SN,S′_n1,S′_n2,……,S′_nm)))

Fi函數表示在第一次劃分中，將第i段提取的信息S1或S′1融合起來，并加入第i段自身再次劃分提取的信息；函數G將各段的信息整合堆疊，形成統一的輸入形式，最終輸入到空間神經網絡或時間神經網絡中，函數H1和H2分別代表空間與時間神經網絡的網絡內計算過程。