[發(fā)明專利]基于知識蒸餾與對抗學習的多模態(tài)人體動作識別方法

在審

• 申請?zhí)枺?/td>: 202011123560.8
• 申請日: 2020-10-20
• 公開（公告）號: CN112364708A
• 公開（公告）日: 2021-02-12
• 發(fā)明（設計）人: 陳萬軍;陳亞軍;藺廣逢;李維;范鳳梅
• 申請（專利權）人: 西安理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 楊洲

1.基于知識蒸餾與對抗學習的多模態(tài)人體動作識別方法，其特征在于，包括以下步驟：

步驟S1，輸入多模態(tài)人體動作訓練數(shù)據(jù)：

輸入數(shù)據(jù)包括RGB模態(tài)和Depth模態(tài)，其訓練樣本分別表示為i＝1,2,…,N，訓練樣本數(shù)為N；

步驟S2，針對各模態(tài)數(shù)據(jù)，分別訓練單模態(tài)動作識別模型，本步驟具體包括:

S201，對每個模態(tài)的訓練數(shù)據(jù)，分別構建深度神經網(wǎng)絡識別模型和其中，μ和ν分別表示RGB模態(tài)和Depth模態(tài)下識別網(wǎng)絡的參數(shù)集；

S202，以交叉熵作為網(wǎng)絡預測與真實One-Hot編碼標簽的誤差度量函數(shù)，采用隨機梯度下降算法進行網(wǎng)絡參數(shù)優(yōu)化訓練，獲得最優(yōu)參數(shù)集和

步驟S3，多模態(tài)識別模型知識蒸餾集成，本步驟具體包括:

S301，構建多模態(tài)集成學生網(wǎng)絡S_θ，其中θ為網(wǎng)絡的參數(shù)集；

S302，將深度神經網(wǎng)絡識別模型和做為教師網(wǎng)絡，通過知識蒸餾與對抗學習方式來訓練S_θ，獲得最優(yōu)參數(shù)集

步驟S4，分類預測

在測試階段，僅需將RGB模態(tài)的測試樣本輸入到網(wǎng)絡中，網(wǎng)絡輸出即為對未知類別樣本的類別預測概率。

2.根據(jù)權利要求1所述的基于知識蒸餾與對抗學習的多模態(tài)人體動作識別方法，其特征在于，所述步驟S201中深度神經網(wǎng)絡識別模型和的網(wǎng)絡結構如下：

深度神經網(wǎng)絡識別模型和采用相同的網(wǎng)絡架構，其網(wǎng)絡結構均為SlowFast網(wǎng)絡；殘差網(wǎng)絡ResNet-50作為SlowFast的骨干網(wǎng)絡；各網(wǎng)絡的初始參數(shù)值均為SlowFast網(wǎng)絡在Kinetics-400數(shù)據(jù)集上的訓練權值。

3.根據(jù)權利要求1所述的基于知識蒸餾與對抗學習的多模態(tài)人體動作識別方法，其特征在于，所述步驟S301中的多模態(tài)集成學生網(wǎng)絡S_θ的網(wǎng)絡結構如下：

網(wǎng)絡S_θ為SlowFast網(wǎng)絡，殘差網(wǎng)絡ResNet-50作為SlowFast的骨干網(wǎng)絡；網(wǎng)絡的初始參數(shù)值為SlowFast網(wǎng)絡在Kinetics-400數(shù)據(jù)集上的訓練權值。

4.根據(jù)權利要求1所述的基于知識蒸餾與對抗學習的多模態(tài)人體動作識別方法，其特征在于，所述步驟S302中的知識蒸餾與對抗學習方式：

將教師網(wǎng)絡和的預測概率的均值p_i∈R^|C|，作為軟標簽來引導學生網(wǎng)絡的訓練，使得學生網(wǎng)絡S_θ的預測結果q_i∈R^|C|與教師網(wǎng)絡的預測結果保持一致，其中|C|為類別數(shù)，具體過程如下：

首先，利用KL散度計算教師網(wǎng)絡與學生網(wǎng)絡的預測差異，記為然后，將p_i,q_i輸入到判別器子網(wǎng)絡D_γ中，計算集成判別損失其中，γ為判別器子網(wǎng)絡的參數(shù)集；采用對抗訓練優(yōu)化目標函數(shù)獲得最優(yōu)參數(shù)和其中，θ為多模態(tài)集成學生網(wǎng)絡S_θ的參數(shù)集。

5.根據(jù)權利要求4所述的基于知識蒸餾與對抗學習的多模態(tài)人體動作識別方法，其特征在于，所述的判別器子網(wǎng)絡D_γ由一個全連接層構成，輸入特征維度為|C|，輸出特征維度為2維。