[發明專利]一種基于零樣本學習的人體行為識別方法

有效

• 申請號: 201911288489.6
• 申請日: 2019-12-12
• 公開（公告）號: CN111126218B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: 孔德慧;孫彬;王少帆;李敬華
• 申請（專利權）人: 北京工業大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V10/774;G06V10/764;G06V10/82;G06N3/045;G06N3/042;G06N3/0464;G06N3/0475;G06N3/094
• 代理公司: 北京市中聞律師事務所 11388
• 代理人: 馮夢洪

1.一種基于零樣本學習的人體行為識別方法，其特征在于：該方法包括以下步驟：

(1)基于動作類與動作關聯物體構造知識圖譜，并通過基于注意力機制的圖卷積網絡AMGCN動態更新其關系；

(2)學習基于梯度懲罰和循環一致性約束的生成對抗網絡WGAN-GCC，使得學習的生成器能夠更好地生成未知類特征；

(3)將圖卷積網絡和生成對抗網絡兩個網絡結合為雙流深度神經網絡，使得訓練的分類器更具判別性；

所述步驟(1)中，構建一個由已知動作類S^’、未知動作類U^’和物體O的概念組成的知識圖譜，并使用這些概念相應的詞向量作為知識圖譜中的節點；然后通過ConceptNet確定節點間的初始關系并用鄰接矩陣A表示，其中A的每一個元素A_ij表示第i個節點和第j個節點的關系；為已知類的訓練集，其中x表示特征，中的y表示一個已知類的標簽，c(y)表示特定類的詞向量，在訓練過程中是可用的，其中中的u表示一個未知類的標簽，c(u)表示相應類的詞向量，未知類的樣本特征在訓練中是不可用的；

所述步驟(1)中，圖卷積網絡將C＝S^’+U^’個動作類和O個物體信息的詞向量以及鄰接矩陣A作為輸入，通過網絡每一層之間信息的傳遞和計算，獲取所有動作類的分類器和所有物體分類器其中O個物體分類器充當了已知和未知類動作之間的橋梁；每一層圖卷積都是將上一層的特征矩陣Z_l-1作為輸入,并輸出新的特征矩陣Z_l，其中第一層的輸入是一個k×(C+O)維的特征矩陣，k表示每個特征的維度；網絡中每一層的卷積運算表示為公式(1)

其中A表示鄰接矩陣，I表示單位矩陣,Φ_(l-1)表示第l-1層的參數矩陣；每一層后都跟隨一個ReLU函數，為了使得訓練的動作類分類器具有更強的分類能力，在每一次迭代后，將更新動作-物體、物體-物體和動作-動作之間的關系，通過公式(2)更新鄰接矩陣A：

其中表示第j個節點的k近鄰；圖卷積網絡在訓練時使用的交叉熵損失函數為公式(3)：

其中表示第n個樣本關于第i個類的標簽，N表示已知類訓練樣本個數和未知類合成樣本個數之和，表示預測的分數，為公式(4)：

其中表示第i類動作的第n個樣本。

2.根據權利要求1所述的基于零樣本學習的人體行為識別方法，其特征在于：所述步驟(2)中，WGAN-GCC的損失函數由梯度懲罰約束的WGAN損失函數和循環一致性損失函數兩部分組成，為公式(5)：

梯度懲罰約束的WGAN的損失函數為公式(6)：

其中λ是懲罰系數；這里的判別器為D：它去除了sigmoid層并且輸出為實值；期望生成的特征具有較強的判別能力，以便使用相同類的特征重建類的詞向量，加入解碼器使合成特征重建詞向量c(y)，這里使用的循環一致性損失函數為公式(7)：

其中表示重構的詞向量；

通過訓練基于梯度懲罰和循環一致性約束的生成對抗網絡，通過生成器生成未知類的特征；

給定未知類的詞向量c(u)和隨機高斯噪聲通過計算合成任意特征從而獲得合成的訓練集

3.根據權利要求2所述的基于零樣本學習的人體行為識別方法，其特征在于：所述步驟(3)中，首先訓練WGAN-GCC，生成未知類特征，并與已知類的特征一起作為AMGCN的訓練樣本；

然后，通過AMGCN同時訓練已知類的分類器和未知類的分類器。

4.根據權利要求3所述的基于零樣本學習的人體行為識別方法，其特征在于：所述步驟(3)中，在測試階段，使用訓練的分類器對測試視頻進行分類，q^’＝Wx^’，其中W表示分類器矩陣，x^’表示測試樣本，q^’表示預測的標簽向量，該向量中最大元素所在的維度為預測的類別。