[發明專利]一種基于元學習的少樣本行為識別方法

在審

• 申請號: 202110319209.4
• 申請日: 2021-03-25
• 公開（公告）號: CN113052073A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 陳朋;宗鵬程;黨源杰;俞天緯;王海霞
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州斯可睿專利事務所有限公司 33241
• 代理人: 王利強

1.一種基于元學習的少樣本行為識別方法，其特征在于，所述方法包括以下步驟：

1)將視頻數據集分為元訓練集和元測試集，從元訓練集中抽取多組支持集和詢問集用于訓練模型，從元測試集中抽取多組支持集和詢問集用于測試模型；

2)使用淺層三維卷積神經網絡提取支持集和詢問集的視頻特征；

3)構建一種元學習網絡，用于對支持集進行建模，生成步驟2)中淺層三維卷積神經網絡參數；

4)對步驟2)提取到的視頻特征進行二階變換和歸一化處理；

5)將處理后的支持集和詢問集視頻特征進行拼接，采用多層二維卷積神經網絡提取詢問集和支持集視頻特征之間的非線性距離關系，對訓練集視頻進行分類。

2.如權利要求1所述的一種基于元學習的少樣本行為識別方法，其特征在于：所述步驟1)中，視頻數據集的劃分過程包括：將視頻數據集劃分為元訓練集D_meta-train和元測試集D_meta-test，在訓練過程中，每輪從D_meta-train隨機抽取N個不同的類，每類有K個不同樣本組成支持集再從剩余D_meta-train中隨機抽取這N個類中的樣本組成詢問集在測試過程中，對D_meta-test做同樣的操作。

3.如權利要求1或2所述的一種基于元學習的少樣本行為識別方法，其特征在于：所述步驟3)中，元學習網絡生成步驟2)中淺層三維卷積網絡參數的過程如下：將輸入由三維卷積網絡組成的任務編碼器E，得到任務的概率分布，將任務表示成條件概率分布模型得到任務特征向量t，如式(1)，(2)：

式中q是條件概率分布，是正態分布；

然后使用單層全連接神經網絡g生成步驟2)中三維卷積的網絡參數θ，如式(3)所示：

θ＝g(t) (3)

將式(3)中得到的網絡參數作正則化處理，如式(4)：

4.如權利要求1或2所述的一種基于元學習的少樣本行為識別方法，其特征在于：所述步驟2)中淺層三維卷積網絡f_θ使用由步驟3)中元學習網絡生成的參數θ，提取視頻特征，視頻特征表示計算為：

w＝f_θ(x) (5)

式中x是視頻片段，并且x∈R^C×T×H×W，w是視頻特征，且w∈R^{C'×T'×H'×W'}。

5.如權利要求1或2所述的一種基于元學習的少樣本行為識別方法，其特征在于：所述步驟4)中，對于步驟2)提取到的視頻特征w處理的過程如下：首先將w∈R^{C′×T′×H′×W′}改變維度為w'∈R^C'×M(M＝T'×H'×W')，求二階特征的公式如下：

式中ψ(·)為歸一化函數，如下：

6.如權利要求5所述的一種基于元學習的少樣本行為識別方法，其特征在于：所述步驟5)中，尋找支持集和詢問集度量關系，對詢問集進行分類的過程如下：將步驟4)提取到的支持集和詢問集的視頻特征進行拼接，表示為將拼接后的特征輸入多層二維卷積網絡，得到相似性r，如式(8)所示：

式中r_i,j是一個0到1的數值，表示支持集視頻x_i和詢問集視頻x_j的相似度；最后，使用均方差公式作為損失函數，如式(9)：