[發明專利]一種基于元學習的少樣本行為識別方法

在審

• 申請號: 202110319209.4
• 申請日: 2021-03-25
• 公開（公告）號: CN113052073A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 陳朋;宗鵬程;黨源杰;俞天緯;王海霞
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州斯可睿專利事務所有限公司 33241
• 代理人: 王利強

一種基于元學習的少樣本行為識別方法，包括以下步驟：1)視頻數據集分為元訓練集和元測試集，從元訓練集中抽取多組支持集和詢問集用于訓練模型，從元測試集中抽取多組支持集和詢問集用于測試模型；2)使用淺層三維卷積神經網絡提取支持集和詢問集的視頻特征；3)構建一種元學習網絡，用于對支持集進行建模，生成步驟2)中淺層三維卷積神經網絡參數；4)對步驟2)提取到的視頻特征進行二階變換和歸一化處理；5)將處理后的支持集和詢問集視頻特征進行拼接，采用多層二維卷積神經網絡提取詢問集和支持集視頻特征之間的非線性距離關系，對訓練集視頻進行分類。本發明具有較好的任務間泛化能力以及對新視頻行為的識別準確率。

技術領域

本發明涉及視頻行為識別技術領域，尤其涉及基于元學習的少樣本行為識別方法。

背景技術

行為識別技術是計算機視覺領域的研究重點之一，在城市交通管控，智慧安防等領域有著廣泛應用。

隨著網絡技術的高速發展，智能攝像頭的大規模安裝，視頻數據每天呈爆發式的增長。近十年深度學習的技術進展雖然大大提高了視頻行為識別準確率，但是標注如此海量的視頻數據，給人們帶來了巨大的困難。不光如此，收集特定領域的視頻，依然比較稀少，比如異常行為場景，工廠中的危險行為等。如何僅使用少量樣本數據訓練模型，并得到較高的準確率，是近幾年研究人員關注的熱點。

元學習技術旨在使計算機獲得如人類一樣的能力，可以從以前的任務中學習通用的經驗知識，用于新任務中。元學習技術的訓練集是由一個個任務組成，旨在學習通用知識，研究人員常使用元學習技術解決少樣本學習問題。視頻行為識別相較于靜態圖像增加時間維度，在避免過擬合，即使用深層神經網絡的情況下，如何提取有效特征，增強模型面對不同任務的泛化能力，是需要研究的重點問題。

發明內容

為了克服上述問題，本發明提供一種使用淺層網絡，可以根據不同視頻行為識別任務使用不同參數提取視頻特征，泛化能力較強的基于元學習的少樣本行為識別方法。

本發明解決其技術問題所采用的技術方案是：

一種基于元學習的少樣本行為識別方法，所述方法包括以下步驟：

1)將視頻數據集分為元訓練集和元測試集，從元訓練集中抽取多組支持集和詢問集用于訓練模型，從元測試集中抽取多組支持集和詢問集用于測試模型；

2)使用淺層三維卷積神經網絡提取支持集和詢問集的視頻特征；

3)構建一種元學習網絡，用于對支持集進行建模，生成步驟2)中淺層三維卷積神經網絡參數；

4)對步驟2)提取到的視頻特征進行二階變換和歸一化處理；

5)將處理后的支持集和詢問集視頻特征進行拼接，采用多層二維卷積神經網絡提取詢問集和支持集視頻特征之間的非線性距離關系，對訓練集視頻進行分類。

進一步，所述步驟1)中，視頻數據集的劃分過程包括：將視頻數據集劃分為元訓練集D_meta-train和元測試集D_meta-test，在訓練過程中，每輪從D_meta-train隨機抽取N個不同的類，每類有K個不同樣本組成支持集再從剩余D_meta-train中隨機抽取這N個類中的樣本組成詢問集在測試過程中，對D_meta-test做同樣的操作。

更進一步，所述步驟3)中，元學習網絡生成步驟2)中淺層三維卷積網絡參數的過程如下：將輸入由三維卷積網絡組成的任務編碼器E，得到任務的概率分布，將任務表示成條件概率分布模型得到任務特征向量t，如式(1)，(2)：

式中q是條件概率分布，是正態分布；