[發明專利]一種用于小樣本類增量學習的多粒度快慢學習方法

有效

• 申請號: 202011504238.X
• 申請日: 2020-12-18
• 公開（公告）號: CN112633495B
• 公開（公告）日: 2023-07-18
• 發明（設計）人: 李璽;趙涵斌;傅永健;康敏桐
• 申請（專利權）人: 浙江大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06F18/2413;G06F18/214
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 傅朝棟;張法高

1.一種基于特征空間組合小樣本類增量學習的圖像分類方法，其特征在于，包括以下步驟：

S1、連續獲取多個圖像分類任務的數據流，在每個類增量學習會話中只能獲得一個圖像分類任務的訓練數據集；

S2、在第一個類增量學習會話中，以基任務作為第一個任務的訓練數據集，學習得到基任務網絡模型，慢更新網絡模型和快更新網絡模型都以基任務網絡模型作為初始化模型；

所述的基任務網絡模型是由嵌入網絡和最近類均值分類器組成的圖像分類模型；所述嵌入網絡作為特征提取器，用于將一個給定的樣本映射到一個表征空間，在該表征空間中樣本間的距離表示樣本間的語義差異；訓練得到嵌入網絡后，用所述最近類均值分類器對樣本進行分類；

所述的基任務網絡模型中，僅有嵌入網絡是可學習的，所述嵌入網絡在學習過程中，以最小化度量學習損失為目的；

S3、在下一個類增量學習會話中，基于新任務的訓練數據集，以慢的多粒度學習方法更新前一個類增量學習會話中訓練得到的慢更新網絡模型，同時以快的多粒度學習方法更新前一個類增量學習會話中訓練得到的快更新網絡模型；

所述慢的多粒度學習方法指在特征空間之間粒度使用小學習率更新特征空間和在特征空間內部粒度對低頻分量做知識遷移時使用大權重；

所述快的多粒度學習方法指在特征空間之間粒度使用大學習率更新特征空間和在特征空間內部粒度對低頻分量做知識遷移時使用小權重；

且所述大學習率為所述小學習率的5倍以上，所述大權重為所述小權重的5倍以上；

S4：完成一個類增量學習會話后，通過慢更新網絡模型得到慢更新特征空間，通過快更新網絡模型得到快更新特征空間，對兩個特征空間進行組合，得到一個組合特征空間，利用組合特征空間進行圖像分類；

S5：當存在新任務的訓練數據集時，重復S3和S4，利用新數據對網絡模型進行學習；

所述S1中，所述的類增量學習會話定義如下：

從當前圖像分類任務的數據到達后至下一個圖像分類任務的數據到達的時間間隔是一個類增量學習會話；

所述多個圖像分類任務的數據流定義如下：

數據流D由N個圖像分類訓練數據集構成，D＝{D⁽¹⁾，D⁽²⁾，...，D^(N)}，其中第t個圖像分類任務的訓練數據集為D^(t)，D^(t)僅在第t個類增量學習會話中被獲取到并用于模型的訓練學習，在小樣本類增量學習中D⁽¹⁾為基任務數據；C^(t)是第t個任務數據的類別集合，不同任務間包含的圖像數據類別沒有重疊；

所述的度量學習損失采用三元組損失

其中d₊表示代表圖像樣本x_a和正圖像樣本x_p的特征之間的歐式距離，d_-表示代表圖像樣本x_a和負圖像樣本x_n的特征之間的歐式距離，r表示閾值；

所述S3中，以慢的多粒度學習方法更新前一個類增量學習會話中訓練得到的慢更新網絡模型時，以最小化損失函數為目的對嵌入網絡進行參數優化，其中：

式中是用于保持舊知識的正則項，λ是用于平衡和的系數；

為圖像樣本x_j的特征，通過離散余弦變換對特征分解得到不同頻域分量：

式中Q是頻域分量的數量，頻域分量是在頻域上的第q個分量，q＝1，2，...，Q；在特征空間內粒度的慢學習方法為：

式中和分別表示第t個和第t-1個類增量學習會話中的頻域分量是正則項中逼近舊特征空間第q個頻域分量的權重，通過增大低頻頻域分量的權重至所述大權重訓練慢更新網絡模型；

通過所述小學習率訓練得到嵌入網絡后，用最近類均值分類器進行分類：

式中：為第j個圖像樣本x_j的預測分類標簽；∪_iC⁽ⁱ⁾表示所有任務數據的類別集合；dist(.，.)表示距離度量；是類別c的樣本特征均值，定義如下：

式中：n_c是類別c的樣本數量，[y_j＝c]表示判斷y_j＝c是否成立，若成立則[y_j＝c]的值為1，否則[y_j＝c]的值為0。

所述S3中，以快的多粒度學習方法更新前一個類增量學習會話中訓練得到的快更新網絡模型時，以最小化損失函數為目的對嵌入網絡進行參數優化，其中：

式中是用于保持舊知識的正則項；

為圖像樣本x_j的特征，通過離散余弦變換對特征分解得到不同頻域分量：

式中Q是頻域分量的數量，頻域分量是在頻域上的第q個分量，q＝1，2，...，Q；在特征空間內粒度的快學習方法為：

式中和分別表示第t個和第t-1個類增量學習會話中的頻域分量是正則項中逼近舊特征空間第q個頻域分量的權重，通過降低低頻分量的權重至所述小權重訓練快更新網絡模型；

通過所述大學習率訓練得到嵌入網絡后，用最近類均值分類器進行圖像分類；

所述S4具體包含以下子步驟：

S41、每完成一個類增量學習會話后，從慢更新網絡模型中得到慢更新特征空間，從快更新網絡模型中得到快更新特征空間，對兩個特征空間進行組合，得到一個組合特征空間；所述的組合特征空間表示如下：

對圖像樣本x_j，其經過組合特征空間后得到的組合特征為

式中：Ψ(.，.)表示特征的空間組合函數，表示圖像樣本x_j在當前會話中更新后得到的慢更新特征空間的特征，表示圖像樣本x_j在當前會話中更新后得到的快更新特征空間的特征；

S42、利用組合特征空間，通過一個最近類均值分類器進行圖像分類，圖像分類方法如下：

其中：表示第j個圖像樣本x_j的預測分類標簽，A表示度量矩陣，表示基于慢更新特征空間得到的類別c中所有圖像樣本的特征均值，表示基于快更新特征空間得到的類別c中所有圖像樣本的特征均值。