[發明專利]一種基于自保持表征擴展的類增量學習的圖像分類方法

在審

• 申請號: 202210363652.6
• 申請日: 2022-04-07
• 公開（公告）號: CN114677547A
• 公開（公告）日: 2022-06-28
• 發明（設計）人: 查正軍;曹洋;翟偉;朱凱
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/74;G06V10/44;G06V10/80;G06V10/82;G06N3/04;G06N3/08;G06K9/62
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

1.一種基于自保持表征擴展的類增量學習的圖像分類方法，其特征在于，包括如下步驟：

步驟一、初始分類網絡的構建和優化：

步驟1.1、獲取初始階段已知類別的圖像樣本并進行歸一化處理，獲得第一階段的圖像集其中，表示初始階段第k個類別中的第i個圖像樣本，表示初始階段第k個類別中的第i個圖像樣本的類別標簽，K代表圖像集包含的類別數目，N_k代表第k個類別的樣本數目；

步驟1.2、構建以ResNet-18深度學習網絡為基礎的初始分類網絡F：

所述ResNet-18深度學習網絡包括5個階段，其中，第1個階段Stage 0由一個卷積核為n1×n1的卷積層，一個批量歸一化處理層，一個ReLU激活函數層組成，其余4個階段均由2個Basicblock模塊組成，每個Basicblock模塊依次由一個卷積核為n2×n2的卷積層，一個ReLU激活函數層，一個卷積核為n2×n2的卷積層組成；

將所述ResNet-18深度學習網絡直接作為初始分類網絡F的特征提取部分f；并用一個全連接層作為初始分類網絡F的分類器部分g；

步驟1.3、訓練優化所述初始分類網絡F：

將第一階段的圖像集D₁按批次送入初始分類網絡F，并依次經過特征提取部分f和分類器部分g的處理后，輸出預測類別標簽，從而按照式(1)計算交叉熵損失L_cross，并使用梯度下降算法優化所述初始分類網絡F中所有的參數，從而得到訓練好的初始分類網絡F'：

式(1)中，x_j表示第一階段的圖像集D₁中的第j個圖像樣本，表示第j個圖像樣本x_j的指示函數，若x_j的類別標簽y_j與k相等，則令否則，令N代表K個類別所有樣本的數目；

步驟1.4、原型保存：

對于訓練好的初始分類網絡F'，將第一階段的圖像集D¹逐類別送入訓練后的特征提取部分f'，并對各個類別的輸出取平均后，將平均結果作為各類原型{p₁,…,p_k,…,p_k}保存到增量階段；p_k表示第k類原型；

步驟二、增量階段的特征提取器結構擴展：

步驟2.1、獲取增量階段中第h階段的圖像樣本并進行歸一化處理，得到第h階段的圖像集其中，表示第h階段第k個類別中的第i個圖像樣本，表示第h階段第k個類別中的第i個圖像樣本的類別標簽，K^h為第h階段新增的圖像類別數目，且D^h和其余h-1階段的圖像集中所有類別均不相同；

步驟2.2、網絡的增量結構擴展：

在所述訓練后的特征提取部分f'中的每個卷積層上均并聯一個殘差適應器，所述殘差適應器包括一個n3×n3卷積層，構成第h階段的增量擴增的特征提取部分f^h；

在訓練后的分類器部分g'的全連接層中添加K^h個輸出結點，構成第h階段的增量擴增的分類器部分g^h，從而與f^h一起構成第h階段的增量擴增網絡F^h；

步驟三、基于原型選擇策略的表征優化：

步驟3.1、原型度量：

將第h階段的圖像集D^h中的圖像依次送入到第h階段的增量擴增的特征提取部分f^h中，并利用式(2)得到每個圖像樣本的特征表達；再利用式(3)計算每個圖像樣本的特征表達分別與保存的各個原型之間的相似性得分，并取一個圖像樣本中所有相似性得分的最大值作為相應圖像樣本的相似性度量：

式(2)和式(3)中，代表第h階段圖像集D^h中的第j個圖像樣本在增量擴增的特征提取部分f^h中的特征表示，p_k代表保存的第k個類別的原型，S_j,k,h代表第h階段圖像集D^h中的第j個圖像樣本與第k個類別的原型p_k之間相似性得分，Cosine代表夾角余弦操作子，Nor代表歸一化操作子；

步驟3.2、選擇性分類優化；

設定閾值δ，并將各個圖像樣本的相似性度量與閾值δ比較，若低于閾值δ，則將相應圖像樣本的分類權值參數置為1，反之，則置為0；

利用式(4)計算第h階段的圖像類別的分類損失

式(4)中，代表第h階段圖像集D^h中的第j個圖像樣本的分類權值參數；

步驟3.3、選擇性蒸餾優化；

將各個圖像樣本的相似性度量與所述閾值δ比較，若高于閾值δ，則將相應圖像樣本的蒸餾權值參數置為1，反之，則置為0；

利用式(5)計算第h階段的蒸餾損失

式(5)中，代表第h階段中第j個圖像樣本的蒸餾權值參數，E代表歐式距離操作算子，f'^h-1代表第h-1階段的訓練后的特征提取網絡；

步驟四、基于原型重采樣的分類器平衡：

步驟4.1、原型上采樣：

在第h階段的每個訓練批次中將原型復制次后，得到上采樣后的原型，其中，B代表每個批次的樣本數目；

步驟4.2、分類器損失增強：

將上采樣后的原型送入第h階段的增量擴增的分類器部分g^h，并利用式(6)計算增強損失

式(6)中，p_k代表保存的第k個類別的原型；

步驟五、基于重參數化的特征提取器結構融合：

步驟5.1、聯合優化：

基于第h階段的圖像集D^h，利用Adam優化策略對所述增量擴增網絡F^h進行訓練優化，并計算損失函數和從而更新網絡參數，直到迭代次數達到設定的次數或損失誤差達小于所設定的閾值時，停止訓練；

步驟5.2、結構重參數化：

將所述最優的增量分類網絡中的殘差適應器的n3×n3卷積核按照特征提取部分的卷積核n1×n1或者n2×n2尺度進行補“0”后加到特征提取部分的相應卷積核上，作為新的特征提取部分的卷積參數；最后，將殘差適應器刪除后，得到第h階段最終融合后的增量分類網絡F'^h；

步驟六、增量階段分類過程：

將任意的測試圖像x_test輸入到最終融合后的增量分類網絡中，并利用式(7)得到第一到第h階段所有類別的響應得分Score，再利用argmax函數計算各個類別的相應得分數值最大的分量的索引值并作為最終的分類結果：

Score＝g'^h(f'^h(x_test)) (7)

式(7)中，f'^h和g'^h為最終融合后的第h階段的增量分類網絡F'^h中的特征提取網絡和分類器網絡。