[發明專利]一種基于自保持表征擴展的類增量學習的圖像分類方法

在審

• 申請號: 202210363652.6
• 申請日: 2022-04-07
• 公開（公告）號: CN114677547A
• 公開（公告）日: 2022-06-28
• 發明（設計）人: 查正軍;曹洋;翟偉;朱凱
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/74;G06V10/44;G06V10/80;G06V10/82;G06N3/04;G06N3/08;G06K9/62
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

本發明公開了一種基于自保持表征擴展的類增量學習的圖像分類方法，包括：1、利用初始圖片集優化得到基本的圖像分類網絡；2、基于殘差適應器，對初始特征提取部分進行結構擴展；3、輸入重采樣的初始類原型和增量類樣本，計算擴展后網絡的分類損失函數；4、將增量類樣本輸入擴展前的特征提取部分，利用歐式距離計算蒸餾損失函數。5、根據損失函數更新網絡，并引入結構重參數化技術恢復網絡結構，獲得增量后的分類網絡。本發明能解決圖像分類網絡基于用戶數據進行結構擴增過程中參數量增長過快，以及依賴額外記憶內存的問題，從而在提升圖像增量分類能力的同時，降低了對網絡存儲的需求，避免了訓練圖像增量分類網絡時泄露用戶隱私的可能。

技術領域

本發明屬于類增量學習領域，具體來說是一種基于自保持表征擴展的類增量學習的圖像分類方法。

背景技術

近年來，由于深度神經網絡在完全監督的條件下取得了巨大的進步，研究的注意力越來越多地轉向學習的其他方面。一個重要的研究方面是隨著輸入流的更新而不斷學習新任務的能力，其在實際應用中經常發生。類增量學習是持續學習中十分具有挑戰性的任務，已吸引了諸多學者的關注。該任務旨在不遺忘已學習過的舊類知識條件下，準確識別新的類別。

針對該場景，在每個階段重新聯合訓練新、舊兩類樣本特別費時、費力。此外，舊類樣本存在不可完全獲取的狀況，進一步阻礙了該方法的使用。一個簡單的替代方法是使用新類對網絡進行微調，然而，這將導致災難性的遺忘問題。即在優化過程中，整個表征和分類器會偏向于新的類別，導致舊有類別性能的急劇下降。為了處理上述問題，一些工作開始嘗試通過保留一些有代表性的樣本和引入各種蒸餾損失以維持過去的知識，并通過校準分類器糾正由數量不平衡引起的偏差問題。

最近的類增量方法大致可以劃分為兩類：基于記憶保存和結構動態擴增的方法。前者假定內存中能夠存儲一定數量(比如2,000個)的舊類樣本，通過對齊所有樣本在新舊網絡中的特征或輸出分布，以及修正新舊類數據的數目的不平衡來共同維持舊類的分類性能。然而在圖像分類網絡的實際場景中，由于用戶隱私或設備限制，通常很難存在保存舊類圖片樣本的機會。該事實給基于記憶保存的方法帶來了巨大的挑戰，新類別圖像樣本是可以參與特征對齊和新舊類不平衡修正過程的唯一數據源。因此，如果在無記憶存儲環境下合理的保證增量圖像分類性能是類增量方法泛化到實際場景的一個核心問題。

后者基于動態結構擴增的方法旨在保留舊的圖像分類模型用于推理，而在每個增量階段根據擴增類別的需求，擴展一個新的特征提取部分訓練。雖然該策略能完全保持舊類的性能，表現出不錯的性能，但在訓練過程中，網絡整體參數隨階段性訓練而急劇線性增加。而在圖像分類網絡的實際應用場景中，用戶的新增圖片數據隨時間爆發式增長，這將導致現有基于動態結構擴增的模型容量完全崩潰。因此，如何保證增量模型的參數擴增滿足日益增長的用戶需求是類增量方法泛化到實際場景的另一個核心問題。

發明內容

本發明是為了解決上述現有技術存在的不足之處，提出一種基于自保持表征擴展的類增量學習的圖像分類方法，以期能將圖像分類網絡的結構擴增建模為無記憶存儲過程，保持網絡參數不擴增，從而能在提升增量模型在無記憶存儲情況下的圖像分類性能的同時，降低對網絡存儲的需求，避免訓練圖像增量分類網絡時泄露用戶隱私的可能。

本發明為達到上述發明目的，采用如下技術方案：

本發明一種基于自保持表征擴展的類增量學習的圖像分類方法的特點在于，包括如下步驟：

步驟一、初始分類網絡的構建和優化：

步驟1.1、獲取初始階段已知類別的圖像樣本并進行歸一化處理，獲得第一階段的圖像集其中，表示初始階段第k個類別中的第i個圖像樣本，表示初始階段第k個類別中的第i個圖像樣本的類別標簽，K代表圖像集包含的類別數目，N_k代表第k個類別的樣本數目；

步驟1.2、構建以ResNet-18深度學習網絡為基礎的初始分類網絡F：