[發明專利]一種基于轉換網絡與自監督的小樣本分類方法

在審

• 申請號: 202111483193.7
• 申請日: 2021-12-07
• 公開（公告）號: CN114299326A
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 于云龍;靳莉莎
• 申請（專利權）人: 浙江大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州宇信聯合知識產權代理有限公司 33401
• 代理人: 王健

本發明公開了一種基于轉換網絡與自監督的小樣本分類方法，在通用的分類模型基礎上增加一個轉換網絡模塊，加入不同噪聲進行特征增強，合成具有區分性與多樣性的特征嵌入，使訓練出來的模型可以更好的適用于小樣本下游任務。具體包括如下步驟：獲取用于訓練特征提取器與轉換網絡模塊的圖像數據集；將圖像數據集送入網絡，使用特征增強方法獲得具有區分性和多樣性的特征嵌入，并結合自監督學習訓練特征提取器與轉換網絡模塊，優化目標是幾個交叉熵損失與KL散度的和；獲得訓練好的特征提取器和轉換網絡模塊，并將它應用于小樣本分類任務。本發明在4個小樣本分類任務基準(miniImageNet，tieredImageNet，CIFAR?FS和Caltech?UCSD)上均有很好的表現，證明了其在性能上的有效性與優越性。

技術領域

本發明屬于計算機視覺領域，特別地涉及一種加入轉換網絡與自監督的小樣本分類方法。

背景技術

小樣本學習旨在每個類別只需要學習少量樣本就可以識別目標類別。為了完成這個任務，現存的很多方法都用基類來訓練模型，每個基類都包含大量的帶標簽樣本，然后把訓練好的模型應用于測試任務。根據從基類遷移的數據，現存的的小樣本學習方法可以被粗略分為三類：基于元學習的方法；基于度量學習的方法；基于數據增強的方法。

基于元學習的方法試圖去學習一個能調整優化算法的元學習者，以便元學習者能夠快速適應小樣本任務；

基于度量學習的方法是指學習一個可遷移的距離度量函數，來評估樣本間的相似性；

基于數據增強的方法是指通過使用通用的圖像變換技術或者生成對抗網絡來增強數據。但是此方法因為缺少小樣本任務需要的特性，因此性能總是不盡如人意。

小樣本學習中的分類問題主要指C-way K-shot問題，它是指：在訓練階段，在訓練集中隨機抽取C個類別，每個類別K個樣本(共C×K個數據)作為模型的支持集輸入，再從這C個類別中剩余的數據抽取Q個樣本作為模型的查詢集，即要求模型從C×K個數據中學會如何區分這C個類別。

發明內容

本發明提出了一種加入轉換網絡與自監督的小樣本分類方法，來更好地適應于小樣本下游任務。本方法通過加入轉換網絡模塊，它由一對編碼器與解碼器組成，輸出是合成的特征嵌入。本方法使用一種簡單的特征合成技術去擾動特征空間，合成具有區分性和多樣性的特征嵌入，這通過讓合成的特征嵌入被正確分類到原始特征嵌入所在的種類，同時根據加入干擾的不同而分到不同的子類實現。另外在保證多樣性的過程中，利用了自監督學習。這正是小樣本任務所需要的特性。

為實現上述目的，本發明的技術方案為：

一種加入轉換網絡與自監督的小樣本分類方法，包括以下步驟：

S1、獲取用于訓練特征提取器與轉換網絡模塊的圖像數據集；

S2、將圖像數據集送入網絡，使用特征增強方法獲得具有區分性和多樣性的特征嵌入，并結合自監督學習訓練特征提取器與轉換網絡模塊；

S3、將訓練后的模型用于小樣本分類任務。

進一步的，步驟S1中，給定基類其中n為數據集中的圖像總數，x_i和y_i分別表示第i張圖像及其對應的類標簽，y_i∈{1，...，C}，C表示類別總數，每一類都包含多張圖像。

進一步的，步驟S2具體包括：

S21、在訓練深度神經網絡時采用批量處理的方式，首先從圖像數據集中隨機采樣一個批量的圖像樣本其中批量大小N_bs預先給定；

S22、將B中的批量圖像樣本送入由骨干網絡和分類器組成的模型，得到它們的預測概率。使用交叉熵(cross-entropy，簡稱CE)損失的模型的優化目標是