[發明專利]一種基于轉換網絡與自監督的小樣本分類方法

在審

• 申請號: 202111483193.7
• 申請日: 2021-12-07
• 公開（公告）號: CN114299326A
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 于云龍;靳莉莎
• 申請（專利權）人: 浙江大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州宇信聯合知識產權代理有限公司 33401
• 代理人: 王健

1.一種加入轉換網絡與自監督的小樣本分類方法，其特征在于，包括以下步驟：

S1、獲取用于訓練特征提取器與轉換網絡模塊的圖像數據集；

S2、將圖像數據集送入網絡，使用特征增強方法獲得具有區分性和多樣性的特征嵌入，并結合自監督學習訓練特征提取器與轉換網絡模塊；

S3、將訓練完成的模型用于小樣本分類任務。

2.如權利要求1所述的加入轉換網絡與自監督的小樣本分類方法，其特征在于，步驟S1中，給定基類其中n為數據集中的圖像總數，x_i和y_i分別表示第i張圖像及其對應的類標簽，y_i∈{1，...，C}，C表示類別總數，每一類都包含多張圖像。

3.如權利要求2所述的加入轉換網絡與自監督的小樣本分類方法，其特征在于，步驟S2具體包括：

S21、在訓練時采用批量處理的方式，首先從圖像數據集中隨機采樣一個批量的圖像樣本其中批量大小N_bs預先給定；

S22、將B中的批量圖像樣本送入由骨干網絡和分類器組成的模型，得到它們的預測概率；使用交叉熵損失的模型的優化目標是

其中，f和g分別表示特征提取器和分類器，Θ是參數集，L^ce表示CE損失，R表示參數集的正則化項，λ是超參數；

S23、為了保證合成特征嵌入的區分性，把它們送入原始視覺特征的分類網絡，讓預測類別與原始視覺特征屬于的類別相一致；合成特征嵌入的分類是

其中，t是額外的合成特征嵌入個數，c_j表示第j個高斯分布噪聲的特征，T表示轉換網絡模塊，y_ij是合成特征T(f(x_i)，c_j)的類標簽，它與原始視覺特征f(x_i)的類標簽相同，Θ表示整個模型的參數集；

S24、為了保證合成特征嵌入的多樣性，讓合成了不同噪聲的特征被分到不同的子類，將原始視覺特征與合成特征嵌入送到一個與上文分類器不同的分類器，輸出為不同的類別

其中，l_ij是根據噪聲的不同分布人工注釋的自監督類標簽，h表示自監督的分類器；

S25、在標簽空間中使用真實視覺特征正則化合成特征嵌入，來使得合成特征嵌入保留真實視覺特征的類間關系

其中，KL表示Kullback Leibler散度，x_ij是類別y_i中的真實樣本；f(x_ij)作為合成特征嵌入T(f(x_i)，c_j)的監督器，不進行優化；

S26、總的優化目標為

L_all＝L₁+L₂+αL₃+βL₄

其中，α和β是超參數；

S27、根據得到的總的損失函數，使用帶動量的隨機梯度下降優化器，以及反向傳播算法訓練深度神經網絡；

S28、重復步驟S21至S27直至模型收斂。

4.如權利要求1-3任一項所述的加入轉換網絡與自監督的小樣本分類方法，其特征在于，步驟S3具體包括：

S31、給定一個C-way K-shot分類任務，支持集是S。對于每個支持樣本x_u，先通過特征提取器和轉換網絡模塊得到最終的特征表示

S32、計算各個類別的視覺原型

其中，c表示某個類別，S_c和|S_c|是類別c的支持集和支持集中樣本數量；

S33、對于查詢集中的測試樣本x_u，它屬于類別c的概率是

其中d是相似性度量函數，本發明中使用的是余弦相似性函數。最終，根據測試樣本屬于N個類別的概率大小來預測到底屬于哪個類別，概率最大的為預測類別。