[發明專利]基于主動學習和變分自編碼器的廣義零樣本目標分類方法

有效

• 申請號: 202110459763.2
• 申請日: 2021-04-27
• 公開（公告）號: CN113177587B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 李曉;翟之博
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/82;G06V10/778;G06N3/0455;G06N3/0464;G06N3/091;G06N3/0895
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 陳宏社;王品華

1.一種基于主動學習和變分自編碼器的廣義零樣本目標分類方法，其特征在于，包括如下步驟：

(1)獲取訓練樣本集P_train和測試樣本集P_test：

將從零樣本圖像集O中獲取的包含n_s個已知目標類別的n₁幅圖像以及每幅已知類別圖像的目標類別標簽組成的已知類訓練樣本集P_train^s，和從O中獲取的包含n_u個未知目標類別的n₂幅圖像組成未知類訓練樣本集P_train^u，組成訓練樣本集P_train，同時將從O中獲取的包含n_u個未知目標類別的m幅圖像組成測試樣本集P_test，其中，n_s≥10，n₁≥1000，n_u≥10，n₂≥1000，m≥1000，且n₁+n₂＞m；

(2)構建基于變分自編碼器的廣義零樣本分類模型H：

(2a)構建基于變分自編碼器的廣義零樣本分類模型H的結構：

構建包括變分自編碼器f和非線性分類器f_classifier的廣義零樣本分類模型的結構，其中變分自編碼器由并行連接的第一變分自編碼器VAE和第二變分自編編碼器CVAE組成，VAE由順次連接的第一編碼器f¹_encoder和第一解碼器f¹_decoder組成，CVAE由順次連接的第二編碼器f²_encoder和第二解碼器f²_decoder組成，非線性分類器f_classifier的輸入與第一編碼器f¹_encoder的輸出相連；

(2b)定義廣義零樣本分類模型H的損失函數：

定義廣義零樣本分類模型H中變分自編碼器f的損失函數為L，非線性分類器f_classifier的損失函數L_Classifier：

L＝L_VAE+L_CVAE+λL_DA

其中，L_VAE表示第一變分自編碼器VAE的損失函數，L_CVAE表示第二變分自編編碼器CVAE的損失函數，λ表示權重系數，λ∈(0,1)，L_DA表示VAE和CVAE的對齊損失函數，μ₁和μ₂分別表示VAE和CVAE輸出的隱含分布的均值，σ₁²和σ₂²分別表示VAE和CVAE輸出的方差，||·||₂表示向量二范數，||·||_Frob表示矩陣的Frobenius范數，L_Classifier表示非線性分類器f_classifier的損失函數，KL(·)為概率分布間的Kullback-Leibler散度，N(μ₁,σ₁²)表示均值為μ₁方差為σ₁²的正態分布，N(μ₂,σ₂²)表示均值為μ₂方差為σ₂²的正態分布，和分別表示VAE和CVAE的重建損失函數，x_i表示第i個已知類圖像特征，和分別表示VAE和CVAE對x_i的重建結果，Σ表示求和操作，y_j表示訓練樣本集P_train中第j類樣本的標簽，p_j表示x_i被分類為y_j的概率；

(3)對基于變分自編碼器的廣義零樣本分類模型H中的變分自編碼器f和非線性分類器f_classifier進行迭代訓練：

(3a)將訓練樣本集P_train作為殘差網絡模型的輸入進行特征提取，得到已知類訓練樣本集P_train^s對應的圖像特征集和未知類訓練樣本集P_train^u對應的圖像特征集

(3b)初始化迭代次數為q，最大迭代次數為Q，Q≥30，并令q＝1；

(3c)將圖像特征集P'_train^s作為廣義零樣本分類模型H的輸入，變分自編碼器f中的第一變分自編碼器VAE所包含的第一編碼器f¹_encoder對每個已知類圖像特征x_i進行編碼，得到隱含分布的均值和方差非線性分類器f_classifier對進行分類，得到已知類圖像特征x_i所屬各類的概率CVAE所包含的第二編碼器f²_encoder對每個已知類圖像特征x_i和特征標簽y_i進行編碼，得到隱含分布的均值和方差

(3d)第一解碼器f¹_decoder對隱含變量進行解碼，得到第一圖像重建特征同時第二解碼器f²_decoder對隱含變量進行解碼，得到第二圖像重建特征其中，z₁和z₂表示從隨機高斯分布z～N(0,1)中采樣得到的高斯噪聲；

(3e)采用變分自編碼器f的損失函數為L，并通過第一編碼器f¹_encoder編碼的和第二編碼器f²_encoder編碼的和以及第一解碼器f¹_decoder解碼的和第二解碼器f²_decoder解碼的計算變分自編碼器的損失值L^*，同時采用非線性分類器f_classifier的損失函數L_Classifier，并通過非線性分類器f_classifier的分類結果計算非線性分類器的損失值(3f)采用反向傳播法，并通過L^*計算L的梯度同時通過計算L_Classifier的梯度然后采用梯度下降法，通過和分別對變分自編碼器f和非線性分類器f_classifier的權值參數進行更新；

(3g)將圖像樣本特征集P'_train^u作為第一變分自編碼器VAE的輸入，第一編碼器f¹_encoder對每個未知類圖像特征u_j進行編碼，采用非線性分類器f_classifier對編碼結果進行分類，得到u_j所屬各類的概率

(3h)通過中概率的最大值和次大值計算的不確定性并將u_i、和組合為三元組集合的計算公式為：

(3i)對三元組集合S₁進行聚類，并對聚類獲取的n_u個類別中的三元組中的不確定性按照由小到大的順序進行排列，然后選取每個類別對應的不確定性集合中前n_add個未知類圖像特征u_j，組成待標注樣本集S₂，其中n_add＞0；

(3j)對S₂中的未知類圖像特征u_j添加標注信息后加入P'_train^s中，同時從P'_train^u中刪除S₂中的u_j，并判斷q＞Q是否成立，若是，得到訓練好的廣義零樣本分類模型H^*，否則，令q＝q+1，并執行步驟(3c)；

(4)獲取廣義零樣本的目標分類結果：

(4a)將測試樣本集P_test作為殘差網絡模型的輸入進行特征提取，得到未知類測試樣本集P_test的圖像特征集P'_test＝{t₁,…,t_k,…,t_m}，其中t_k為P'_test中第k個樣本，m為P'_test中的樣本個數；

(4b)將P'_test作為訓練好的廣義零樣本分類模型H^*的輸入，第一編碼器f¹_encoder對每個未知類圖像特征t_k進行編碼，得到隱含分布的均值非線性分類器f_classifier對進行分類，得到m個測試樣本的分類結果。