[發明專利]一種基于三重網絡與標注一致性正則化的半監督學習方法

在審

• 申請號: 202110837568.9
• 申請日: 2021-07-23
• 公開（公告）號: CN113657455A
• 公開（公告）日: 2021-11-16
• 發明（設計）人: 蔣雯;苗旺;耿杰
• 申請（專利權）人: 西北工業大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于三重網絡與標注一致性正則化的半監督學習方法，其特征在于，包括以下步驟：

步驟一、輸入圖像數據集及其對應的標簽集：

步驟101、輸入圖像數據集V，具體地，V＝{v₁,...v_i,...v_l}，分為標注數據X＝{x₁,...x_f,...x_n}與無標注數據U＝{u₁,...u_j,...u_m}，其中，v_i表示第i個圖像樣本數據，1≤i≤l，1≤f≤n，1≤j≤m，且l＝m+n，n、m與l均為正整數；

步驟102、輸入圖像集V對應的標簽集，標注數據X＝{x₁,...x_i,...x_n}的標簽為p＝{p₁,...p_i,...p_n}，無標注數據U＝{u₁,...u_j,...u_m}不具有標簽。

步驟二、對有標簽和未標注數據集進行預處理：

步驟201、對圖像標注數據X和未標注數據U進行數據增強，其中，對于標注數據，進行單次增強，得到增強后的數據X′。對于無標注數據，進行K次隨機增強，得到增強后的數據U′；

步驟202、將數據X′和U′混合，隨機排列得到數據組合W，其中，增強數據的標簽與原標簽一致。

步驟三、構建并訓練自適應視覺機制的深度網絡，用于提取圖像數據集的深度特征：

步驟301、構建生成對抗網絡G，分為數據生成器與鑒別器。

步驟302、在生成對抗網絡中使用自卷積層，基于空間特殊性，頻域無關性的原則，設置自適應卷積核生成函數。依據輸入的圖像特征，輸出與特征圖尺寸大小相同的卷積核，控制縮放比例調整參數量，對特征圖通道進行縮放。

步驟303、將圖像集V中標注數據的標簽刪除，利用無標注的全部圖像集V對生成對抗網絡G進行無監督學習，使生成器生成的偽數據特征接近真實的圖像特征,利用自卷積層，增強鑒別器的特征表示能力。

步驟304、將訓練好的生成對抗網絡G的鑒別器G_d作為特征提取器F_d，用于提取目標圖像標注數據X＝{x₁,...x_f,...x_n}與無標注數據U＝{u₁,...u_j,...u_m}的深度特征x_labeled＝F_d(x_f)與x_unlabeled＝F_d(u_j)。

步驟四、構建孿生網絡，利用標注數據與無標注數據的深度特征，獲取正向傳播結果與偽標簽：

步驟401、構建兩個淺層分類網絡Net₁與Net₂，作為孿生網絡，輸入數據組合W；

步驟402、對于標注數據，輸入增強后的數據X′與對應的標簽p，得到深度特征x_labeled＝F_d(X′)，利用孿生網絡進行預測，正向傳播結果為其中，p_d1和p_d2為Net₁與Net₂的組合預測，w為超參數；

步驟403、對于未標注數據，輸入增強后的數據U′，得到深度特征x_unlabeled＝F_d(U′)，利用孿生網絡進行預測，將輸出加權平均作為正向傳播結果p_n，其中，與為孿生網絡對無標注數據的預測，θ為網絡訓練參數。

步驟404、對無標注數據的預測進行銳化，得到偽標簽q。其中，銳化操作具體為T是銳化參數，K是增強次數，P(U；θ)是網絡對每個類別的預測概率。

步驟405、將孿生網絡預測的偽標簽q進行標簽融合。具體地，融合后的偽標簽為：其中，為網絡Net₁銳化的偽標簽，為網絡Net₂銳化的偽標簽，λ服從根據實際數據集設置的概率分布。

步驟五、利用正向傳播結果與偽標簽，構建訓練標注數據和無標注數據的損失函數，對孿生網絡進行半監督訓練：

步驟501、建立半監督標注一致性正則化損失函數，按照每個類別計算標注數據與無標注數據差異的正則項，消除同類別標注數據與無標注數據的差異，如下所示：

其中，num為類別數量，x_labeled、x_unlabeled為圖像標注數據與未標注數據的深度特征，class-k為第k個類別；

步驟502、對于增強后的已標注數據X′，建立損失函數如下所示：

步驟503、對于增強后的無標注數據U′，建立損失函數如下所示：

其中，|X′|等于每批次樣本數量，|U′|等于K倍每批次樣本數量，是交叉熵函數，x,p是增強的已標注數據和標簽，u,q是增強的未標注數據和偽標簽。

步驟504、整體損失函數L是三者的加權，如下所示：

L＝L_X+λ_UL_U+β_ULoss_{semi-supervised}

其中，λ_U、β_U為超參數。利用整體損失函數L，經過不停迭代，將訓練好的孿生網絡模型進行分類測試。