[發明專利]一種基于遷移互學習的小樣本電力設備圖像分類方法

有效

• 申請號: 202210348529.7
• 申請日: 2022-04-01
• 公開（公告）號: CN114580571B
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 周伯俊;顧菊平;張新松;程天宇;華亮;徐一鳴;趙鳳申;趙佳皓;蔣凌;言淳愷
• 申請（專利權）人: 南通大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06N3/045;G06N3/047;G06N3/08;G06V10/82
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于遷移互學習的小樣本電力設備圖像分類方法，其特征在于，具體步驟如下：

步驟1、對輸入電力設備圖像數據進行裁剪、旋轉擴充預處理；

步驟2、構建兩個互學習的小樣本遷移模型T₁和T₂，模型T₁通過參數為θ1的主干網絡提取電力設備圖像特征，通過參數為的基類分類器進行基類標簽預測，通過參數為τ1的旋轉分類器進行旋轉標簽預測；同樣地，對于模型T₂，其主干網絡、基類分類器以及旋轉分類器的參數分別為θ2，τ2；

步驟3、將預處理后的電力圖像樣本輸入到模型T₁和T₂中，經過主干網絡提取得到d維的特征張量，然后將特征張量傳入基類分類器與旋轉分類器得到基類分類值和旋轉分類值；

步驟4、將T₁和T₂模型同時進行預訓練，計算每個模型對應的交叉熵損失函數L_CE和自監督損失函數L_SSL以及它們之間的互信息損失函數L_KD，從而得到總損失函數，并基于總損失函數計算梯度分別對T₁和T₂中的參數進行優化從而完成預訓練過程；

步驟5、任意選擇T₁和T₂中的一個模型，將模型的主干網絡遷移到新的分類器上，對新的電力設備類別的圖像樣本進行預測；

步驟1的具體步驟如下：

步驟1.1、對每個圖像分別以圖像矩形的四個頂點和中心點為起點，并按圖像面積的80％裁剪5次并保存；然后再對擴充后的每個圖像分別旋轉0°,45°,90°以及180°并保存；

步驟1.2、對來自同一個圖像的裁剪和旋轉圖像賦予原圖相同的基類標簽，第m個圖像對應基類標簽為y_m，y_m∈{1,2,…,C_b}，C_b為基類標簽類別數量，再根據其旋轉角度確定對應旋轉標簽為

所述步驟2中，主干網絡由Resnet12構成，主干網絡嵌入GLSCA局部空間注意力模塊，該模塊通過融合圖像每個像素點周圍5x5的空間向量信息；

步驟3的具體步驟如下：

步驟3.1、對于模型T₁，第m個圖像x_m經過主干網絡提取得到d維的特征表示為f_θ1(x_m)，基類預測分類器和旋轉預測分類器對特征的分類分值表示為和分別由下式得到：

其中L_φ1與L_τ1分別表示基類預測分類器和旋轉預測分類器，分類器由不同的全連接網絡組成；

步驟3.2、分類分值經過Sofmax層被轉化為基類分類和旋轉分類預測概率值，其計算公式分別為：

其中表示基類分類分值的第c個分量，表示旋轉分類分值的第r個分量；p₁(y_m＝c|x_m)為模型T₁基類分類預測概率值；為模型T₁旋轉分類預測概率值；

步驟3.3、同樣對于模型T₂，第m個圖像x_m經過主干網絡提取得到d維的特征表示為f_θ2(x_m)，基類預測分類器和旋轉預測分類器對特征的分類分值表示為和分別由下式得到：

其中L_φ2與L_τ2分別表示基類預測分類器和旋轉預測分類器，分類器由不同的全連接網絡組成；

分類分值經過Sofmax層被轉化為基類分類和旋轉分類預測概率值，其計算公式分別為：

其中表示基類分類分值的第c個分量，表示旋轉分類分值的第r個分量；p₂(y_m＝c|x_m)為模型T₂基類分類預測概率值；為模型T₂旋轉分類預測概率值；

步驟4的具體步驟如下：

步驟4.1、計算模型T₁和T₂基于基類分類預測概率值與真實基類標簽之間的交叉熵損失函數，其計算公式分別為：

其中y_mc表示圖像樣本基類標簽y_m的第c個分量，M為總訓練圖片量；

步驟4.2、計算模型T₁和T₂基于旋轉分類預測概率值與真實旋轉標簽之間的自監督損失函數，其計算公式分別為：

其中表示旋轉標簽的第r個分量；

步驟4.3、計算模型T₁和T₂基類分類器概率輸出之間的正則化損失函數，其計算公式分別為：

步驟4.4、計算模型T₁和T₂進行優化的總損失函數，其計算公式分別為：

其中α₁、β₁、λ₁、α₂、β₂、λ₂分別為模型T₁和T₂的超參數，根據訓練結果不斷微調；p₁為模型T₁的基類分類和旋轉分類的預測概率值，p₂為模型T₂的基類分類和旋轉分類的預測概率值；y_m為第m個圖像對應基類標簽，x_m為第m個圖像；L_CE1為模型T₁基于基類分類預測概率值與真實基類標簽之間的交叉熵損失函數，L_CE2為模型T₂基于基類分類預測概率值與真實基類標簽之間的交叉熵損失函數；

L_KD(p₂|p₁)為模型T₁對模型T₂的正則化損失函數，L_KD(p₁|p₂)為模型T₂對模型T₁的正則化損失函數；

L(θ1,φ1,τ1)為模型T₁的總損失函數，L(θ2,φ2,τ2)為模型T₂的總損失函數；

步驟4.5、基于總損失函數計算梯度分別對T₁和T₂中的參數進行迭代優化從而完成預訓練過程；

步驟5的具體步驟如下：

步驟5.1、任意選擇T₁和T₂中的一個模型，移除模型中的基類分類器和旋轉預測分類器，并固定主干神經網絡中的參數；

步驟5.2、在新的電力設備類別的圖像樣本數據中，每類隨機抽取5個樣本，并通過主干神經網絡對其進行特征提取得到新類樣本的圖像特征張量；

步驟5.3、將圖像特征張量送入新的分類器中并結合標簽數據進行分類擬合，得到新的分類器參數；

步驟5.4、利用新的分類器對剩余的同類樣本進行分類預測，新的分類器從KNN、SVM、Cosine、Linear?Regression分類器中擇優選擇。