[發明專利]一種基于可靠權重最優傳輸的圖像分類方法

在審

• 申請號: 202010645952.4
• 申請日: 2020-07-07
• 公開（公告）號: CN111814871A
• 公開（公告）日: 2020-10-23
• 發明（設計）人: 徐仁軍;劉偉明;林九鳴;錢昕玥;胡曉玥;趙胤;何京城;朱子航;何旭;孫誠博;周翔
• 申請（專利權）人: 浙江大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 劉靜

1.一種基于可靠權重最優傳輸的圖像分類方法，其特征在于，該方法包括以下步驟：

(1)對源域數據進行預處理，使得深度神經網絡擬合源域樣本圖像的樣本標簽；具體如下：

(1.1)將源域D^S中的樣本圖像輸入到深度神經網絡中，所述深度神經網絡由特征提取器G_f和自適應判別器G_y構成；

(1.2)樣本圖像經過特征提取器G_f得到D^S中樣本圖像相應的樣本特征；

(1.3)樣本特征通過自適應判別器G_y計算得到有監督的樣本標簽；

(2)利用可靠權重最優傳輸和可靠性度量，聚合源域D^S和目標域D^t最匹配的圖像，可以實現配對、標注和分析；

(2.1)圖片標注；給目標域數據樣本打上偽標簽

(2.1.1)使用子空間可靠收縮方法，通過步驟(1)中的深度神經網絡優化每一個樣本的傳輸交叉熵損失，為源域和目標域建立空間原型(prototype)信息的度量方式。具體過程如下：

a.判別性空間原型探索：用于量化源域與目標域之間的原型信息(protypicalinformation)。其中原型信息指對于一個確定的分類c所找到的能表征該類特征的信息空間位置。對每個分類c定義了一個“類別中心”，記為C^s，C^s是一個源域空間上的樣本點，該空間為C×d維實數域空間，其中C是源域中所有的圖像類別總數，d是在深度神經網絡中特征生成器G_f輸出的特征層的維度。記錄空間原型的矩陣D通過下式表示：

其中代表第i個的目標域的樣本，代表第i個的源域的樣本，代表在源域中第k個類別的原型，代表在目標域中第k個類別的原型。代表目標樣本和源域中第k個類別中心的距離，k＝1,2,3...,C；其中分子部分的d函數表示了目標域樣本圖像經過特征生成器G_f變換后與當前第k類的樣本中心的距離，分母部分將該樣本距離C類別中各類別中心的距離進行求和，從而歸一化不同類別的距離結果，使得訓練過程更加穩定。

b.用于距離度量的函數d可以基于不同的距離定義，使用多種內核降低測試誤差，從而實現一種用于最佳原型距離表示的方法。因此，多核公式如下：

且其中K的形式為半正定(PSD)核，具有以下形式：

K_u代表集合中的每一個核，K是所有多核在一起作用之后的總結果。u是一個遍歷的參數并滿足所有核函數的總權重是1。m為多個高斯核的個數，κ作為一個所有核函數的總集合，代表了多種用于空間距離度量的原型核函數的集合，其中每個核K_u的權重為對應的β_u，對參數{β_u}的范圍限制是可以保證計算出的多核K是具有特征性質的。

c.將目標域圖像利用特征提取器G_f和自適應判別器G_y的輸出作為預測器偽標簽。目標域不存在已知的標簽，因此采用銳化(Sharpen)概率表征矩陣來表征偽標簽的預測概率，為保證輸出的矩陣是一個概率矩陣，使用了softmax函數進行了基于概率的歸一化。銳化概率表征矩陣M定義如下：

M(i,k)代表了目標樣本i屬于目標類別k的概率，τ是需要預先設置的超參數，通過計算可以獲得較高準確度的判別概率。

d.通過上述過程得到的子空間可靠性收縮SSR優化所需要的損失函數的所有信息，將SSR的損失矩陣Q定義如下：

其中Q(i,k)代表目標樣本i屬于類別k的概率值，d_A(k)表示源域為第k類和目標域中預測器偽標簽為第k類的樣本之間的A-距離(A-distance)。ε(h_k)是判別器h_k判別和的錯誤率。

(2.1.2)對于源域和目標域的圖像，利用特征提取器G_f的輸出計算類中心，基于該類中心(原型)，在目標域D^t上使用如步驟(2.1.1)子步驟b中核函數距離度量手段，將輸入樣本距離最近的原型C^s所對應的樣本作為原型偽標簽；

(2.1.3)將預測器偽標簽和原型偽標簽通過損失矩陣Q來統一，得到可信任偽標簽；判別性質心損失函數L_p讓源域中屬于同一類的樣本和目標域中屬于同一類可信任偽標簽的樣本在特征空間中應盡可能接近，具體如下：

n代表每一輪訓練的樣本數量。λ代表超參數，根據實驗調參確定，ν是約束余量，用于控制配對的不同樣本類別原型之間的距離，需要提前給定。為源域中第i個樣本圖像對應的標簽值，表示該標簽值對應的原型，其中類中心的公式如下：

當時，否則

(2.2)節點配對；實現源域和目標域中的相關聯的圖片的配對

(2.2.1)通過最小化Z矩陣(即帶權距離定義矩陣)與Kantorovich問題中的γ算子的弗羅比尼烏斯內積獲得最優概率分布γ^*；具體如下：

其中，表示源域和目標域的聯合概率分布，表示兩個配對樣本之間所帶的權重，x^t表示目標域中的樣本，x^s表示源域中的樣本，y(x^s)源域中的樣本標簽，表示樣本從源域至目標域的歐氏距離，在當前度量下，取得最優的匹配結果，亦即找到一對最符合最優的匹配結果的源域-目標域樣本對。由于樣本是離散可數的，因此上式的離散形式如下：

(2.2.2)維度越高則最優傳輸得到的結果的魯棒性也隨之下降。因此有必要在做最優傳輸的過程中施加一定的約束。此時利用損失矩陣Q來評估當前目標域的樣本到底是哪個標簽。當源域和目標域的匹配的時候，不僅僅考慮其特征空間的歐式距離，同時也考慮兩者預測標簽的一致性，這樣給最優傳輸增強權重之后，得到更好更魯棒的效果。實現最優傳輸的匹配策略，優化Z矩陣；所述Z矩陣的離散公式定義如下：

其中為最優傳輸的過程中的約束條件；通過Z矩陣計算最優傳輸則可以得到源域-目標域樣本對。

(2.2.3)根據步驟(2.2.2)計算出距離損失L_g的值；

其中F₁為交叉熵損失函數。

(2.3)自動分析

實現對源域數據分布以及目標域數據分布的自動分析，評估遷移效果，挑選離群點，具體實施步驟如下：

(2.3.1)從已有數據庫中導入源域數據樣本與目標域數據樣本至步驟(1)的深度神經網絡中。

(2.3.2)計算源域數據樣本每一類別的空間原型，通過空間原型給目標域數據樣本按(2.1)所述方法打上原型偽標簽。

(2.3.3)使源域數據樣本與目標域數據樣本通過特征生成器G_f產生相應特征分布，再通過自適應判別器G_y得到預測器偽標簽。

(2.3.4)利用損失矩陣Q將原型偽標簽和預測器偽標簽統一得到可信任偽標簽。

(2.3.5)根據已經配好的源域-目標域樣本對兩個之間的歐式距離計算源域-目標域樣本對在最優傳輸中貢獻度的大小并排序，歐式距離越小貢獻度越大，根據預先設定的配對距離閾值挑選出配對距離閾值以上的點作為離群點并舍棄該源域-目標域樣本對。

(3)將步驟(2.3.5)中保留下來的源域-目標域樣本對輸入到深度神經網絡中進行圖像的分類，具體如下：

(3.1)將損失L_P與L_G標準分類損失函數L_cls加權相加，最終得到需要優化的損失函數；具體如下；

其中α，β為超參數，用來在不同數據集下用來平衡L_p和L_g損失函數，以保證深度神經網絡訓練的穩定性。

標準分類損失函數如下：

(3.2)計算模型網絡參數下兩個對應樣本得到的損失函數值，并通過反向傳播方法根據計算得到的局部梯度向后依次對網絡參數進行更新，優化網絡；

(3.3)總損失函數的值下降到一根據需求精度設定的可接受閾值后，即可停止訓練，通過訓練得到的深度神經網絡中的G_f及G_y輸出樣本圖像的樣本標簽，根據樣本標簽對圖像進行分類。