[發明專利]一種半監督的跨領域自適應的圖像分割方法

有效

• 申請號: 202111576690.1
• 申請日: 2021-12-22
• 公開（公告）號: CN114240955B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 王國泰;顧然;張靖陽;張少霆
• 申請（專利權）人: 電子科技大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06N3/0464;G06N3/0455;G06N3/0895
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 陳一鑫

1.一種半監督的跨領域自適應的圖像分割方法，該方法包括以下步驟：

步驟1：圖像預處理；

將獲取的彩色圖片先轉換成灰度圖片，并且將灰度圖進行直方圖匹配，完成預處理；

步驟2：構建基于域適應性批歸一化的主網絡

主網絡包括級聯的編碼器和解碼器，所述編碼器由多個級聯的卷積-下采樣單元組成，每個卷積-下采樣單元包括一個卷積層和一個下采樣層，每個卷積層包括一個卷積運算，一個批歸一化層和一個激活層；解碼器由多個級聯的卷積-上采樣單元組成，其中的每個卷積-上采樣單元包含一個卷積層和一個上采樣層，其中卷積層與編碼器中的卷積層結構一致；

考慮到源數據域的圖像和目標數據域的圖像在分布上存在差異，為了消除這種差異，分別針對兩個數據域設立批歸一化層；用S和T分別表示源數據域和目標數據域，d∈{S,T}表示其中的某一個數據域，f^d表示神經網絡中某一層在數據域d的特征圖，表示f^d的第c個通道，對進行批歸一化的操作如下：

其中，和分別是尺度系數和偏移系數，中間值由如下公式得到：

其中和分別是在當前批次中的均值和方差；

設數據集中包含N張帶標注的源數據域圖像及其標注M張帶標注的目標域圖像及其標注以及K張未標注的目標域圖像用θ表示神經網絡中卷積層的參數，分別表示源數據域和目標數據域的批歸一化參數，將圖像分割網絡的所有參數表示為

將N張帶標注的源數據域圖像送入主網絡，以進行歸一化，并將M張帶標注的目標域圖像送入主網絡，以進行歸一化，得到的預測結果分別表示為和(θ,)，其中n＝1,2,…,N,m＝1,2,…,M；主網絡針對源數據域圖像和目標域圖像的監督損失函數L_s為：

其中，是主網絡利用θ,對源數據域的圖像的預測結果，是主網絡利用θ,對目標數據域的圖像的預測結果，L_seg為圖像分割損失函數；

步驟3：構建基于指數移動平均的輔助網絡和一致性約束；

以作為主網絡，設置一個與其結構相同、參數值不同的輔助網絡,該輔助網絡專用于目標數據域圖像的處理；具體地，用表示主網絡的針對目標域的參數，Θ′表示輔助網絡對應的所有參數，輔助網絡的參數通過指數移動平均的方式進行更新，用t和t+1分別表示訓練過程中當前迭代時刻和下一迭代時刻，α∈[0,1]是控制參數更新速度的超參數，Θ′的更新過程如下：

Θ′_t+1＝αΘ′_t+(1-α)Θ_t???????????????????????公式4

針對目標數據域中的所有M+K張圖像，對分別添加不同的隨機噪聲δ′和δ″，其中k＝1,2,…,M+K，得到由同一幅未標注圖像的產生兩幅噪聲圖像與將輸入主網絡，得到其預測結果同時將輸入輔助網絡，得到其預測結果構建這兩個預測之間的一致性約束如下：

步驟4：構建對比樣本；

基于編碼器-解碼器結構的所述主網絡中，用E表示編碼器，當使用批歸一化時，該編碼器記為源域編碼器E^S,當使用批歸一化時，該編碼器記為目標域編碼器E^T；在編碼器的輸出部分增加一個全連接層分支，該分支用g表示；一幅圖像X經過編碼器E和該全連接層分支后的輸出為高維隱藏特征z＝g(E(X))；

針對一幅源域圖像其經過E^S和g得到的結果記為經過E^T和g得到的結果記為對于一幅目標域圖像其經過E^S和g得到的結果記為經過E^T和g得到的結果記為則稱為的一個正樣本，稱為的一個負樣本；將的所有負樣本的集合記為Λ^-，則的對比損失函數為：

其中sim()是計算兩個向量之間的余弦相似度；τ是一個超參數；

步驟5：設置整體損失函數；

根據主網絡、輔助網絡、樣本對比網絡的損失函數，建立如下損失函數L；在采用主網絡對圖像分割結果進行預測的同時，采用損失函數L對主網絡的參數進行更新：

L＝L_s+λ₁L_c+λ₂L_cont?????????????????????????????公式7

L_cont是對比學習約束函數，λ₁,λ₂是三項約束函數之間的相對權重,對比學習損失函數L_cont的定義如下：