[發明專利]一種基于最大二乘損失的無監督域適應語義分割方法

有效

• 申請號: 201910353614.0
• 申請日: 2019-04-29
• 公開（公告）號: CN110222690B
• 公開（公告）日: 2021-08-10
• 發明（設計）人: 陳銘浩;蔡登;薛弘揚
• 申請（專利權）人: 浙江大學
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/62
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 胡紅娟

1.一種基于最大二乘損失的無監督域適應語義分割方法，其特征在于，包括：

(1)在源域上預訓練語義分割模型，所述語義分割模型基于ResNet網絡；

(2)同時提取語義分割模型中第四層的特征，加入一個額外的分類網絡，對該額外的分類網絡進行同樣的預訓練；

(3)在源域上有監督地訓練語義分割模型，同時在目標域上使用最大二乘損失無監督地訓練語義分割模型；具體訓練過程如下：

同時在源域和目標域上進行訓練，令目標域表示為對于一個源域的樣本(x_s，y_s)與一個目標域樣本x_t，總的損失函數為：

其中，為監督學習公式，而是在目標域上無監督訓練的最大二乘損失函數，λ_T為目標損失的權重，的具體公式為：

其中，是模型在目標樣本x_t的位置n處對類c的預測概率；

(4)在目標域，使用ResNet網絡最后一層的輸出作為偽標簽，無監督地訓練第四層特征；

(5)模型訓練完畢，在目標域上對圖片輸出它的語義分割圖。

2.根據權利要求1所述的基于最大二乘損失的無監督域適應語義分割方法，其特征在于，步驟(1)和步驟(2)中，均利用監督學習公式進行預訓練，將模型輸出與源域的標簽做交叉熵損失，令源域表示為對于一個源域的樣本(x_s，y_s)，所述監督學習公式為

其中，n表示在H×W二維平面空間中的一個像素點，為標簽y_s在位置n處類c的概率，是模型在樣本x_s的位置n處對類c的預測概率。

3.根據權利要求1所述的基于最大二乘損失的無監督域適應語義分割方法，其特征在于，步驟(3)中，在目標域上無監督訓練的最大二乘損失函數中還包含有加權因子，含加權因子的最大二乘損失函數為

其中，為樣本圖x_t上模型預測為類c的像素數，N為總的像素數，α為對這兩個數進行插值的參數，由交叉驗證決定；

基于每張圖上預測的類別數量，具體公式為：

其中，是模型在目標樣本x_t的位置n處對類c的預測概率；是在目標樣本x_t的位置n的模型對類別c^*的預測；是在目標樣本x_t的位置n的模型對類別c的預測；為樣本圖x_t上模型預測為類c的像素數。

4.根據權利要求1所述的基于最大二乘損失的無監督域適應語義分割方法，其特征在于，步驟(4)中，所述偽標簽的生成方法為：

先對最后一層的輸出P^final以及第四層的輸出P^low做平均，得到集成輸出P^ens，然后根據下述方程得到偽標簽y^fuse：

其中，為根據上式在目標樣本x_t的位置n處對類c的偽標簽，是集成模型在目標樣本x_t的位置n處對類c的預測概率，是模型最后一層輸出在目標樣本x_t的位置n處對類c^*的預測概率，是模型第四層輸出在目標樣本x_t的位置n處對類c^*的預測概率，δ為閾值參數，設定δ為0.98。

5.根據權利要求4所述的基于最大二乘損失的無監督域適應語義分割方法，其特征在于，步驟(4)中，無監督地訓練第四層特征的具體方法為：將偽標簽與第四層的輸出做交叉熵損失

同時，該損失作為額外的目標域上的損失函數，與其他損失加權平均后得到最后的損失函數，使用SGD進行優化：

其中，為模型對源域樣本(x_s，y_s)的交叉熵損失，為模型對目標樣本x_t的最大二乘損失或加權的最大二乘損失為源域樣本x_s模型第四層輸出對y_s的交叉熵損失，為偽標簽與第四層的輸出的交叉熵損失，λ_T為目標損失的權重，λ_Low為低層網絡輸出的損失的權重。