[發明專利]一種基于基尼指數的領域自適應語義分割方法

在審

• 申請號: 202010781502.8
• 申請日: 2020-08-06
• 公開（公告）號: CN112116593A
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 王立春;胡玉杰;王少帆;孔德慧;李敬華;尹寶才
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06N3/04;G06N3/08
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 沈波

1.一種基于基尼指數的領域自適應語義分割方法，其特征在于：利用基尼指數度量輸出預測的不確定性，在輸出層對目標域輸出預測進行不確定性度量及約束，減小源域和目標域在類別分布上的差異，進行域間自適應；依據基尼指數對目標域預測的不確定性度量結果將目標域樣本集劃分為兩個子集，對域內高置信度預測對應的樣本利用偽標簽作為弱監督信息訓練域內自適應分割網絡，對域內自適應分割網絡兩個子集的輸出預測計算基尼指數圖，對低置信度樣本計算的基尼指數圖進行約束，并利用判別器D_t判別基尼指數圖屬于哪個子集，基于對抗思想減小目標域域內的差異，提高語義標注精度。

2.根據權利要求1所述的一種基于基尼指數的領域自適應語義分割方法，其特征在于：利用合成數據集作為源域，真實數據集為目標域；訓練時，在域間自適應網絡輸入源域和目標域圖像進行訓練，訓練完成后，將目標域圖像進行劃分輸入到域內自適應網絡進行訓練，得到最優分割結果；

具體方法步驟如下：

步驟(1)，將源域數據集和目標域數據集各取一張RGB圖片(batchsize為2)同時輸入域間自適應語義分割網絡G_st；

步驟(2)，利用域間自適應語義分割網絡G_st得到源域和目標域的最后兩層的輸出預測分割圖；

步驟(3)，將源域最后兩層的輸出預測圖分別和源域圖片的groundtruth計算交叉熵損失，并將源域最后兩層的損失進行加權求和；

步驟(4)，將目標域最后兩層的輸出預測圖分別利用基尼指數計算不確定性損失，并將目標域最后兩層的損失加權求和；

步驟(5)，將步驟(3)得出的源域最后兩層的損失加權求和值和步驟(4)的目標域最后兩層的損失加權求和值進行求和，為了訓練最優化模型，我們的目標是利用誤差反向傳播使得損失最小化，得到最優結果；

步驟(6)，依據訓練好的域間自適應語義分割網絡G_st的基尼指數結果對目標域數據集劃分為高置信度數據集和低置信度數據集；

步驟(7)，將劃分后的目標域數據集作為域內自適應網絡的輸入數據集，每次輸入一張RGB圖片，利用域內自適應語義分割網絡G_t分別得到高置信度數據集和低置信度數據集的最后兩層的輸出預測分割圖；

步驟(8)，將高置信度數據集最后兩層的輸出預測圖分別和利用域間自適應分割網絡G_st得到的高置信度數據集的偽標簽計算交叉熵損失，并將兩層的損失進行加權求和；

步驟(9)對域內自適應語義分割網絡G_t得到高置信度數據集和低置信度數據集的最后兩層的輸出預測分割圖計算基尼指數圖，分別得到高置信度圖像兩層加權求和后的基尼指數圖和低置信度圖像兩層加權求和后的基尼指數圖；

步驟(10)將低置信度最后兩層的加權求和的基尼指數圖計算不確定性損失；

步驟(11)將高置信度圖像兩層加權求和后的基尼指數圖和低置信度圖像兩層加權求和后的基尼指數圖輸入到判別器，分別貼上域標簽1和0，與域內語義分割網絡對抗，計算對抗損失；

步驟(12)，將步驟(8)、步驟(10)、步驟(11)的損失加和，為了訓練最優化模型，我們的目標是利用誤差反向傳播使得損失最小化，得到最優結果。

3.根據權利要求2所述的一種基于基尼指數的領域自適應語義分割方法，其特征在于：測試時，利用真實數據集即目標域作為輸入，在域間自適應網絡和域內自適應網絡得到測試結果。