[發明專利]一種基于基尼指數的領域自適應語義分割方法

在審

• 申請號: 202010781502.8
• 申請日: 2020-08-06
• 公開（公告）號: CN112116593A
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 王立春;胡玉杰;王少帆;孔德慧;李敬華;尹寶才
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06N3/04;G06N3/08
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 沈波

本發明公開了一種基于基尼指數的領域自適應語義分割方法，利用基尼指數度量輸出預測的不確定性，在輸出層對目標域輸出預測進行不確定性度量及約束，減小源域和目標域在類別分布上的差異，進行域間自適應；依據基尼指數對目標域預測的不確定性度量結果將目標域樣本集劃分為兩個子集，對域內高置信度預測對應的樣本利用偽標簽作為弱監督信息訓練域內自適應分割網絡，對域內自適應分割網絡兩個子集的輸出預測計算基尼指數圖，對低置信度樣本計算的基尼指數圖進行約束，并利用判別器D_t判別基尼指數圖屬于哪個子集，基于對抗思想減小目標域域內的差異，提高語義標注精度。與現有技術相比較，本發明顯著提高了目標域的語義標注準確率。

技術領域

本發明涉及一種無監督領域自適應語義標注方法，尤其涉及一種基于基尼指數的領域自適應語義分割方法，屬于模式識別與計算機視覺領域，可應用于自動駕駛、機器人視覺導航技術中。

背景技術

無監督領域自適應語義分割利用有標注的源域數據和無標注的目標域數據進行訓練，學習一個對目標域圖像有較好的語義標注效果的模型。精確的無監督領域自適應語義分割對于許多應用至關重要，如自動駕駛、機器人導航等。

無監督領域自適應要解決的主要問題是如何減小源域和目標域之間的差異，通常的策略包括：輸入空間的域間自適應，特征空間的域間自適應和輸出空間的域間自適應。輸入空間的域間自適應對輸入圖像進行風格轉換，實現數據邊緣分布的對齊，但由于生成的圖像會出現標簽不匹配的情況，從而影響目標域的分割精度；特征空間的域間自適應一般使用域分類器與特征生成器進行對抗以提取具有域不變性質的特征，由于特征語義和嵌入結構的復雜性，很難完全獲取域不變特征，因而會導致分割結果不佳；輸出空間的域間自適應，基于模型輸出的預測圖利用域分類器和語義分割網絡進行對抗適應，或者直接對輸出預測分布進行約束，通過對齊源域和目標域的類分布，減小源域和目標域差異。

此外，由于運動、天氣等多種因素導致采集得到的目標域內同類數據具有較大差異，這個差異對于目標域語義標注精度有一定影響。一些研究工作在考慮域間自適應的同時也考慮目標域的域內自適應，通常的策略包括：對部分目標域數據賦予偽標簽，賦予偽標簽的數據集與未賦予偽標簽的數據集在特征層利用判別器和特征生成器進行對抗，縮小域內差異。偽標簽閾值通常根據經驗人為設置，需要大量實驗并且可能引入噪聲。

發明內容

為有效提高無監督領域自適應語義分割的準確率，本發明采用了一種新的度量輸出預測的不確定性的方法，并約束源域和目標域輸出預測的不確定性之間的關系，達到縮小源域和目標域之間的差異的目的；在目標域，利用高可靠性的偽標簽進行自監督訓練，同時在輸出空間利用判別器和語義分割網絡對抗，減小目標域域內差異。

為實現上述目的，本發明采用的技術方案為一種基于基尼指數的領域自適應語義分割方法，利用基尼指數度量輸出預測的不確定性，在輸出層對目標域輸出預測進行不確定性度量及約束，減小源域和目標域在類別分布上的差異，進行域間自適應；依據基尼指數對目標域預測的不確定性度量結果將目標域樣本集劃分為兩個子集，對域內高置信度預測對應的樣本利用偽標簽作為弱監督信息訓練域內自適應分割網絡，對域內自適應分割網絡兩個子集的輸出預測計算基尼指數圖，對低置信度樣本計算的基尼指數圖進行約束，并利用判別器D_t判別基尼指數圖屬于哪個子集，基于對抗思想減小目標域域內的差異，提高語義標注精度。

利用合成數據集作為源域，真實數據集為目標域。訓練時，在域間自適應網絡輸入源域和目標域圖像進行訓練，訓練完成后，將目標域圖像進行劃分輸入到域內自適應網絡進行訓練，得到最優分割結果。測試時，利用真實數據集即目標域作為輸入，在域內自適應網絡得到測試結果。

具體方法步驟如下：

步驟(1)，將源域數據集和目標域數據集各取一張RGB圖片同時輸入域間自適應語義分割網絡G_st；