[發明專利]一種基尼指數引導的基于自訓練的語義分割方法

在審

• 申請號: 202110318561.6
• 申請日: 2021-03-25
• 公開（公告）號: CN113095328A
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 王立春;胡玉杰;王少帆;孔德慧;李敬華;尹寶才
• 申請（專利權）人: 北京工業大學
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 沈波

本發明公開了一種基尼指數引導的基于自訓練的語義分割方法，本發明提出基尼指數指導的自訓練方法，利用基尼指數作為選取更為準確偽標簽的指標，引入更多可靠的監督信息，可靠性的偽標簽進行自監督訓練，基于衡量不確定性和賦予偽標簽的方式在訓練階段引入正確的監督信息，減小源域和目標域的差異，提高語義標注精度。

技術領域

本發明涉及一種基于自訓練的領域自適應語義標注方法，在偽標簽的選取上與傳統方法不同，以基尼指數為依據確定偽標簽，屬于模式識別與計算機視覺領域，可應用于自動駕駛、機器人視覺導航技術中。

背景技術

基于自訓練的領域自適應語義分割方法使用的數據有兩類：有標簽的源域數據和無標簽的目標域數據，源域采用標簽作為監督信息，目標域采用偽標簽作為監督信息，基于監督信息對網絡進行訓練，進而學習一個對目標域圖像有較好的語義標注效果的模型。精確的無監督領域自適應語義分割對于模型學習階段和使用階段存在明顯數據差異的應用至關重要，如自動駕駛、機器人導航等。

基于自訓練的無監督領域自適應的主要思想是創建偽標簽，并把偽標簽作為訓練階段目標域圖像的真實標簽。基于自訓練的無監督領域自適應方法需要解決的最大的問題是如何獲取正確的偽標簽，錯誤的偽標簽可能最終導致“確認偏差”，即錯誤的偽標簽作為監督信息使用時成為噪聲使得訓練得到的模型表達性能更差。

為了有效獲取盡可能正確的偽標簽，現有的策略包括：基于網絡輸出的預測選取偽標簽；基于網絡輸出預測的不確定性的度量選取偽標簽。Softmax-based Self-supervised Learning(SSL)基于網絡輸出的預測選取偽標簽，該方法事先設定一個閾值，softmax分數大于閾值的像素賦予最大預測分數值對應的類標簽作為像素的偽標簽。此方法在迭代的初始階段會產生錯誤標簽，但是隨著迭代次數的增加，分類器在測試數據集上的性能有所改善，因而標簽的正確率有所提升。該方法的問題在于模型對像素的預測高度不確定的情況下(例如邊界像素)選取偽標簽容易出錯，即高于閾值的softmax分數不代表對應的預測標簽是正確的。針對此問題，研究人員提出對網絡輸出預測的不確定性進行度量并基于不確定性選取偽標簽，Entropy-based Self-supervised Learning(ESL)即是典型此類方法，此方法計算網絡輸出預測的熵值用于衡量預測的不確定性，并基于熵值選擇偽標簽以提高偽標簽的可靠性。但此類方法在基于熵的梯度反向傳播優化過程中，偏重優化易于分類的類別，即不易于分類類別的優化權重較易于分類類別的優化權重小，導致了不易于分類的像素精度不高的問題。

發明內容

為有效提高基于自訓練框架的無監督領域自適應語義分割的準確率，本發明提出采用基尼指數度量輸出預測的不確定性，并利用基尼指數指導偽標簽的選取，即基尼指數小于設置閾值的像素賦予最大softmax分數對應的類標簽作為偽標簽。圖1所示橫坐標是輸出預測概率，縱坐標是反向傳播時基于不確定性度量(熵信息或基尼指數)的梯度。對比圖1中預測概率[0.75,0.9]與預測概率[0.9,1]兩個區間的反向傳播的梯度：基于熵信息計算輸出預測的不確定性時，用于反向傳播的梯度在預測概率[0.9,1]區間遠遠大于預測概率[0.75,0.9]區間；采用基尼指數計算輸出預測的不確定性時，用于反向傳播的梯度在預測概率[0.9,1]區間與在預測概率[0.75,0.9]區間差距不大。即基于基尼指數計算的梯度在反向傳播過程不會過度關注[0.9,1]區間的點，模型對預測概率[0.75,0.9]區間上的類別賦予的更新權重相對更大。已有研究成果指出，類別的IOU值與類別預測概率正相關。由于基尼指數相對熵指數在模型訓練時更加注重輸出預測概率[0.75,0.9]區間對應的點，因此可以提高預測概率在[0.75,0.9]區間上IOU值。因為區間[0.9,1]上選擇偽標簽已經比較準確，確保區間[0.75,0.9]上的類別預測的準確率保證了偽標簽的正確性，有利于引入更多正確的監督信息，避免了噪聲的引入。