[發明專利]一種弱監督語義分割的自動圖像標注方法

在審

• 申請號: 201810840007.2
• 申請日: 2018-07-27
• 公開（公告）號: CN109255790A
• 公開（公告）日: 2019-01-22
• 發明（設計）人: 青晨;禹晶;肖創柏;段娟
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06K9/62;G06N3/04
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

一種弱監督語義分割的自動圖像標注方法，利用圖像目標檢測方法定位出目標邊框，并給出語義標簽，將目標邊框和語義標簽作為一種弱監督的圖像級別語義標注，利用傳統的圖像分割方法，分割出完整的目標區域，生成用于訓練分類網絡的分割模板。然后，將分割模板作為監督信號對分類網絡進行訓練。最后用訓練好的分類網絡對測試圖像進行語義分割。本發明的技術方案利用目標檢測方法，獲得圖像中目標的邊框和語義標簽，利用傳統的圖像分割方法，分割出目標區域，并結合語義標簽，將其作為弱監督語義分割的訓練樣本。這是一種自動生成弱監督語義分割訓練樣本的方法，解決人工標注大量圖像耗時費力的問題。

技術領域

本發明涉及基于深度學習的語義分割技術領域，更具體地說，涉及弱監督語義分割的自動圖像標注方法。

背景技術

傳統的圖像分割算法都采用交互的方式，通過用戶指定前景和背景區域或像素，分割出目標區域。一般用戶指定的交互方式分為兩種，一種是信息量較大的三分圖(trimap)，另一種則是信息量較少的草圖(scribbles)。三分圖是由人工制作的包含前景、背景和未知區域的圖，三分圖的構造復雜，幾乎需要手工將整幅圖像都涂滿，而草圖就方便很多，只要在前景和背景處畫幾筆即可。然而，這些對圖像的標注都需要人工來完成，如果需要標注的圖像數量非常大，會耗費大量的人力和時間。

2016年，Hinton提出了深度學習的概念，利用深度神經網絡從大量的數據中自動地學習高層特征。相比于手工設計的特征，學習的特征更加豐富、表達能力更強。目前，深度學習已廣泛應用于各種各樣的計算機視覺任務，例如，利用卷積神經網絡進行圖像分類或目標檢測。語義分割是對圖像中場景或目標的每一個像素標注所屬的類別，這是計算機視覺對于場景理解、行為識別的關鍵任務。不同于目標檢測(定位目標的邊框)，語義分割需要標注目標邊界，這就要求密集的像素級別分類。深度學習的語義分割方法比傳統的圖像分割方法更具優勢，即不需要人工對圖像進行預處理，利用深度神經網絡就可以實現端到端的語義分割預測。

監督學習是用已知的正確答案來訓練神經網絡，即用標注數據對神經網絡進行訓練。深度卷積神經網絡需要大量數據進行訓練，否則機器學習中的過擬合將不可避免。然而，在許多任務中，由于數據標注過程的成本極高，無法收集足夠的訓練數據，不足以進行深度神經網絡訓練。目前主流的語義分割方法要求大量像素級別標注的訓練樣本，也就是監督學習語義分割。常用的基于監督學習的語義分割網絡有FCN(Fully ConvolutionalNetworks)、SegNet、DeepLab等。由于監督學習語義分割方法需要像素級別的標注圖像對網絡進行訓練，這對數據標注的要求過高，需要提供精確到像素級別的語義標注(Semanticlabels)，即對每一個像素進行標注。人工數據標注是個耗時費力的工作，目前并沒有統一用于圖像標注的工具，且易受觀察者個人因素的影響，人工標注的訓練樣本一般很難達到90％以上的精度(即標注的正確率)。如果人工標注精度過低，就會直接導致機器預測錯誤。因此，研究人員開始研究弱監督條件下的圖像語義分割問題。

與監督學習語義標注相比，弱監督學習的語義標注更容易獲取。在這類問題中，僅需提供圖像級別語義標注，而不需要像素級別標注即可取得與現有方法可比的語義分割精度。

2017年，Wei提出了一個從簡單到復雜的框架(Simple to Complex，STC)，能夠以弱監督學習的方式(僅提供圖像級標簽)有效地訓練分割網絡。框架中引入了一個多標簽的交叉熵損失函數來訓練基于顯著圖的分割網絡，其中每個像素能夠以不同的概率自適應地歸類于前景和背景類別。同年，Wei又提出利用對抗擦除技術(Adversarial Erasing,AE)來解決弱監督學習的語義分割問題。首先利用顯著性檢測技術挖掘出目標的主體區域，再利用AE挖掘更多的目標相關區域，從而分割出完整的目標區域，生成用于訓練語義分割網絡的分割模板。Seong提出了一種將種子區域與顯著性檢測技術相結合的弱監督語義分割方法。將種子區域和顯著性模型作為附加信息，并以此作為先驗知識。首先輸入圖像和圖像級別標簽，指導標注器(guide labeller)結合種子區域和顯著性模型，產生一個粗糙的標注，再利用這個標注，以監督方式訓練分割網絡。