[發(fā)明專利]一種基于對抗學習的域自適應圖像語義分割方法

在審

• 申請?zhí)枺?/td>: 201811059300.1
• 申請日: 2018-09-12
• 公開（公告）號: CN109190707A
• 公開（公告）日: 2019-01-11
• 發(fā)明（設計）人: 夏春秋
• 申請（專利權）人: 深圳市唯特視科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/66;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明中提出的一種基于對抗學習的域自適應圖像語義分割方法，其主要內容包括：領域適應、網絡結構、輸出空間適應，其過程為，首先輸入源域和目標域的圖像，傳遞到分割網絡以預測源域和目標域得到分割輸出；由源輸出得到的源預測生成源域的分割損失；接著將兩個分割輸出作為鑒別器的輸入，生成對抗損失，再將對抗損失傳遞到分割網絡；最后通過最小化分割損失和最大化對抗損失，以滿足要求的像素級語義分割圖像。本發(fā)明開發(fā)了一種多層次對抗學習方法，在分割空間的自適應能夠有效對齊源和目標圖像間的場景布局和局部上下文，此外本發(fā)明簡單方便易操作，能夠很好解決適應高維特征復雜性的影響。

技術領域

本發(fā)明涉及圖形圖像處理領域，尤其是涉及了一種基于對抗學習的域自適應圖像語義分割方法。

背景技術

圖像語義分割是指對圖片的每個像素進行分類，從像素級別獲得圖像的內容以及圖像中目標的位置。目前語義分割應用于水下物體檢測、地理信息系統(tǒng)、無人車駕駛、醫(yī)療影像分析、機器人等領域；可以通過訓練神經網絡讓機器輸入衛(wèi)星遙感影像，自動識別道路、河流、莊稼及建筑物等；在智能醫(yī)療領域，語義分割可應用腫瘤圖像分割、齲齒診斷等；語義分割也是無人車駕駛的核心算法技術，車載攝像頭，或者激光雷達探查到圖像后輸入到神經網絡中，后臺計算機可以自動將圖像分割歸類，以避讓行人和車輛等障礙。目前基于卷積神經網絡的方法在語義分割方面取得了顯著的進步，并應用于自主驅動和圖像編輯，而這種方式不能很好推廣到看不見的圖像，特別是當訓練和測試圖像之間存在域間隙時；另一類有效方法是在兩個域空間對其特征，使得適應的特征可以推廣到兩個域，而對于不同圖像分類任務，語義分割的特征適應會受到高維特征復雜性的影響，高維特征需要對不同的視覺線索進行編碼，包括外觀、形狀和上下文，導致低維特征不能很好適應，因此缺乏適應像素級的預測任務。

本發(fā)明提出了一種基于對抗學習的域自適應圖像語義分割方法，首先，輸入源域和目標域的圖像，傳遞到分割網絡以預測源域和目標域得到分割輸出；由源輸出得到的源預測生成源域的分割損失；接著將兩個分割輸出作為鑒別器的輸入，生成對抗損失，再將對抗損失傳遞到分割網絡；最后通過最小化分割損失和最大化對抗損失，以滿足要求的像素級語義分割圖像。本發(fā)明開發(fā)了一種多層次對抗學習方法，在分割空間的自適應能夠有效對齊源和目標圖像間的場景布局和局部上下文，本發(fā)明簡單方便易操作，也能夠很好的解決適應高維特征復雜性的影響。

發(fā)明內容

針對語義分割特征適應容易受到高維特征的復雜性影響、低維特征不能很好適應的問題，本發(fā)明的目的在于提供一種基于對抗學習的域自適應圖像語義分割方法，首先，輸入源域和目標域的圖像，傳遞到分割網絡以預測源域和目標域得到分割輸出；由源輸出得到的源預測生成源域的分割損失；接著將兩個分割輸出作為鑒別器的輸入，生成對抗損失，再將對抗損失傳遞到分割網絡；最后通過最小化分割損失和最大化對抗損失，以滿足要求的像素級語義分割圖像。

為解決上述問題，本發(fā)明提供一種基于對抗學習的域自適應圖像語義分割方法，其主要內容包括：

(一)領域適應；

(二)網絡結構；

(三)輸出空間適應。

首先，輸入源域和目標域的圖像，傳遞到分割網絡以預測源域和目標域得到分割輸出；由源輸出得到的源預測生成源域的分割損失；接著將兩個分割輸出作為鑒別器的輸入，生成對抗損失，再將對抗損失傳遞到分割網絡；最后通過最小化分割損失和最大化對抗損失，以滿足要求的像素級語義分割圖像。

其中，所述的領域適應，主要包括源域和目標域的圖像，分別表示為I_s和I_t，以及兩個損失函數(shù)的適應任務，分別為和其中表示適應由目標域的預測分割對源域的預測分割的對抗損失，表示在源域中使用真實注釋的分割損失；領域適應用于解決源域與目標域之間的域移位，注釋只包含在源域圖像中。