[發明專利]一種圖像語義分割模型訓練方法及系統

在審

• 申請號: 202010634052.X
• 申請日: 2020-07-02
• 公開（公告）號: CN111832570A
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 李建強;付光暉;董大強;吳敬怡
• 申請（專利權）人: 北京工業大學
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 郭亮

本發明實施例提供一種圖像語義分割模型訓練方法及系統。該方法包括：獲取用于訓練分割網絡的訓練數據；將所述訓練數據輸入至圖像語義分割網絡，進行目標域圖像語義分割網絡的訓練；其中所述訓練數據是由預先訓練好的訓練數據合成網絡和合成的偽標簽所得到。本發明實施例通過采用生成對抗網絡合成目標任務上的語義分割標簽，采用基于領域自適應機制的訓練數據合成網絡生成訓練數據，采用基于注意力機制的圖像分割網絡，來優化目標語義區域的分割效果。

技術領域

本發明涉及圖像處理技術領域，尤其涉及一種圖像語義分割模型訓練方法及系統。

背景技術

圖像語義分割是一項具有挑戰性的識別任務，它指的是給圖像中每個像素值指定一個其所屬語義實體的類別。一般弱監督語義分割采用的弱監督信息為image-level的類別信息，并沒有像素級的語義分割標簽。

目前的半監督學習方法，準確率并不理想，即獲取具有良好泛化性能的分割模型通常需要在監督學習的情況下完成，這需要規模龐大且專業的數據標注，語義分割標注是逐像素的，標注工作量大，標注周期長，因此需要提出一種新型的在半監督學習的情況下進行語義分割的方法。

已有的基于合成圖像技術的半監督分割方法，首先合成目標任務上的影像，之后利用現有數據的標簽，分割模型通過半監督學習進行訓練，其基本思想是通過拉近輸入數據的邊緣分布，來適應不同領域的預測，合成目標域影像的方法大致有基于人工定義的度量和基于生成對抗網絡兩種，然而這兩種合成方法在保留語義方面均不夠理想。

發明內容

本發明實施例提供一種圖像語義分割模型訓練方法及系統，用以解決現有技術中存在的缺陷。

第一方面，本發明實施例提供一種圖像語義分割模型訓練方法，包括：

獲取用于訓練分割網絡的訓練數據；

將所述訓練數據輸入至圖像語義分割網絡，進行目標域圖像語義分割網絡的訓練；其中所述訓練數據是由預先訓練好的訓練數據合成網絡和合成的偽標簽所得到。

進一步地，所述獲取用于訓練分割網絡的訓練數據，之前包括：構建語義分割標簽合成網絡、基于領域自適應機制的訓練數據合成網絡和基于注意力機制的圖像語義分割網絡；其中：

所述語義分割標簽合成網絡包括自編碼器和鑒別器，其中所述自編碼器包括編碼器和解碼器；

所述訓練數據合成網絡包括兩個生成器、圖像鑒別器和域鑒別器；

所述圖像語義分割網絡包括下采樣編碼階段、上采樣編碼階段和基于注意力機制的跳層連接。

進一步地，所述編碼器的輸入為隨機噪聲，所述解碼器的輸入為所述編碼器的最后全連接層輸出，所述解碼器的輸出為所述偽標簽，所述鑒別器的輸入為所述自編碼器輸出的預測圖像或真實語義分割標簽；

所述生成器包括特征提取階段、自適應特征融合階段和上采樣階段，所述特征提取階段用于對預處理后輸入的圖像進行特征抽取與編碼，所述自適應融合階段用于對所述特征提取階段產生的特征圖進行再編碼，完成具體語義信息與抽象語義信息的整合，所述上采樣階段用于完成由特征編碼到輸出合成圖像的轉換，所述圖像鑒別器和所述域鑒別器均包括特征提取模塊和預測模塊，所述預測模塊為一步卷積操作，用于將所述特征提取模塊得到的特征圖轉換為預測圖；

所述跳層連接包括將所述下采樣編碼階段的若干最大池化操作輸出的特征圖，分別通過注意力門與所述上采樣解碼階段的若干反卷積輸入特征圖進行通道上的級聯。

進一步地，所述構建語義分割標簽合成網絡，進一步包括訓練所述語義分割標簽合成網絡，具體包括：

獲取目標任務的若干語義分割標簽，根據所述目標任務對所述若干語義分割標簽進行數據增強；