[發明專利]用于圖像分割的生成對抗網絡

在審

• 申請號: 201980046342.8
• 申請日: 2019-06-07
• 公開（公告）號: CN112384948A
• 公開（公告）日: 2021-02-19
• 發明（設計）人: M·霍夫曼;N·巴卡;C·努古特倫;M·加富里安;O·博伊
• 申請（專利權）人: 通騰全球信息公司
• 主分類號: G06T7/11
• 分類號: G06T7/11
• 代理公司: 北京律盟知識產權代理有限責任公司 11287
• 代理人: 蔣林清

提供一種訓練生成對抗網絡以用于執行圖像的語義分割的方法。所述生成對抗網絡包含生成器神經網絡及鑒別器神經網絡。所述方法包含：提供圖像作為到所述生成器神經網絡的輸入；從所述生成器神經網絡接收針對所述圖像的預測分割圖；提供i)所述圖像，ii)所述預測分割圖，及iii)對應于所述圖像的地面實況標簽數據，作為到所述鑒別器神經網絡的相異訓練輸入；響應于所述訓練輸入；確定來自所述鑒別器神經網絡的一組一或多個輸出；及使用損失函數訓練所述生成器神經網絡，所述損失函數是來自所述鑒別器神經網絡的所述一組輸出的函數。

背景技術

本發明涉及用于圖像分割的神經網絡，特定來說，涉及生成對抗網絡。

某些卷積神經網絡(CNN)已通過將這些問題視為圖像分割問題而成功地應用于各種計算機視覺問題。實例包含用于自主駕駛的道路場景理解及解釋醫療成像。針對此類應用，通常用多類每像素標簽訓練網絡，所述多類每像素標簽一起形成圖像大小的分割圖。此網絡的輸出又是圖像大小的圖，其表示每像素類別概率。

然而，此后可能需要額外后處理步驟，這是因為語義分割網絡的輸出不一定保持質量。輸出分割圖是概率性的并且與對應標簽相比具有不同分布。這背后的根本原因是公式化訓練損失的方式(例如，每像素交叉熵)，使得分割圖中的每一輸出像素被認為獨立于所有其它像素，即不強制執行明確的像素間一致性。

后處理步驟的實例包含應用條件隨機場(CRF)，應用第二個單獨訓練網絡或非學習問題特定算法。此類方法的缺點是其需要努力構造、可能具有許多超參數、特定于問題并且可能仍無法捕獲最終目標。舉例來說，CRF僅捕獲局部一致性，或為確保長距離依賴性而強加高昂的計算成本，并且需要單獨訓練。

用以確保某些預測質量的另一方法是添加額外的損失項，其表示質量保持的程度。然而，為每一目標質量提出有效且可區分的損失項通常是挑戰性的。解決語義分割問題中缺乏質量保持的一種潛在解決方案是使用生成對抗網絡(GAN)來‘學習’所需的損失函數。GAN通過在極小極大游戲中以交替方式訓練兩個網絡來工作：生成器經訓練以產生結果，而鑒別器經訓練以將生成(預測)分割圖數據(‘假’)與地面實況標簽(‘真’)區分開。

GAN已應用于語義分割問題以嘗試解決每像素損失的上述問題。在訓練期間，生成器生成語義分割圖，而鑒別器交替觀察地面實況標簽及預測分割圖。

薛(Xue)等人在電子預印本文獻庫(ArXiv e-prints)(2017年6月)發表的論文“SegAN：用于醫療圖像分割的具有多尺度L₁損失的對抗網絡(SegAN:Adversarial Networkwith Muti-scale L₁ Loss for Medical Image Segmentation)”揭示一種用于腦腫瘤分割的生成對抗網絡(GAN)。其使用共用的多尺度L₁損失函數來訓練生成器及鑒別器兩者，而不是針對生成器網絡及鑒別器網絡具有單獨損失。

然而，申請人已認識到，GAN(例如SegAN論文中揭示的GAN)可能對分割大型球狀結構(例如腦瘤)有效，但并不總是對其它類型的圖像數據有效。特定來說，GAN很難準確識別薄結構，例如道路分隔欄標記。

本發明尋求提供一種用于訓練生成對抗網絡的新穎方法，其至少對于某些類型的輸入可導致更好的圖像分割性能。

發明內容

從第一方面，本發明提供一種訓練生成對抗網絡以用于執行圖像的語義分割的方法，其中所述生成對抗網絡包括：

生成器神經網絡；及

鑒別器神經網絡，

所述方法包括：

提供圖像作為到所述生成器神經網絡的輸入；

從所述生成器神經網絡接收針對所述圖像的預測分割圖；