[發明專利]基于改進U-Net網絡的圖像分割模型及訓練方法

有效

• 申請號: 202010546283.5
• 申請日: 2020-06-16
• 公開（公告）號: CN111860528B
• 公開（公告）日: 2022-08-26
• 發明（設計）人: 楊真真;許鵬飛;孫雪;鄭藝欣
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/80;G06V10/82;G06V10/20;G06N3/04;G06N3/08;G06T7/00;G06T7/10
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

本發明提供了一種基于改進U?Net網絡的圖像分割模型，模型采用編解碼結構，包括：編碼模塊、解碼模塊、編解碼連接層和多特征融合模塊；編碼模塊包括多個串接的編碼單元，解碼模塊包括多個與編碼單元一一對應的解碼單元，編解碼連接層用于連接編碼模塊與解碼模塊；多特征融合模塊包括上采樣層和加性融合層；上采樣層對各解碼單元的輸出進行對應的上采樣后輸入至加性融合層進行疊加，得到圖像分割結果。本申請的模型能夠提高特征提取的能力以及提取的準確性。另外本申請提出的損失函數能夠在分割目標大小不固定及目標與背景差異過大的情況下進行較好的分割。

技術領域

本發明涉及視覺圖像處理，具體涉及一種基于改進U-Net網絡的圖像分割模型及訓練方法。

背景技術

圖像分割是視覺圖像處理的重要分支，在各領域中具有廣闊的應用前景。由于人工分割的復雜性，目前已有大量用于圖像分割的算法，如基于閾值的方法、馬爾可夫隨機場模型、聚類算法等。然而，上述傳統算法僅針對特定圖像形式，大多存在人為偏差。

與傳統算法不同的是，深度學習可以從多層網絡結構中學習目標特征，其網絡中的卷積神經網絡(convolutional neural network,CNN)在各種圖像處理問題上都有不錯的表現。基于CNN基礎上的全卷積網絡(fully convolutional network,FCN)及在FCN基礎上演變出的其他變體網絡(如SegNet、DeepLab和U-Net網絡)在圖像分割任務中都能獲得了更好的效果。其中，SegNet和DeepLab網絡架構必須要有大量的訓練數據，否則很容易出現過擬合的現象，訓練效果好，測試效果卻不理想。對于圖像數據集不豐富的領域(如醫學領域)，難以得到較好的分割結果。

現有的U-Net網絡可以充分利用圖像的全局和局部細節，在數據集較小的情況下獲得不錯的分割效果，從而減少依賴大量的訓練數據。U-Net也是基于卷積層來構建的。如圖1所示，U-Net網絡結構是具有對稱結構的編譯碼網絡。編碼部分和譯碼部分的基本單元如圖2所示，由兩個3×3的卷積層連接。編碼部分有四個相似的操作，每個操作都有兩個3×3的卷積層和一個最大池化層，池化大小為2×2，步長為2。在每個最大池化之后，卷積層的深度將增加一倍。譯碼部分的主要作用是增大特征圖的分辨率，以保證輸出圖像的大小與輸入圖像的大小相等。解碼器也有四次操作，每個操作由一個2×2反卷積層和兩個3×3的卷積層組成。在每個反卷積層之后，反卷積層的特征圖將與編碼部分具有相同分辨率的特征圖進行拼接。最后，使用1×1的卷積層進行降維，生成最終的分割結果。U-Net中所有3×3個卷積層都使用整流線性單元(ReLU)作為激活函數，最后1×1個卷積層使用Sigmoid激活函數。但在分割目標大小不固定，目標與背景差異過大時，現有的上述U-Net網絡結構的分割效果難以滿足需求。

發明內容

發明目的：本申請的目的在于提供一種基于改進U-Net網絡的圖像分割模型及訓練方法，以解決傳統U-Net網絡對于分割目標大小不固定以及目標與背景差異過大時分割效果不理想的缺陷。

技術方案：本發明提供了一種基于改進U-Net網絡的圖像分割模型的圖像分割方法，模型采用編解碼結構，包括：編碼模塊、解碼模塊、編解碼連接層和多特征融合模塊；編碼模塊包括多個串接的編碼單元，每個編碼單元包括編碼緊密塊和下采樣塊；解碼模塊包括多個與編碼單元一一對應的解碼單元，每個解碼單元包括上采樣塊和解碼緊密塊；編解碼連接層用于連接編碼模塊與解碼模塊，多特征融合模塊包括上采樣層和加性融合層；

圖像分割方法包括每個編碼緊密塊對當前編碼單元的輸入進行特征提取，得到對應的輸出。該輸出下采樣后得到當前編碼單元的輸出，并將其作為下一編碼單元的輸入；

每個解碼單元的輸入包括第一輸入和第二輸入，第一輸入經上采樣塊進行上采樣后與第二輸入拼接后輸入到當前解碼緊密塊，作為當前解碼緊密塊的輸入；

對最后一編碼單元的輸出進行特征提取后，得到編解碼連接層的輸出，并將其輸入至第一解碼單元；