[發明專利]一種用于裂縫圖像分割的網絡架構及其訓練方法和分割方法

在審

• 申請號: 202310485486.1
• 申請日: 2023-04-28
• 公開（公告）號: CN116542991A
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 樊亞文;胡正開;黃諶子誼;孫陽;陳天煜
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T5/50;G06V10/42;G06V10/774;G06V10/26
• 代理公司: 南京正聯知識產權代理有限公司 32243
• 代理人: 王素琴

本發明公開了一種用于裂縫圖像分割的網絡架構及其訓練方法和分割方法，屬于圖像分割技術領域；包括用于處理圖像的分割網絡模型以及對分割網絡模型進行訓練的損失函數模型；分割網絡模型包括編碼器、瓶頸層和解碼器，編碼器包括多個第一卷積塊和下采樣模塊；瓶頸層包括transformer模塊、條形池化模塊和第二卷積塊；解碼器包括上采樣模塊、注意力模塊和第三卷積塊，上采樣模塊對圖像進行上采樣，將圖像逐步恢復到原始尺寸；損失函數模型采用Dice和權重交叉熵混合損失函數。本發明通過設置動態權重來增強分割網絡模型對裂縫區域像素點的敏感程度，分割網絡模型趨于飽和時，對權重進行自適應動態調整，促進模型快速收斂，保證魯棒性的情況下提高模型分割精度。

技術領域

本發明屬于圖像分割技術領域，具體涉及一種用于裂縫圖像分割的網絡架構及其訓練方法和分割方法。

背景技術

圖像分割是計算機視覺領域的三大基本任務之一，它在醫學、生物識別等領域有著廣泛應用。圖像分割旨在檢測感興趣的物體，并對每一個像素點分配相應的語義標簽。近年來，隨著卷積神經網絡的不斷發展，其性能不斷提高，但是網絡模型的架構也越來越龐大，層次不斷加深，對算力、訓練用的數據集要求也在不斷拔高，在實際應用場景中，這顯然是不可接受的，效率、成本永遠是第一要素。

近年來，卷積神經網絡架構已經成為了裂縫圖像分割的主流架構，得益于卷積神經網絡強大的特征提取能力和高維數據的表征能力，基于深度學習的方法可以學習到人工難以獲取的特征，不僅節省了手工提取特征所需的成本，還大幅度的提升了檢測精度。在深度學習發展之初，使用簡單的卷積提取特征，如DeepCrack網絡使用多個卷積塊對待測樣本進行特征提取，并將不同的尺度的特征圖融合實現分割。但由于裂縫的無規則性，其形狀和尺寸變化較大，簡單的卷積已經無法滿足需求，如FCN全卷積網絡首先使用了端到端的分割方法，UNet則構建了完整的編碼器-解碼器的U形結構，并采用跳躍連接來補足細節特征，在本領域中，研究者往往基于這些基礎的網絡結構進行改良，如SegNet也基于編碼器-解碼器架構，在其編碼器內進行池化時，會記錄下最大池化的索引，在上采樣時，調用相應編碼器的最大池化索引來完成上采樣，還有EffificientNet提出了一個縮放因子來控制網絡深度、寬度和分辨率之間的平衡等。

盡管上述方法取得了顯著進步，但仍受限于以下的缺點：(1)裂縫廣泛存在各種生活場景中，這也導致了裂縫圖像的復雜背景，在復雜背景中難以精準的定位裂縫；(2)受限于傳統標準卷積，其局部特征往往局限在方形區域之中，然后裂縫通常展現出狹長的特性，故此標準卷積提取到的特征必然會夾雜其他干擾信息；(3)在現有的公共數據集中，存在嚴重的類別不均衡狀態，導致了分類結果偏向大類，而在裂縫這種二分類問題中，直接造成了模型的學習能力大打折扣。故此，如何解決類別不均衡仍是亟待解決的難題。

發明內容

本發明的目的在于提供一種用于裂縫圖像分割的網絡架構及其訓練方法和分割方法，以解決上述背景技術中提出的問題和達到的效果。

本發明目的是這樣實現的：一種用于裂縫圖像分割的網絡架構，其特征在于：該網絡架構包括用于處理圖像的分割網絡模型以及對分割網絡模型進行訓練的損失函數模型；

所述分割網絡模型包括編碼器、瓶頸層和解碼器，編碼器包括多個第一卷積塊和下采樣模塊，下采樣模塊獲取不同分辨率的局部細節特征圖和低分辨率的局部高層語義特征圖；

所述瓶頸層包括transformer模塊、條形池化模塊和第二卷積塊，transformer模塊進行自注意力的計算，獲取全局語義信息，完成局部和全局特征的互補；

所述解碼器包括上采樣模塊、注意力模塊和第三卷積塊，上采樣模塊對圖像進行上采樣，補足損失的細節特征，將圖像逐步恢復到原始尺寸；

所述損失函數模型采用Dice和權重交叉熵混合損失函數，以增強對裂縫區域像素點的敏感程度。

優選的，所述transformer模塊具體操作如下：