[發(fā)明專利]一種用于裂縫圖像分割的網(wǎng)絡(luò)架構(gòu)及其訓練方法和分割方法

在審

• 申請?zhí)枺?/td>: 202310485486.1
• 申請日: 2023-04-28
• 公開（公告）號: CN116542991A
• 公開（公告）日: 2023-08-04
• 發(fā)明（設(shè)計）人: 樊亞文;胡正開;黃諶子誼;孫陽;陳天煜
• 申請（專利權(quán)）人: 南京郵電大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T5/50;G06V10/42;G06V10/774;G06V10/26
• 代理公司: 南京正聯(lián)知識產(chǎn)權(quán)代理有限公司 32243
• 代理人: 王素琴

1.一種用于裂縫圖像分割的網(wǎng)絡(luò)架構(gòu)，其特征在于：該網(wǎng)絡(luò)架構(gòu)包括用于處理圖像的分割網(wǎng)絡(luò)模型以及對分割網(wǎng)絡(luò)模型進行訓練的損失函數(shù)模型；

所述分割網(wǎng)絡(luò)模型包括編碼器、瓶頸層和解碼器，編碼器包括多個第一卷積塊和下采樣模塊，下采樣模塊獲取不同分辨率的局部細節(jié)特征圖和低分辨率的局部高層語義特征圖；

所述瓶頸層包括transformer模塊、條形池化模塊和第二卷積塊，transformer模塊進行自注意力的計算，獲取全局語義信息，完成局部和全局特征的互補；

所述解碼器包括上采樣模塊、注意力模塊和第三卷積塊，上采樣模塊對圖像進行上采樣，補足損失的細節(jié)特征，將圖像逐步恢復到原始尺寸；

所述損失函數(shù)模型采用Dice和權(quán)重交叉熵混合損失函數(shù)，以增強對裂縫區(qū)域像素點的敏感程度。

2.根據(jù)權(quán)利要求1所述的一種用于裂縫圖像分割的網(wǎng)絡(luò)架構(gòu)，其特征在于：所述transformer模塊具體操作如下：

transformer模塊接受一維的Token序列，為了能夠處理2D特征，重塑輸入特征圖為一系列扁平化切片每個切片的尺寸為P×P，其中，N代表特征圖的切片數(shù)，為輸入特征圖；C代表特征圖的通道數(shù)，H和W分別表示輸入特征圖的高和寬；為重塑之后的切片；

為了保留切片的空間信息，選定可學習的位置編碼E_pos嵌入到線性化映射到D維的切片中，如下所示：

其中，表示可訓練的線性映射部分，表示可學習的位置編碼。

3.根據(jù)權(quán)利要求1所述的一種用于裂縫圖像分割的網(wǎng)絡(luò)架構(gòu)，其特征在于：所述下采樣模塊包括一個最大池化和3×3步長為1、填充為1的第一卷積塊，第一卷積塊數(shù)量為兩個。

4.根據(jù)權(quán)利要求1所述的一種用于裂縫圖像分割的網(wǎng)絡(luò)架構(gòu)，其特征在于：所述上采樣模塊具體操作如下：

給定輸入特征圖經(jīng)過并行的上采樣，得到再將兩個特征圖進行融合，獲得最終輸出：

其中，C代表特征圖的通道數(shù)，H和W分別表示輸入特征圖的高和寬；表示逐點相加操作。

5.根據(jù)權(quán)利要求1所述的一種用于裂縫圖像分割的網(wǎng)絡(luò)架構(gòu)，其特征在于：所述注意力模塊具體操作如下：

給定兩個輸入特征圖，一個來自編碼器的跳躍連接一個來自解碼器上采樣模塊兩個特征圖經(jīng)過1×1卷積將通道下降為1/2，大小保持不變，分別為和再通過逐點相加操作得到在此之后，X_add依次經(jīng)過ReLU激活函數(shù)、1×1卷積塊和Sigmoid激活函數(shù)，生成空間注意力圖

其中，σ_r表示ReLU激活函數(shù)，注意力值在0-1之間，用W_sp來對編碼器跳躍連接特征圖進行加權(quán)，得到

6.根據(jù)權(quán)利要求1所述的一種用于裂縫圖像分割的網(wǎng)絡(luò)架構(gòu)，其特征在于：所述第二卷積塊采用1×1步長為1、填充為1的卷積，第三卷積塊采用3×3步長為1、填充為1的卷積。