[發(fā)明專利]基于編解碼結(jié)構(gòu)的深度分層去霧網(wǎng)絡(luò)

在審

• 申請?zhí)枺?/td>: 202210534303.6
• 申請日: 2022-05-17
• 公開（公告）號: CN114862719A
• 公開（公告）日: 2022-08-05
• 發(fā)明（設(shè)計）人: 裴文江;楊洋;夏亦犁
• 申請（專利權(quán)）人: 東南大學(xué)
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/11;G06N3/04;G06N3/08
• 代理公司: 南京瑞弘專利商標(biāo)事務(wù)所(普通合伙) 32249
• 代理人: 任志艷

1.基于編解碼結(jié)構(gòu)的深度分層去霧網(wǎng)絡(luò)，其特征在于：包括如下步驟：

步驟1，構(gòu)建分層網(wǎng)絡(luò)模型

構(gòu)建基卷積神經(jīng)網(wǎng)絡(luò)分層結(jié)構(gòu)，共計n層，第一層網(wǎng)絡(luò)輸入原始的分辨率的有霧圖像，有霧圖像表示為I^gazy，之后，每一層網(wǎng)絡(luò)的輸入圖像都是在上一層網(wǎng)絡(luò)輸入圖像的基礎(chǔ)上做進一步分割，作為該層網(wǎng)絡(luò)的輸入圖像；每層網(wǎng)絡(luò)輸入的分塊圖像的塊數(shù)為2^i-1，i是層數(shù)，將第i層的第j個圖像塊表示為

每一層網(wǎng)絡(luò)均包括一對編碼器和解碼器，編碼器表示為E_i，解碼器表示為D_i，i是層數(shù)，每層網(wǎng)絡(luò)的編碼器的結(jié)構(gòu)相同，同樣，每層網(wǎng)絡(luò)的解碼器的結(jié)構(gòu)也相同；

步驟2，每層編碼器和解碼器學(xué)習(xí)每層輸入圖像的特征，重建清晰圖像后通過跳躍連接反饋到上層網(wǎng)絡(luò)；

第n層的編碼器提取該層輸入分塊圖像的局部特征，得到相應(yīng)塊數(shù)的特征圖輸出，通過將特征圖兩兩合并的方式，將圖像塊數(shù)減半，饋送到解碼器中重建清晰圖像，并送到上一層網(wǎng)絡(luò)，與上一層網(wǎng)絡(luò)的輸入分塊圖像一起做為該層解碼器的輸入；

并且將第n層中兩兩合并后的特征圖輸入到n-1層中，上層解碼器網(wǎng)絡(luò)共享下層編碼器網(wǎng)絡(luò)所提取的局部細節(jié)特征；

依次計算n-2、n-3……2，1層的重建輸出圖像，最終重建輸出的清晰圖像，也是第一層網(wǎng)絡(luò)輸出的圖像；

步驟3，選取數(shù)據(jù)集圖像，將數(shù)據(jù)集圖像分為訓(xùn)練集和測試集，通過數(shù)據(jù)集圖像對網(wǎng)絡(luò)模型進行訓(xùn)練，得到訓(xùn)練后的網(wǎng)絡(luò)模型。

2.根據(jù)權(quán)利要求1所述基于編解碼結(jié)構(gòu)的深度分層去霧網(wǎng)絡(luò)，其特征在于：步驟2包括如下步驟：

步驟2.1，第n層的2^n-1個輸入圖像塊進入編碼器網(wǎng)絡(luò)，得到輸出特征圖，如下：

式中，F(xiàn)_n,j是輸入圖像塊經(jīng)編碼器處理后所輸出的2^n-1個特征映射，然后在空間意義上將上下相鄰的兩個特征圖進行合并，將2^n-1個特征圖壓縮為2^n-2個新的特征圖，與第n-1層的特征圖尺寸一致，表示如下：

其中，表示串聯(lián)操作，串聯(lián)后的特征F′_n,j被饋送到解碼器網(wǎng)絡(luò)D_n中，則第n層網(wǎng)絡(luò)的重建圖像為：

I_n,j＝D_n(F′_n,j),j∈[1,2^n-2]

此時，第n層輸出的是2^n-2個圖像塊，與第n-1層尺度一致，利用跳躍連接將其饋送到第n-1層網(wǎng)絡(luò)，則第n-1層編碼器E_n-1的輸入是和I_n,j相加的結(jié)果，j∈[1,2^n-2]，如下：

在得到第n-1層編碼器E_n-1的特征輸出F_n-1,j后，將其與第n層解碼器D_n的特征輸入F′_n,j相加，進一步利用下層網(wǎng)絡(luò)所提取的豐富局部信息，表達式如下：

同理，將第n-1層相鄰的兩個特征映射沿空間維度連接，以組成尺度更大的圖像塊，表達式為：

將F′_n-1,j輸入到解碼器D_n-1中，得到第n-1層的重建圖像I_n-1,j:

I_n-1,j＝D_n-1(F′_n-1,j),j∈[1,2^n-3]

同樣的，依次計算n-2、n-3……2，1層的輸出，最終重建的清晰圖像，也是第一層網(wǎng)絡(luò)輸出的圖像表示為：

3.根據(jù)權(quán)利要求1所述基于編解碼結(jié)構(gòu)的深度分層去霧網(wǎng)絡(luò)，其特征在于：每層的編碼器都包含3個卷積層和6個殘差通道注意力塊；其中一個卷積層后面連接兩個殘差通道注意力塊。