[發(fā)明專利]基于多注意力機(jī)制融合的輕量級(jí)雙目圖像超分辨率方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210538803.7
• 申請(qǐng)日: 2022-05-17
• 公開（公告）號(hào): CN114881858A
• 公開（公告）日: 2022-08-09
• 發(fā)明（設(shè)計(jì)）人: 裴文江;馮程晨;夏亦犁
• 申請(qǐng)（專利權(quán)）人: 東南大學(xué)
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06N3/04;G06N3/08;G06V10/80;G06V10/82;G06V10/40;G06K9/62
• 代理公司: 南京瑞弘專利商標(biāo)事務(wù)所(普通合伙) 32249
• 代理人: 沈廉

1.一種基于多注意力機(jī)制融合的輕量級(jí)雙目圖像超分辨率方法，其特征在于，具體包括如下步驟：

步驟1：構(gòu)建網(wǎng)絡(luò)模型

以低分辨率左視圖圖像和右視圖圖像作為網(wǎng)絡(luò)輸入，并對(duì)左視圖進(jìn)行超分辨率處理得到高分辨率的左視圖圖像；所述構(gòu)建網(wǎng)絡(luò)模型包括三個(gè)子模塊，即特征提取模塊、視差注意力提取模塊及特征重建模塊；

首先，輸入低分辨率雙目圖像對(duì)和經(jīng)過一個(gè)3×3卷積層提取左視圖圖像和右視圖圖像的淺層特征：

其中，H_sfe代表共享權(quán)重的3×3卷積層，和表示從低分辨率雙目圖形對(duì)中分別提取到的左視圖和右視圖的淺層特征；輸入m個(gè)共享權(quán)值的特征融合組進(jìn)一步提取較深層次的特征：

上式中，代表第m個(gè)特征融合組，同理，和分別代表第m-1和第1個(gè)特征融合組，和指淺層特征通過m個(gè)特征融合組之后輸出的較深層次的特征張量；

之后，在提取到低分辨率圖像對(duì)的獨(dú)立特征后，通過基于多尺度金字塔采樣機(jī)制的視差注意力模塊進(jìn)行雙目特征的匹配，輸出左視圖圖像的視差融合特征張量：

其中，H_DCPAM表征雙通道視差注意力模塊，表示通過視差注意力模塊得到的特征張量；

隨后，再次使用n個(gè)特征融合組對(duì)前級(jí)特征進(jìn)行進(jìn)一步的提取和融合，表征為：

與特征提取階段類似，表示特征重建階段的第n個(gè)特征融合組，和分別代表第n-1和第1個(gè)特征融合組，表示經(jīng)過n個(gè)特征融合組后得到的左視圖的融合特征張量；

最后，將經(jīng)過雙三次上采樣后的左視圖圖像與上級(jí)輸出特征逐像素相加，得到最終的左視圖超分辨率重建結(jié)果：

其中，H₅和H₃分別指5×5和3×3卷積，H_ps表示像素重組層，H_up為雙三次上采樣操作，λ₁和λ₂代表可訓(xùn)練的標(biāo)量參數(shù)，為最終超分辨率后的高分辨率左視圖；

步驟2：構(gòu)建雙目圖像數(shù)據(jù)集，設(shè)置訓(xùn)練參數(shù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練，

將數(shù)據(jù)集圖像分為訓(xùn)練集、驗(yàn)證集和測試集，設(shè)置訓(xùn)練參數(shù)對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，在訓(xùn)練集上進(jìn)行網(wǎng)絡(luò)訓(xùn)練得到訓(xùn)練后的網(wǎng)絡(luò)模型；

步驟3：將待處理雙目圖像輸入到訓(xùn)練后的網(wǎng)絡(luò)模型中，進(jìn)行雙目圖像超分辨率重建。

2.根據(jù)權(quán)利要求1所述基于多注意力機(jī)制融合的輕量級(jí)雙目圖像超分辨率方法，其特征在于，步驟1所述的特征融合塊以多注意力融合模塊為基礎(chǔ)模塊，集成了通道注意力、空間注意力及空洞卷積提取的多級(jí)特征，并且以修正的二值化特征融合結(jié)構(gòu)為基本架構(gòu)搭建。

3.根據(jù)權(quán)利要求1所述基于多注意力機(jī)制融合的輕量級(jí)雙目圖像超分辨率方法，其特征在于，步驟1所述的視差注意力模塊為雙通道注意力模塊，旨在提取局部沿極線特征及全局視差信息。

4.根據(jù)權(quán)利要求1所述基于多注意力機(jī)制融合的輕量級(jí)雙目圖像超分辨率方法，其特征在于，步驟1所述多尺度金字塔采樣機(jī)制，其各級(jí)卷積核尺寸為[12，15，18，21]。

5.根據(jù)權(quán)利要求1所述基于多注意力機(jī)制融合的輕量級(jí)雙目圖像超分辨率方法，其特征在于，步驟1所述m＝2，n＝2，且特征提取階段的左右視圖支路的特征融合塊數(shù)量相同。

6.根據(jù)權(quán)利要求1所述基于多注意力機(jī)制融合的輕量級(jí)雙目圖像超分辨率方法，其特征在于，步驟1所述低分辨率左視圖圖像和右視圖圖像，通過對(duì)調(diào)左右視圖低分辨率圖像可以以同樣方式重建高分辨率右視圖圖像。

7.根據(jù)根據(jù)權(quán)利要求1所述基于多注意力機(jī)制融合的輕量級(jí)雙目圖像超分辨率方法，其特征在于，步驟2對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練過程中，使用超分辨率損失為損失函數(shù)。