[發(fā)明專利]一種基于自監(jiān)督殘差感知網(wǎng)絡(luò)的數(shù)碼變焦方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910999119.7
• 申請(qǐng)日: 2019-10-21
• 公開(kāi)（公告）號(hào): CN111080533B
• 公開(kāi)（公告）日: 2023-05-16
• 發(fā)明（設(shè)計(jì)）人: 張道強(qiáng);張濤
• 申請(qǐng)（專利權(quán)）人: 南京航空航天大學(xué)
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06N3/0464;H04N25/704
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 柏尚春

1.一種基于自監(jiān)督殘差感知網(wǎng)絡(luò)的數(shù)碼變焦方法，其特征在于，包括以下步驟：

(1)對(duì)SRRAW數(shù)據(jù)集進(jìn)行預(yù)處理，獲取殘差圖像；

(2)使用邊緣增強(qiáng)和細(xì)節(jié)增強(qiáng)操作作用在殘差圖像上，將殘差圖像的邊緣和細(xì)節(jié)增強(qiáng)后作為殘差感知輔助網(wǎng)絡(luò)的標(biāo)記；

(3)通過(guò)輔助網(wǎng)絡(luò)將丟失的殘差信息轉(zhuǎn)化為特征表示融合到數(shù)碼變焦的深度縮放網(wǎng)絡(luò)中；

(4)通過(guò)加和的Loss聯(lián)合訓(xùn)練輔助網(wǎng)絡(luò)和深度縮放網(wǎng)絡(luò),提高深度縮放網(wǎng)絡(luò)的性能；

所述步驟(2)包括以下步驟：

(21)定義邊緣增強(qiáng)算子k₁和細(xì)節(jié)增強(qiáng)算子k₂為：

(22)對(duì)于邊緣增強(qiáng)卷積，設(shè)定步長(zhǎng)為1，邊緣填充為0；對(duì)于細(xì)節(jié)增強(qiáng)卷積，設(shè)定補(bǔ)償為6，邊緣填充為0；

(23)將低分辨率圖像Y定義為增強(qiáng)卷積的輸入，增強(qiáng)后的殘差圖像R作為標(biāo)記，用L₁范數(shù)定義輔助任務(wù)的損失來(lái)優(yōu)化輔助任務(wù)參數(shù)，損失函數(shù)定義如下：

其中，Θ₁表示輔助任務(wù)RAT的參數(shù)，m表示訓(xùn)練集的樣本數(shù)，yⁱ∈Y表示第i個(gè)低分圖像，rⁱ∈R表示對(duì)應(yīng)的增強(qiáng)后的殘差圖像；F_RAT(·)表示輔助任務(wù)的網(wǎng)絡(luò)結(jié)構(gòu)。

2.根據(jù)權(quán)利要求1所述的一種基于自監(jiān)督殘差感知網(wǎng)絡(luò)的數(shù)碼變焦方法，其特征在于，步驟(3)所述的融合主要包括雙向Top-down連接融合特征以及通過(guò)多尺度池化旋轉(zhuǎn)空間注意力機(jī)制調(diào)整融合后的特征。

3.根據(jù)權(quán)利要求1所述的一種基于自監(jiān)督殘差感知網(wǎng)絡(luò)的數(shù)碼變焦方法，其特征在于，所述步驟(3)包括以下步驟：

(31)雙向Top-down融合方式會(huì)將輔助網(wǎng)絡(luò)中語(yǔ)義級(jí)別的特征通過(guò)加和的方式融合到縮放網(wǎng)絡(luò)的淺層(F₀)中，而輔助網(wǎng)絡(luò)中淺層的特征融合到縮放網(wǎng)絡(luò)的語(yǔ)義層(F_N)中；

(32)多尺度池化操作會(huì)將所有的通道分成N組，把平均池化應(yīng)用到在不同的組中，獲得多尺度的空間感知區(qū)域：

其中，F(xiàn)_avg(·)代表平均池化操作，c_i表示通道池化的尺度；

(33)將所有特征映射旋轉(zhuǎn)四次，然后將所有的特征映射在空間層面連接成一個(gè)新的特征：

其中F_Rot(·)表示旋轉(zhuǎn)操作，R_ij表示第i個(gè)特征映射旋轉(zhuǎn)90×j的角度，表示連接操作；

(34)應(yīng)用卷積層，通過(guò)融合局部感受野中的空間和通道信息來(lái)構(gòu)造信息豐富的特征：

其中，W_D表示卷積層的參數(shù)，表示矩陣加法；

(35)得到空間注意圖α來(lái)重新縮放這些特征表示:

其中，α_i和V_i分別表示第i位置的縮放因子和特征映射。

4.根據(jù)權(quán)利要求1所述的一種基于自監(jiān)督殘差感知網(wǎng)絡(luò)的數(shù)碼變焦方法，其特征在于，所述步驟(4)通過(guò)以下公式實(shí)現(xiàn)：

L(Θ₁,Θ₂)＝L_RAT(Θ₁)+λ·L_DFZN(Θ₂)

其中，L(Θ₁,Θ₂)為混合損失函數(shù)，Θ₁表示輔助任務(wù)RAT的參數(shù)，Θ₂表示深度縮放網(wǎng)絡(luò)的參數(shù)，L_RAT(Θ₁)為輔助任務(wù)RAT的損失函數(shù)，L_DFZN(Θ₂)為深度縮放網(wǎng)絡(luò)DFZN的損失函數(shù)，m為訓(xùn)練集的樣本數(shù)，λ是權(quán)衡參數(shù)。