[發(fā)明專利]基于目標(biāo)向量更新模塊的單幅圖像復(fù)原迭代框架

有效

• 申請(qǐng)?zhí)枺?/td>: 202011059753.1
• 申請(qǐng)日: 2020-09-30
• 公開(kāi)（公告）號(hào): CN114331853B
• 公開(kāi)（公告）日: 2023-05-12
• 發(fā)明（設(shè)計(jì)）人: 任超;翟森;王正勇;何小海;卿粼波;熊淑華;滕奇志
• 申請(qǐng)（專利權(quán)）人: 四川大學(xué)
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06T5/10;G06V10/774;G06V10/80;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.基于目標(biāo)向量更新模塊的單幅圖像復(fù)原迭代框架，其特征在于包括以下步驟：

步驟一：首先使用HQS算法，對(duì)原單幅圖像復(fù)原問(wèn)題進(jìn)行分解，得到一個(gè)圖像復(fù)原逆子問(wèn)題、一個(gè)先驗(yàn)相關(guān)子問(wèn)題；再使用基于動(dòng)量的梯度下降算法對(duì)得到的圖像復(fù)原逆子問(wèn)題進(jìn)行求解，并引入一種目標(biāo)向量更新模塊，得到像素域上基于HQS算法的單幅圖像復(fù)原重建迭代框架；

具體地，首先使用HQS算法，對(duì)單幅圖像復(fù)原問(wèn)題進(jìn)行分解，原單幅圖像復(fù)原問(wèn)題的具體公式如下：

其中，x為未知的重建圖像，y為降質(zhì)圖像，A為降質(zhì)矩陣，φ(·)為先驗(yàn)項(xiàng)，λ為懲罰系數(shù)；然后，使用HQS算法對(duì)原單幅圖像復(fù)原問(wèn)題進(jìn)行分解，得到圖像復(fù)原逆子問(wèn)題和先驗(yàn)相關(guān)子問(wèn)題，兩個(gè)子問(wèn)題的具體公式如下：

其中，η為懲罰系數(shù)，v為去噪圖像，上標(biāo)k為迭代階段數(shù)；再使用基于動(dòng)量的梯度下降算法對(duì)得到的圖像復(fù)原逆子問(wèn)題進(jìn)行求解，得到迭代更新表達(dá)式如下：

其中，表示圖像復(fù)原逆子問(wèn)題中關(guān)于x的梯度，并且式中省去了常系數(shù)2，表示目標(biāo)更新向量，它決定了x的更新方向和距離，B＝A^TA+ηI中的A和A^T表示相應(yīng)的卷積和反卷積操作，I表示單位矩陣，β表示動(dòng)量，δ表示動(dòng)量梯度下降算法的步長(zhǎng)；引入一個(gè)目標(biāo)向量更新模塊來(lái)執(zhí)行的計(jì)算，圖像復(fù)原算子的操作也包含在該模塊中，第k個(gè)階段的輸出x^(k)由上一個(gè)階段的輸出x^(k-1)減去求出，綜上，得到像素域上基于HQS算法的單幅圖像復(fù)原重建迭代框架；

步驟二：針對(duì)先驗(yàn)相關(guān)子問(wèn)題，設(shè)計(jì)一個(gè)有效的圖像復(fù)原算子，該算子被包含在目標(biāo)向量更新模塊中，其表現(xiàn)會(huì)顯著影響目標(biāo)更新向量模塊的輸出；

具體地，該圖像復(fù)原算子在公式中用E表示，其具有一個(gè)特征編碼——解碼結(jié)構(gòu)，作用是求解先驗(yàn)相關(guān)子問(wèn)題，即先驗(yàn)相關(guān)子問(wèn)題的解可以由該算子得到v^(k-1)＝E(x^(k-1))，算子的輸出v^(k-1)被用來(lái)計(jì)算該算子被包含在目標(biāo)向量更新模塊中，其表現(xiàn)會(huì)顯著影響目標(biāo)更新向量模塊的輸出，因此多層次特征融合模塊和殘差塊路徑被引入，使得其網(wǎng)絡(luò)結(jié)構(gòu)有利于信息流動(dòng)和傳播；此外，由于小波在圖像處理，如圖像增強(qiáng)和圖像去噪中的廣泛應(yīng)用，離散小波變換和逆離散小波變換被用來(lái)作為下采樣和上采樣層，離散小波變換英文全稱為Discrete?wavelet?transform，縮寫為DWT，逆離散小波變換英文全稱為Inverse?discretewavelet?transform，縮寫為IDWT；對(duì)于多層次特征融合模塊，它們被部署在特征編碼端和解碼端，在特征編碼端的第一層，一個(gè)包含3個(gè)3×3卷積層的多層次特征融合模塊被用來(lái)更好地提取特征，3個(gè)3×3卷積層的輸出被級(jí)聯(lián)在一起作為不同尺度的特征，隨后，一個(gè)1×1卷積層用來(lái)將特征數(shù)降低至64維，一個(gè)殘差跳連接將1×1卷積層的輸出和特征融合模塊的輸入相加，得到模塊的最終輸出；類似的，在編碼端的第二、三、四層，多層次特征融合模塊具有4個(gè)3×3卷積層，它們的輸出特征被級(jí)聯(lián)起來(lái)，然后和模塊的輸入相加，在模塊的最后是一個(gè)1×1卷積層，將特征通道數(shù)降低至64維；在特征解碼端的特征融合模塊里，4個(gè)3×3卷積層的輸出級(jí)聯(lián)起來(lái)，作為模塊的最終輸出；

一種普遍的做法是使用跳連接直接將同一層的編碼端特征傳輸?shù)浇獯a端，再進(jìn)行級(jí)聯(lián)，由于編碼端特征經(jīng)過(guò)的卷積處理較少，可以被視為淺層特征，而解碼端特征可被視為深層特征，將未經(jīng)處理的淺層特征與深層特征進(jìn)行級(jí)聯(lián)可能會(huì)導(dǎo)致特征融合差異，為解決這一問(wèn)題，使用多個(gè)殘差塊所組成的殘差塊路徑來(lái)代替一般做法中的跳連接，每個(gè)殘差塊包括兩個(gè)3×3卷積層和一個(gè)激活函數(shù)，這里使用的激活函數(shù)為Rectified?Linear?Unit，縮寫為ReLU，隨著層次的加深，編碼端特征會(huì)經(jīng)過(guò)更多的卷積層，因此殘差塊路徑中殘差塊的數(shù)目，從第一層到第四層分別為4，3，2，1；

圖像復(fù)原算子中的DWT和IDWT層基于哈爾小波，對(duì)于DWT層，使用1個(gè)低通濾波器f_LL和3個(gè)高通濾波器f_LH，f_HL，f_HH對(duì)輸入特征進(jìn)行解耦，4個(gè)濾波器的定義如下：

DWT的處理過(guò)程可以表示為，其中Fet表示輸入DWT層的特征，F(xiàn)et_LL、Fet_LH、Fet_HL和Fet_HH表示小波變換后的子帶特征，它們的下標(biāo)表示小波變換后的四個(gè)頻帶，表示卷積操作，↓₂表示下采倍數(shù)為2的下采樣操作，解耦出的特征被級(jí)聯(lián)起來(lái)作為DWT層的輸出；對(duì)于IDWT層，子帶特征經(jīng)由該層被上采回去，即Fet＝IDWT(Fet_LL,Fet_LH,Fet_HL,Fet_HH)；上采后的特征通道數(shù)由原來(lái)的256變?yōu)?4；

步驟三：利用CNN的特征提取能力，將步驟一中重建迭代框架的求解域，從像素域變到變換域，由此得到變換域上的單幅圖像復(fù)原重建迭代框架；

步驟四：利用訓(xùn)練圖像數(shù)據(jù)集，訓(xùn)練步驟三中得到的單幅圖像復(fù)原重建迭代框架；

步驟五：重復(fù)步驟四，直到迭代框架收斂，最后輸出即為最終的圖像重建結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于目標(biāo)向量更新模塊的單幅圖像復(fù)原迭代框架，其特征在于步驟三所述的將步驟一中重建迭代框架的求解域，從像素域變到變換域，由此得到變換域上的單幅圖像復(fù)原重建迭代框架：首先，降質(zhì)圖像y經(jīng)過(guò)A^T卷積，得到重建圖像x的初始估計(jì)x⁽⁰⁾，一個(gè)3×3卷積層被用來(lái)將x⁽⁰⁾由像素域變換到特征域，即其中表示多通道特征，其下標(biāo)指示是哪個(gè)變量，conv_tra表示卷積操作；和像素域上的框架類似，特征域上的多通道的定義可以寫為：

在變換域上的迭代框架里，圖像復(fù)原算子的輸入和輸出均為多通道；多通道目標(biāo)更新向量由下式求得：

在上述兩個(gè)式子中，可學(xué)習(xí)參數(shù)η，β和δ均為多通道，這樣它們可以獨(dú)立地約束特征的每一層；在變換域框架的最后，一個(gè)3×3卷積層conv_itra將輸出由變換域變到像素域，即：

其中，conv_itra表示相應(yīng)的卷積操作，x^(k)為變換域框架的最終輸出結(jié)果。