[發明專利]基于自監督多尺度金字塔融合網絡的圖像散景虛化方法

在審

• 申請號: 202210292231.9
• 申請日: 2022-03-23
• 公開（公告）號: CN114757860A
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 江愛文;汪智峰
• 申請（專利權）人: 江西師范大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T5/00;G06N20/00;G06T7/55
• 代理公司: 北京中政聯科專利代理事務所(普通合伙) 11489
• 代理人: 陳超

1.一種基于自監督多尺度金字塔融合網絡的圖像散景虛化方法，其特征在于，所述方法包括以下步驟：

步驟S1，獲取原始圖像GT，并對于所述原始圖像進行兩次下采樣，得到具有三種不同分辨率的待處理圖像I_i；

步驟S2，對于所述待處理圖像進行特征提取，得到與所述待處理圖像對應的特征f_i；

步驟S3，對于提取得到的特征f_i進行不同尺度的循環融合增強，得到增強特征t(i,j)，其中，t(i,j)表示將尺度i的信息增強至尺度j；

步驟S4，對于所述增強特征進行解碼，生成對應的散景虛化分量預測圖像

步驟S5，生成不同尺度的散景模糊圖像并將所述散景模糊圖像與對應尺度的散景虛化分量預測圖像進行結構相似性計算，得到對應尺度的散景虛化分量權重；

步驟S6，將散景虛化分量預測圖像與對應尺度的散景虛化分量權重相乘，得到對應尺度的加權散景虛化分量預測圖像，并與其他尺度的加權散景虛化分量預測圖像進行上采樣融合，得到最終的散景虛化圖像。

2.根據權利要求1所述的方法，其特征在于，所述步驟S2中，對于所述待處理圖像進行特征提取的步驟，包括：

利用特征提取模塊FE_i對于所述待處理圖像分別進行特征提取，其中，特征提取模塊FE_i包括四個具有相似內部結構但參數不同的連續子塊，四個連續子塊順次連接。

3.根據權利要求2所述的方法，其特征在于，所述連續子塊包括三個順次連接的殘余卷積塊，其中，第二個殘余卷積塊與第三個殘余卷積塊之間設置有線性整流模塊，第一個殘余卷積塊的輸出與第三個殘余卷積塊的輸出相加連接后作為所述連續子塊的輸出。

4.根據權利要求1-3任一所述的方法，其特征在于，所述步驟S3中，利用下式對于提取得到的特征f_i進行不同尺度的循環融合增強，得到增強特征t₁₁、t₂₁、t₂₃、t₃₃，其中，i＝1,2,3：

t₁₁＝z₂₁；

t_21＝z₂₁↑+f₂；z₂₁＝f₂↓+f₁；

t₂₃＝z₃₂；z₃₂＝f₃↓+f₂；

t₃₃＝f₃+z₃₂↑。

5.根據權利要求1所述的方法，其特征在于，所述步驟S4中，對于所述增強特征進行解碼的步驟，包括：

利用解碼器Gen(i,j)對于所述增強特征進行解碼，其中，解碼器Gen(i,j)包括四個具有相似內部結構但參數不同的連續子塊，四個連續子塊順次連接。

6.根據權利要求5所述的方法，其特征在于，所述連續子塊包括順次連接的兩個卷積塊和一個反卷積塊，其中，第一個卷積塊與第二個卷積塊之間設置有線性整流模塊，第一個卷積塊的輸入與第二個卷積塊的輸出相加連接后作為反卷積塊的輸入，所述反卷積塊的輸出作為所述連續子塊的輸出。

7.根據權利要求1-3、5、6任一所述的方法，其特征在于，所述步驟S5中，生成不同尺度的散景模糊圖像包括：

利用DefocusBlur算法生成不同尺度的散景模糊圖像

8.根據權利要求7所述的方法，其特征在于，所述步驟S5中，將所述散景模糊圖像與對應尺度的散景虛化分量預測圖像進行結構相似性計算，得到對應尺度的散景虛化分量權重，包括：

在不同尺度上計算散景模糊圖像與對應尺度的散景虛化分量預測圖像的結構相似性：

將α_i,j共同標準化到[0,1]，得到對應尺度的散景虛化分量權重w_i,j。