[發(fā)明專利]一種漸進式引導解碼網(wǎng)絡的圖像修復模型及方法

在審

• 申請?zhí)枺?/td>: 202310097893.5
• 申請日: 2023-02-06
• 公開（公告）號: CN116205809A
• 公開（公告）日: 2023-06-02
• 發(fā)明（設計）人: 蘇飏;董秀成;蔣金洋;侯爽;費春霞;劉俊君
• 申請（專利權）人: 四川華控圖形科技有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06V10/44;G06V10/82;G06N3/08;G06V10/80;G06T7/11;G06N3/0464;G06V30/19
• 代理公司: 成都九鼎天元知識產(chǎn)權代理有限公司 51214
• 代理人: 張洋

1.一種漸進式引導解碼網(wǎng)絡的圖像修復模型，其特征在于，提出端到端架構(gòu)，所述端到端架構(gòu)由生成器和鑒別器組成；

所述生成器由編碼網(wǎng)絡和包括并行解碼分支的漸進式解碼網(wǎng)絡組成；

所述編碼網(wǎng)絡通過多尺度感知殘差模塊學習多尺度特征；所述編碼網(wǎng)絡旨在壓縮256x256將圖像分割成多層次的特征圖；

在漸進式解碼網(wǎng)絡中，來自前一個解碼分支的重建特征和梯度被用于指導下一個解碼支路的重建，其漸進地填充和細化掩蔽區(qū)域；

所述鑒別器預測具有不同大小的所有圖像塊；在鑒別器中使用頻譜歸一化來穩(wěn)定訓練，輸出最終修復后的圖像。

2.根據(jù)權利要求1所述的一種漸進式引導解碼網(wǎng)絡的圖像修復模型，其特征在于，所述并行解碼分支使用跳躍連接彼此連接，使用注意機制卷積塊注意模塊融合來自不同分支的多尺度特征，在編碼網(wǎng)絡的最后一層中塊以提取個多尺度特征。

3.根據(jù)權利要求2所述的一種漸進式引導解碼網(wǎng)絡的圖像修復模型，其特征在于，所述漸進式解碼網(wǎng)絡包括漸進式特征細化、梯度引導和多尺度融合。

4.根據(jù)權利要求3所述的一種漸進式引導解碼網(wǎng)絡的圖像修復模型，其特征在于，所述漸進式特征細化過程使用重影卷積代替學習特征的卷積，同時增加注意力機制突出關鍵特征；

各信道之間通過級聯(lián)設計連接。

5.根據(jù)權利要求4所述的一種漸進式引導解碼網(wǎng)絡的圖像修復模型，其特征在于，所述梯度引導包括梯度地圖引導和每個恢復圖像的梯度損失限制，來自前一分支的最后一個塊的豐富梯度信息被一步一步地傳遞到下一個解碼分支。

6.根據(jù)權利要求5所述的一種漸進式引導解碼網(wǎng)絡的圖像修復模型，其特征在于，所述多尺度融合在最后一個解碼分支中集成了不同的分辨率圖，將融合策略被命名為高效多尺度融合，其中，包含兩個注意力機制：Attn_l和Attn_co。

7.根據(jù)權利要求6所述的一種漸進式引導解碼網(wǎng)絡的圖像修復模型，其特征在于，在高效多尺度融合實現(xiàn)過程中，由最終解碼路徑(l＝1，2，3)的l個塊產(chǎn)生的特征圖f_3,l具有不同的分辨率，不同比例的特征圖在融合之前被上采樣到相同的分辨率；

在f_3,l上使用CECA，并獲得相應的信道關注向量Attn_l，其突出貢獻信道并抑制無用信道；

公共注意力向量Attn_co是通過沿信道維度添加所有唯一Attn_l并輸入Softmax函數(shù)來生成的；所獲得的Attn_l和Attn_co在信道乘法運算中應用于輸入特征圖f_3,l，其分別生成重新校準的圖和

每個判別特征圖是通過添加和產(chǎn)生的，它們包含自唯一和共關鍵信息；

所有增強的映射由1＊1卷積層連接并融合以創(chuàng)建最終重建圖F_out。

8.一種漸進式引導解碼網(wǎng)絡的圖像修復方法，其特征在于，基于權利要求1-7任一項所述的一種漸進式引導解碼網(wǎng)絡的圖像修復模型，包括：

步驟S1：根據(jù)圖像退化模型建立訓練集，在Places2和CelebA?HQ兩個具有不同特征的公共數(shù)據(jù)集上訓練和評估模型；掩模數(shù)據(jù)集是一個提供12k個不規(guī)則掩模圖像的數(shù)據(jù)集；

步驟S2：使用與預訓練的最先進模型中使用的相同的掩模類型來訓練，所述掩模類型包括中心正方形遮罩、隨機矩形遮罩和不規(guī)則遮罩；

步驟S3：通過編碼網(wǎng)絡以及多尺度感知殘差模塊學習多尺度特征；

步驟S4：在漸進式解碼網(wǎng)絡中，來自前一個解碼分支的重建特征和個梯度被用于指導下一個解碼支路的重建，其漸進地填充和細化掩蔽區(qū)域；

步驟S5：鑒別器預測具有不同大小的所有圖像補丁而不是整個圖像的真實性，在鑒別器中使用頻譜歸一化來穩(wěn)定訓練；

步驟S6：通過損失函數(shù)對圖像修復模型進行優(yōu)化；所述損失函數(shù)包括金字塔損失、L1損失、感知損失、風格損失、對抗性損失、梯度損失、總損失。