[發(fā)明專利]一種漸進式引導解碼網(wǎng)絡的圖像修復模型及方法

在審

• 申請?zhí)枺?/td>: 202310097893.5
• 申請日: 2023-02-06
• 公開（公告）號: CN116205809A
• 公開（公告）日: 2023-06-02
• 發(fā)明（設計）人: 蘇飏;董秀成;蔣金洋;侯爽;費春霞;劉俊君
• 申請（專利權）人: 四川華控圖形科技有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06V10/44;G06V10/82;G06N3/08;G06V10/80;G06T7/11;G06N3/0464;G06V30/19
• 代理公司: 成都九鼎天元知識產(chǎn)權代理有限公司 51214
• 代理人: 張洋

本發(fā)明公開了一種漸進式引導解碼網(wǎng)絡的圖像修復模型及方法，涉及圖像處理技術領域，其提出端到端架構，所述端到端架構由生成器和鑒別器組成；所述生成器由編碼網(wǎng)絡和包括并行解碼分支的漸進式解碼網(wǎng)絡組成；所述編碼網(wǎng)絡通過多尺度感知殘差模塊學習多尺度特征；所述編碼網(wǎng)絡旨在壓縮256x256將圖像分割成多層次的特征圖；在漸進式解碼網(wǎng)絡中，來自前一個解碼分支的重建特征和梯度被用于指導下一個解碼支路的重建，其漸進地填充和細化掩蔽區(qū)域；所述鑒別器預測具有不同大小的所有圖像塊；在鑒別器中使用頻譜歸一化來穩(wěn)定訓練，輸出最終修復后的圖像；本發(fā)明，進一步提高了恢復結果的語義合理性，進而提高了圖像修復的質(zhì)量。

技術領域

本發(fā)明涉及圖像處理技術領域，具體涉及一種漸進式引導解碼網(wǎng)絡的圖像修復模型及方法。

背景技術

本節(jié)中的陳述僅提供與本公開相關的背景信息，并且可能不構成現(xiàn)有技術。

圖像修復是圖像處理領域的一項重要而富有挑戰(zhàn)性的任務，其目標是預測出缺失區(qū)域的合適像素，近年來成為圖像處理、計算機視覺領域的研究熱點。圖像修復方法主要分為傳基于擴散的方法、基于匹配的方法和基于學習的方法。基于學習的方法由于在運算速度和重建質(zhì)量方面明顯優(yōu)于其它兩類方法，獲得了學術界和工業(yè)界更多的關注。

現(xiàn)有的很多圖像修復方法對于較大且復雜的缺失區(qū)域，由于周圍已知信息的急劇減少，修復很困難。最近，一些多級修復網(wǎng)絡，經(jīng)歷了多個編碼器-解碼器來漸進地引用缺失內(nèi)容，這減輕了直接預測正確缺失內(nèi)容的困難。

但多級修復網(wǎng)絡的共同點是，當前階段僅將前一階段推斷的結果作為輸入，并進一步預測剩余的缺失像素。因此，第一階段預測的誤差很容易影響下一階段的訓練，導致恢復結果中的結構和紋理偽影失真。缺失區(qū)域的面積越大，這種情況發(fā)生的可能性就越大。所以圖像修復過程中的穩(wěn)定性還有待提高。

發(fā)明內(nèi)容

本發(fā)明的目的在于：針對背景技術中存在的問題，提供了一種漸進式引導解碼網(wǎng)絡的圖像修復模型及方法，用以實現(xiàn)提高圖像修復質(zhì)量的技術效果，從而解決了上述問題。

本發(fā)明的技術方案如下：

一種漸進式引導解碼網(wǎng)絡的圖像修復模型，提出端到端架構，所述端到端架構由生成器和鑒別器組成；

所述生成器由編碼網(wǎng)絡和包括并行解碼分支的漸進式解碼網(wǎng)絡組成；

所述編碼網(wǎng)絡通過多尺度感知殘差模塊學習多尺度特征；所述編碼網(wǎng)絡旨在壓縮256x256將圖像分割成多層次的特征圖；

在漸進式解碼網(wǎng)絡中，來自前一個解碼分支的重建特征和梯度被用于指導下一個解碼支路的重建，其漸進地填充和細化掩蔽區(qū)域；

所述鑒別器預測具有不同大小的所有圖像塊；在鑒別器中使用頻譜歸一化來穩(wěn)定訓練，輸出最終修復后的圖像。

進一步地，所述并行解碼分支使用跳躍連接彼此連接，使用注意機制卷積塊注意模塊融合來自不同分支的多尺度特征，在編碼網(wǎng)絡的最后一層中塊以提取個多尺度特征。

進一步地，所述漸進式解碼網(wǎng)絡包括漸進式特征細化、梯度引導和多尺度融合。

進一步地，所述漸進式特征細化過程使用重影卷積代替學習特征的卷積，同時增加注意力機制突出關鍵特征；

各信道之間通過級聯(lián)設計連接。

進一步地，所述梯度引導包括梯度地圖引導和每個恢復圖像的梯度損失限制，來自前一分支的最后一個塊的豐富梯度信息被一步一步地傳遞到下一個解碼分支。

進一步地，所述多尺度融合在最后一個解碼分支中集成了不同的分辨率圖，將融合策略被命名為高效多尺度融合，其中，包含兩個注意力機制：Attn_l和Attn_co。

進一步地，在高效多尺度融合實現(xiàn)過程中，由最終解碼路徑(l＝1，2，3)的l個塊產(chǎn)生的特征圖f_3,l具有不同的分辨率，不同比例的特征圖在融合之前被上采樣到相同的分辨率。

在f_3,l上使用CECA，并獲得相應的信道關注向量Attn_l，其突出貢獻信道并抑制無用信道；