[發明專利]圖像修復系統及其圖像修復方法

在審

• 申請號: 202210023373.5
• 申請日: 2022-01-10
• 公開（公告）號: CN114359105A
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 賴振楠
• 申請（專利權）人: 深圳宏芯宇電子股份有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 深圳市嘉勤知識產權代理有限公司 44651
• 代理人: 劉自麗

1.一種圖像修復系統，其特征在于，所述圖像修復系統包括圖像輸入模塊、圖像修復模塊以及圖像輸出模塊，其中，

所述圖像輸入模塊，用于將待修復圖像輸入到所述圖像修復模塊中；

所述圖像修復模塊，用于構建一個包括生成器與判別器的對抗性神經網絡，且對所述對抗性神經網絡進行預設訓練，以通過預設訓練后的所述對抗性神經網絡對所述待修復圖像進行圖像修復，生成已修復圖像；

所述圖像輸出模塊，用于輸出所述圖像修復模塊生成的已修復圖像；

所述預設訓練包括以下步驟：

基于輸入的模糊圖像，通過所述生成器生成對應的樣本圖像，并輸出給所述判別器；

基于輸入的所述樣本圖像與相應的清晰圖像，一方面直接計算其內容上的損失，得到感知損失函數，另一方面在所述判別器對所述樣本圖像進行真/假判別時，對所述樣本圖像產生的損失進行計算，得到對抗損失函數；

將所述感知損失函數及所述對抗損失函數均反饋給所述生成器，以通過所述生成器不斷調整所述對抗性神經網絡的網絡參數，使得所述對抗性神經網絡在每一次迭代中逐漸生成清晰圖像。

2.根據權利要求1所述的圖像修復系統，其特征在于，所述生成器包括依次級聯設置的第一卷積模塊、第二卷積模塊、壓縮激勵殘差模塊、第三卷積模塊以及第四卷積模塊，所述第一卷積模塊及所述第二卷積模塊均用于對輸入的所述模糊圖像進行特征提取與下采樣的操作，所述壓縮激勵殘差模塊用于對所述模糊圖像進行特征通道重新賦權重與防止網絡退化的操作，所述第三卷積模塊及所述第四卷積模塊均用于對輸入的所述模糊圖像進行上采樣的操作。

3.根據權利要求2所述的圖像修復系統，其特征在于，所述第一卷積模塊的輸入端還與所述第四卷積模塊的輸出端連接，使得所述第四卷積模塊的輸出端輸出的預樣本圖像與所述第一卷積模塊的輸入端輸入的所述模糊圖像疊加生成所述樣本圖像后，經所述生成器輸出。

4.根據權利要求2所述的圖像修復系統，其特征在于，所述生成器包括級聯設置的一所述第一卷積模塊、兩所述第二卷積模塊、九所述壓縮激勵殘差模塊、兩所述第三卷積模塊以及一所述第四卷積模塊。

5.根據權利要求2所述的圖像修復系統，其特征在于，所述第一卷積模塊包括7×7卷積層和ReLU激活函數層，所述第二卷積模塊包括3×3卷積層和ReLU激活函數層，所述第三卷積模塊包括雙線性差值層、3×3卷積層和ReLU激活函數層，所述第四卷積模塊包括7×7卷積層和tanh激活函數層。

6.根據權利要求2所述的圖像修復系統，其特征在于，所述壓縮激勵殘差模塊由壓縮激勵網絡與殘差網絡融合而成；所述壓縮激勵網絡包括壓縮操作、激勵操作以及重標定操作，以通過網絡學習并獲得不同特征通道的權重，并對原特征通道進行重標定；所述殘差網絡包括卷積層與殘差疊加層，所述卷積層的輸出端一方面接入所述壓縮激勵網絡的輸入端，所述卷積層的輸出端另一方面與所述壓縮激勵網絡的輸出端共同接入所述殘差疊加層的輸入端。

7.根據權利要求1所述的圖像修復系統，其特征在于，所述判別器包括依次級聯設置的五個第五卷積模塊。

8.根據權利要求7所述的圖像修復系統，其特征在于，所述第五卷積模塊包括卷積核大小為t×t的卷積層、批處理層與系數為0.2的LeakyReLU激活層，t為正整數。

9.根據權利要求1所述的圖像修復系統，其特征在于，所述圖像修復模塊包括對抗性神經網絡構建單元、對抗性神經網絡訓練單元以及圖像修復處理單元，其中，

所述對抗性神經網絡構建單元，用于構建一個包括生成器與判別器的對抗性神經網絡；

所述對抗性神經網絡訓練單元，用于對所述對抗性神經網絡進行所述預設訓練；

所述圖像修復處理單元，用于通過預設訓練后的所述對抗性神經網絡對所述待修復圖像進行圖像修復，生成已修復圖像。