[發明專利]一種聯合人臉去口罩和超分辨率的圖像處理系統和方法

有效

• 申請號: 202011494588.2
• 申請日: 2020-12-16
• 公開（公告）號: CN112598587B
• 公開（公告）日: 2022-09-13
• 發明（設計）人: 唐雷;高廣謂;吳飛;王正學;岳東
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T3/40;G06N3/04;G06N3/08
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 徐激波

1.一種聯合人臉去口罩和超分辨率的圖像處理方法，采用的圖像處理系統包括基于生成式對抗網絡GAN的端到端可訓練框架，所述GAN框架包括GAN生成器部分和GAN判別器部分；所述GAN生成器部分包括去噪網絡模塊和超分網絡模塊；所述去噪網絡模塊由殘差通道注意力模塊、平均池化模塊和反卷積模塊連接構成；所述超分網絡模塊由殘差通道注意力模塊、分組卷積模塊、循環特征提取模塊和先驗知識提取模塊依次連接構成；

其特征在于，圖像處理方法包括以下步驟：

步驟S1、將低分辨率的戴口罩人臉圖像輸入去噪網絡模塊進行噪聲估計，實現圖像的盲去噪；具體地，

噪聲估計如下：

其中，M_MRCAB表示4個殘差通道注意力模塊的組合，所述殘差通道注意力模塊卷積核對應的步長為1；C₃表示kernel size為3的卷積操作，Nⁿ表示從輸入圖像估計的噪聲信息；代表將輸入圖像采樣至目標高分辨率的圖像大??；

步驟S2、在噪聲估計中加入非對稱損失L_asymm如下：

其中，是噪聲估計網絡估計的噪聲等級，σ(y_i)是真實的噪聲等級；當時，取β＝1，當時，取β＝0；α取值范圍為0α0.5；

步驟S3、將得到的噪聲信息和原始輸入圖像級聯，進行進一步特征提取和去噪操作；獲取去口罩遮擋后的低分辨率圖像；具體如下：

F₂＝M_MRCAB(Avg(F₁)

F₃＝F₂+D₂(M_MRCAB(Avg(F₂)

F₄＝F₁+D₂(M_MRCAB(F₃))

其中[]表示級聯操作，Avg表示kernel size＝2的平均池化操作；F_{n(n＝1，2，3，4，5)}表示各個階段獲取到的圖像特征；D₂表示kernel size＝2，stride＝2的反卷積操作；表示最終得到的去口罩遮擋后的低分辨率圖像；

步驟S4、將網絡輸出的去噪圖像和其真實無噪聲圖像進行比較，計算重構損失如下：

其中為歐氏距離算子，為網絡輸出的去噪圖像，為真實的無口罩遮擋的低分辨率圖像；

在重構損失的基礎上添加感知損失、風格損失、平滑損失和身份損失如下：

(1)感知損失：

(2)風格損失：

(3)平滑損失：

(4)身份損失：

其中，是VGG-16預訓練模型，表示在第i個最大池化層之前的第j個卷積層的特征圖，w_i，jH_i，j表示特征圖的維度，CNN_R()表示通過人臉識別模型提取的身份特征；表示為真實的無口罩遮擋的高分辨率圖像；LR代表低分辨率,HR代表高分辨率；

去噪網絡的總損失L_denoising如下：

其中為各個損失函數所占的權重比；

步驟S4、將去噪網絡模塊輸出的圖像信息輸入至超分網絡模塊中進行超分辨率處理；所述超分網絡模塊包括人臉回復部分和Landmark估計部分；首先進行第一次迭代如下：

對進行淺層特征提?。?/p>

其中RFE表示循環特征提??；對送入的特征進行遞歸卷積和反卷積操作，其中MRCAB模塊中的卷積核大小為2；

超分網絡模塊輸出的超分辨率圖像如下所示：

將輸入至人臉對齊模塊獲取對應的Landmark特征；首先進行預處理如下：

其中RB是帶有注意力機制的殘差模塊，Mp表示kernel size＝2，stride＝2的最大池化操作；將輸入至先驗信息提取模塊HG提取先驗信息，得到相應的Landmark信息：

對Landmark信息進行后處理操作：

其中σ表示Relu激活函數；

步驟S5、在獲取Landmark信息后，進行后續迭代如下：

步驟S6、采用對抗性損失來監督框架的訓練，并生成具有高保真細節的增強型超分辨率人臉圖像；將網絡輸出的超分圖像和其真實的無口罩遮擋的高分辨率圖像進行比較，計算像素損失如下：

其中L_align是關鍵點估計的損失函數，為預測的關鍵點圖像信息，為真實的關鍵點圖像信息；

步驟S7、構建判別器D區分網絡輸出的超分圖片與真實圖片；對應的對抗性損失如下：

其中ε表示數學期望，p_data(x)表示真實人臉圖像的分布，p_z(z)表示有口罩遮擋的人臉圖像的分布，D(x)為鑒別器，G(z)為圖像生成器；在對抗性損失的基礎上添加感知損失，平滑損失和身份損失，則超分網絡模塊的總損失函數如下：

其中為各個損失函數所占的權重比。