[發明專利]一種聯合人臉去口罩和超分辨率的圖像處理系統和方法

有效

• 申請號: 202011494588.2
• 申請日: 2020-12-16
• 公開（公告）號: CN112598587B
• 公開（公告）日: 2022-09-13
• 發明（設計）人: 唐雷;高廣謂;吳飛;王正學;岳東
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T3/40;G06N3/04;G06N3/08
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 徐激波

本發明提供了一種聯合人臉去口罩和超分辨率的圖像處理系統及方法，所述圖像處理系統包括去噪網絡模塊和超分網絡模塊；首先將低分辨率的戴口罩人臉圖像送入去噪網絡進行噪聲估計并實現圖像的盲去噪，通過調整估計的噪聲水平圖交互地糾正去噪結果，增強去噪結果的魯棒性；然后將去除噪聲后的低分辨率圖像送入卷積層進行淺層特征提取，將提取的特征送入循環特征提取模塊進行深層特征提取并重構圖像，獲得高分辨率圖像進入先驗知識提取模塊估計Landmark，將Landmark信息進行加權形成相應的面部組件熱圖，通過分組卷積再次送入到循環特征提取模塊提取特征，循環此過程；上述兩個過程可以互相促進，并逐步達到更好的性能，最終輸出高分辨率圖像及對應的Landmark。

技術領域

本發明涉及計算機視覺技術領域，主要涉及一種聯合人臉去口罩和超分辨率的圖像處理系統和方法。

背景技術

人臉超分辨率(Face Super-Resolution，SR)，又稱人臉幻覺，旨在從低分辨率(Low-Resolution，LR)輸入中生成高分辨率(High-Resolution，HR)人臉圖像。這是人臉分析中的一個基本問題，它可以極大地促進與人臉相關的任務，例如，人臉對齊，人臉解析，以及人臉識別，作為一般圖像SR的一種特殊情況，人臉圖像中存在著人臉特定的先驗知識，這些先驗知識對于人臉SR來說是至關重要的，而對于一般圖像SR來說則是不可用的。例如，人臉對應場可以幫助恢復準確的人臉形狀。

目前，在視頻監控等無約束場景下采集到的人臉圖像中往往存在包含低分辨率和口罩遮擋的復雜變化。從帶有口罩的低分辨率人臉圖像中獲取高分辨率和無口罩遮擋的人臉圖像是人臉分析的一項重要而又具有挑戰性的任務，如人臉識別、屬性學習、人臉分析等。因此，如何提高這種情況下的人臉超分辨率效果成為研究之一。

本發明目標在于如何在一個模型中同時處理人臉低分辨率和口罩遮擋。當人臉去噪方法和人臉超分辨率方法先后應用于輸入的帶遮擋的低分辨率人臉圖像時，恢復后的人臉圖像和可能包含視覺偽影。可能的原因是這種直接的恢復方法是次優的，因為它把超分辨率和去噪作為兩個獨立的問題，然而這兩個問題在圖像恢復過程中可能存在內部關系。此外，當相繼應用人臉去噪和人臉超分辨率時，在超分辨率過程中可能會將偽影引入到非遮擋區域，然后導致恢復的人臉圖像中存在更多的偽影。

發明內容

發明目的：本發明提供了一種聯合人臉去口罩和超分辨率的圖像處理系統和方法，基于生成式對抗網絡(GAN)的端到端可訓練框架，通過單一模型實現人臉圖像的去噪和超分辨率聯合。生成器(Generator)同時進行人臉的去噪和超分辨率任務，旨在從輸入的有口罩遮擋的低分辨率人臉圖像中恢復出無遮擋的高分辨率人臉圖像。

技術方案：為實現上述目的，本發明采用的技術方案為：

一種聯合人臉去口罩和超分辨率的圖像處理系統，包括基于生成式對抗網絡GAN的端到端可訓練框架，所述GAN框架包括GAN生成器部分和GAN判別器部分；所述GAN生成器部分包括去噪網絡模塊和超分網絡模塊；所述去噪網絡模塊由殘差通道注意力模塊、平均池化模塊和反卷積模塊連接構成；所述超分網絡模塊由殘差通道注意力模塊、分組卷積模塊、循環特征提取模塊和先驗知識提取模塊依次連接構成。

一種采用上述聯合人臉去口罩和超分辨率的圖像處理系統的圖像處理方法，包括以下步驟：

步驟S1、將低分辨率的戴口罩人臉圖像輸入去噪網絡模塊進行噪聲估計，實現圖像的盲去噪；具體地，

噪聲估計如下：

其中，M_MRCAB表示4個殘差通道注意力模塊的組合，所述殘差通道注意力模塊卷積核對應的步長為1；C₃表示kernel size為3的卷積操作，Nⁿ表示從輸入圖像估計的噪聲信息；代表將輸入圖像采樣至目標高分辨率的圖像大小；