[發明專利]基于降質分類和定向數據增廣的魯棒人臉超分辨處理方法

有效

• 申請號: 202011304969.X
• 申請日: 2020-11-20
• 公開（公告）號: CN112233021B
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 陳亮;吳怡;徐哲鑫;陳冠楠;鄒文斌;許宇翔;謝余杭
• 申請（專利權）人: 福建師范大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06V40/16;G06V10/762;G06K9/62;G06T7/11
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 陳明鑫;蔡學俊

本發明涉及一種基于降質分類和定向數據增廣的魯棒人臉超分辨處理方法。包括：構建包含高分辨率人臉圖像庫及其對應的三種降質的低分辨率人臉圖像庫的訓練庫；基于訓練庫，在新的特征空間中構建用于降質類別判定的特征庫，對降質特征進行提取并聚類；輸入待處理低分辨率圖像投影至分類特征空間中，根據與各個聚類中心點的距離，判定其所屬降質種類；根據輸入待處理低分辨率圖像所屬的降質目標類別，自適應的構建高低分辨率增廣庫；而后，求得低分辨率增廣庫的表達系數，并根據表達系數和對應高分辨率增廣庫的塊，求得重建高分辨率圖像塊，并拼接高分辨率人臉圖像塊。本發明可顯著提高恢復圖像的視覺感受，特別適用于低質量監控環境下人臉圖像恢復。

技術領域

本發明涉及圖像處理和圖像恢復技術領域，具體涉及一種基于降質分類和定向數據增廣的魯棒人臉超分辨處理方法。

背景技術

人臉超分辨率技術是通過學習制備好的高低分辨率圖像庫中訓練對之間的高低分辨率對應關系，為低分辨率到高分辨率的過程提供有效的約束和指導，估計出高分辨率人臉圖像用以機器或人眼的辨識。該技術廣泛引用于各個視覺處理技術，如人臉識別的前后處理、監控錄像中的人臉圖像增強等等。隨著監控系統的廣泛普及，監控視頻在刑事取證和刑偵調查過程中發揮著越來越重要的作用。而人臉圖像作為直接證據之一，在案件分析和法庭取證中占據著重要的位置。然而，由于成像環境復雜多變，成像的降質條件更是繁雜多樣，難以統一。導致辨識過程和圖像增強過程難度系數大大增加，因此需采用人臉超分辨率技術提升圖像有效尺寸和有效分辨率，達到從低分辨率圖像恢復到高分辨率圖像的目的。然而現有的算法往往針對單一降質而設計，面對復雜繁多的降質條件下生成的多種低質量人臉圖像，難以有效的恢復出可供辨識的人臉圖像。

為解決對多種繁雜降質的低質量人臉圖像的有效恢復，傳統算法往往采用改進算法甚至犧牲效率來換取算法的有效性和易用性。具體做法即引入有效計算工具和數據利用形式。一個經典的算法類別就是基于流形學習的類別。

流形學習作為人臉超分辨率的經典算法之一，核心思想在于，采用流形表達作為工具，解釋低分辨率到高分辨率的質量上升過程，具體為：對高低分辨率兩個樣本空間，尋找出每個低分辨率圖像數據點周圍的局部性質，然后將低分辨率圖像的流形局部性質非線性地映射到高分辨率圖像的流形空間中，在高分辨率對應空間上做投影，從而合成高分辨圖像。具有代表性的有以下幾種方法：2004年，Chang^[1]等首次將流形學習法引入圖像超分辨率重構中，提出了一種鄰域嵌入的圖像超分辨率重構法。2005年Wang^[3]等人提出基于PCA(Principal Component Analysis，PCA)空間的主成分分析法，通過將人臉主成分投影重建，以重建其中的人臉高頻細節。SungWonPark^[2]提出一種基于局部保持投影的自適應流形學習方法，從局部子流形分析人臉的內在特征，重構出低分辨率圖像缺失的高頻成分。2010年，Huang^[4]提出基于CCA(Canonical CorrelationAnalysis，CCA)的方法，通過將PCA(Principal ComponentAnalysis，PCA)空間延伸至CCA空間，進一步解決了這個問題。同年，Lan^[5]針對監控環境下嚴重的模糊和噪聲導致的圖像像素損毀嚴重的問題，提出一種基于形狀約束的人臉超分辨率方法，在傳統PCA架構中添加形狀約束作為相似度度量準則，利用人眼睛識別形狀時對干擾的魯棒性來人工添加形狀特征點作為約束，優化低質量圖像的重建結果。

綜上所述，現有的這些方法大多僅按照傳統的技術思路，關注對固定單一種類降質的高低分辨率圖像庫的利用，忽略了輸入圖像可能存在多種與樣本圖像降質過程不同的事實，導致算法對于含有不同降質過程的異質圖像的重建效果不理想，尤其在監控等包含多種光照、距離的復雜多樣的降質環境下，由于無法嚴格控制真實降質條件與在庫單一降質條件的統一性，導致捕獲到的低質量人臉圖像與樣本庫中的人臉圖像存在著較大的降質過程差異，而且這種差異存在明顯的多樣性。巨大的差異和差異多樣性造成的重建誤差復雜多樣，無法用現有的針對單一降質的先驗知識和模型工具統一處理，造成魯棒性不足，效果令人不滿意的后果。