[發明專利]一種高低頻成分融合的人臉超分辨率處理方法及系統

有效

• 申請號: 201910290815.0
• 申請日: 2019-04-11
• 公開（公告）號: CN110490796B
• 公開（公告）日: 2023-02-14
• 發明（設計）人: 陳亮;吳怡;吳慶祥;林貴敏;徐哲鑫
• 申請（專利權）人: 福建師范大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 福州君誠知識產權代理有限公司 35211
• 代理人: 戴雨君

本發明公開一種高低頻成分融合的人臉超分辨率處理方法及系統，包括：S1：構建多尺度訓練庫；S2：采用相同的分塊方式將待處理低分辨率人臉圖像和訓練庫中圖像劃分為具交疊部分的圖像塊；S3：預處理模塊，分別為高分辨率人臉圖像庫和重度低分辨率人臉圖像庫做預處理，為各個庫準備預處理的近鄰關系；S4：低頻成分確定模塊，為待處理低分辨率人臉圖像確定低頻成分；S5：高頻成分確定模塊，將低頻成分確定模塊的結果作為輸入，利用神經網絡確定重建圖像塊，作為待處理低分辨率人臉圖像確定高頻成分；S6：拼接高分辨率人臉圖像塊。本發明可顯著提高恢復圖像的視覺感受，特別適用于低質量監控環境下人臉圖像的恢復。

技術領域

本發明涉及圖像處理和圖像恢復技術領域，具體涉及一種高低頻成分融合的人臉超分辨率處理方法及系統。

背景技術

人臉超分辨率技術是通過輔助訓練庫，學習高低分辨率對應關系，進而達到從已有的低分辨率人臉圖像中估計出高分辨率人臉圖像的目的。人臉超分辨率現在被廣泛應用于多個領域，其中最具代表性的領域之一就是監控錄像中的人臉圖像增強。隨著監控系統的廣泛普及，監控視頻在刑事取證和刑偵調查過程中發揮著越來越重要的作用。而人臉圖像作為直接證據之一，在案件分析和法庭取證中占據著重要的位置。然而，由于圖像捕獲環境的限制，以監控環境為代表的實際條件中，目標嫌疑人的人臉有效像素低下，導致辨識過程和圖像增強過程難度系數大大增加，因此需采用人臉超分辨率技術提升圖像有效尺寸和有效分辨率，達到從低分辨率圖像恢復到高分辨率圖像的目的。

為達到監控視頻人臉的有效恢復，改進算法甚至犧牲效率來換取算法的有效性和易用性還是很有必要的(人臉對齊、大圖像庫引起的)。具體做法除了引入有效計算工具和數據利用形式之外，還可以通過提出新的先驗模型和圖像模式為解決這種問題提供約束。

近年來，流形學習成為了人臉超分辨率的經典算法之一。這類方法的核心思想是：對高低分辨率兩個樣本空間，尋找出每個低分辨率圖像數據點周圍的局部性質，然后將低分辨率圖像的流形局部性質非線性地映射到高分辨率圖像的流形空間中，在高分辨率對應空間上做投影，從而合成高分辨圖像。具有代表性的有以下幾種方法：2004年， Chang^[1]等首次將流形學習法引入圖像超分辨率重構中，提出了一種鄰域嵌入的圖像超分辨率重構法。Sung Won Park^[2]提出一種基于局部保持投影的自適應流形學習方法，從局部子流形分析人臉的內在特征，重構出低分辨率圖像缺失的高頻成分。2010年， Huang^[4]提出基于CCA(Canonical Correlation Analysis，CCA)的方法，通過將PCA (Principal ComponentAnalysis，PCA)空間延伸至CCA空間，進一步解決了這個問題。同年，Lan^[5]針對監控環境下嚴重的模糊和噪聲導致的圖像像素損毀嚴重的問題，提出一種基于形狀約束的人臉超分辨率方法，在傳統PCA架構中添加形狀約束作為相似度度量準則，利用人眼睛識別形狀時對干擾的魯棒性來人工添加形狀特征點作為約束，優化低質量圖像的重建結果。綜上所述，現有的這些方法大多僅按照傳統的技術思路以待處理圖像中殘存的高頻細節為局部關系的距離度量準則，忽略了在低質量圖像中也能保存較為完整的中低頻信息。因此雖然在重建一般環境下低質量圖像的過程中，可以得到不錯的效果，但是面對以監控為代表的嚴重噪聲圖像時，高頻細節的損毀導致了這種以高頻細節為主要考慮對象距離度量準則不再精確，嚴重影響了局部關系描述的精準程度，圖像本身的子空間信息因此很容易遭到損壞，用傳統方法恢復出來的圖像，效果并不令人滿意。

文中涉及如下參考文獻：

[1]H.Chang,D.Y.Yeung,and Y.Xiong,“Super-resolution through neighborembedding,”in Proc.IEEE Conf.Comput.Vis.Pattern Recog.,Jul.2004,pp.275–282.