[發(fā)明專利]一種多尺度空間約束的人臉超分辨率處理方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201810354511.1
• 申請日: 2018-04-19
• 公開（公告）號: CN108550114B
• 公開（公告）日: 2022-03-15
• 發(fā)明（設計）人: 陳亮;吳慶祥;林貴敏;楊正;吳怡;鄭云
• 申請（專利權）人: 福建師范大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T3/00;G06T5/50
• 代理公司: 福州君誠知識產(chǎn)權代理有限公司 35211
• 代理人: 戴雨君

本發(fā)明公開一種多尺度空間約束的人臉超分辨率處理方法及系統(tǒng)，方法步驟：S1：構建多尺度訓練庫；S2：根據(jù)輸入的待測圖像構建多尺度輸入；S3：采用相同分塊方式將待處理低分辨率人臉圖像和訓練庫中圖像劃分為具交疊部分的圖像塊；S4：對多尺度訓練庫預處理得到每一個數(shù)據(jù)點對應的局部關系；S5：為每一個尺度條件下的輸入尋找錨點近鄰；S6：通過錨點近鄰和預處理局部關系確定待處理低分辨率人臉圖像塊的近鄰索引集合；S7：確定近鄰樣本集合；S8：根據(jù)已有近鄰集合和多尺度輸入求出最佳近鄰系數(shù)；S9：根據(jù)已有近鄰集合和最佳近鄰系數(shù)重建局部圖像塊結果；S10：拼接高分辨率人臉圖像塊。本發(fā)明可顯著提高恢復圖像的視覺感受，適用于低質(zhì)量監(jiān)控環(huán)境的人臉圖像恢復。

技術領域

本發(fā)明涉及圖像處理和圖像恢復技術領域，尤其涉及一種多尺度空間約束的人臉超分辨率處理方法及系統(tǒng)。

背景技術

人臉超分辨率技術是通過輔助訓練庫，學習高低分辨率對應關系，進而達到從已有的低分辨率人臉圖像中估計出高分辨率人臉圖像的目的。人臉超分辨率現(xiàn)在被廣泛應用于多個領域，其中最具代表性的領域之一就是監(jiān)控錄像中的人臉圖像增強。隨著監(jiān)控系統(tǒng)的廣泛普及，監(jiān)控視頻在刑事取證和刑偵調(diào)查過程中發(fā)揮著越來越重要的作用。而人臉圖像作為直接證據(jù)之一，在案件分析和法庭取證中占據(jù)著重要的位置。然而，由于圖像捕獲環(huán)境的限制，以監(jiān)控環(huán)境為代表的實際條件中，目標嫌疑人的人臉有效像素低下，導致辨識過程和圖像增強過程難度系數(shù)大大增加，因此需采用人臉超分辨率技術提升圖像有效尺寸和有效分辨率，達到從低分辨率圖像恢復到高分辨率圖像的目的。

為達到監(jiān)控視頻人臉的有效恢復，改進算法甚至犧牲效率來換取算法的有效性和易用性還是很有必要的(人臉對齊、大圖像庫引起的)。具體做法除了引入有效計算工具和數(shù)據(jù)利用形式之外，還可以通過提出新的先驗模型和圖像模式為解決這種問題提供約束。

近年來，流形學習成為了人臉超分辨率的經(jīng)典算法之一。這類方法的核心思想是：對高低分辨率兩個樣本空間，尋找出每個低分辨率圖像數(shù)據(jù)點周圍的局部性質(zhì)，然后將低分辨率圖像的流形局部性質(zhì)非線性地映射到高分辨率圖像的流形空間中，在高分辨率對應空間上做投影，從而合成高分辨圖像。具有代表性的有以下幾種方法：2004年，Chang^[1]等首次將流形學習法引入圖像超分辨率重構中，提出了一種鄰域嵌入的圖像超分辨率重構法。Sung Won Park^[2]提出一種基于局部保持投影的自適應流形學習方法，從局部子流形分析人臉的內(nèi)在特征，重構出低分辨率圖像缺失的高頻成分。2010年，Huang^[4]提出基于CCA(Canonical Correlation Analysis，CCA)的方法，通過將PCA(Principal ComponentAnalysis，PCA) 空間延伸至CCA空間，進一步解決了這個問題。同年，Lan^[5]針對監(jiān)控環(huán)境下嚴重的模糊和噪聲導致的圖像像素損毀嚴重的問題，提出一種基于形狀約束的人臉超分辨率方法，在傳統(tǒng)PCA 架構中添加形狀約束作為相似度度量準則，利用人眼睛識別形狀時對干擾的魯棒性來人工添加形狀特征點作為約束，優(yōu)化低質(zhì)量圖像的重建結果。綜上所述，現(xiàn)有的這些方法大多僅按照傳統(tǒng)的技術思路以待處理圖像中殘存的高頻細節(jié)為局部關系的距離度量準則，忽略了在低質(zhì)量圖像中也能保存較為完整的中低頻信息。因此雖然在重建一般環(huán)境下低質(zhì)量圖像的過程中，可以得到不錯的效果，但是面對以監(jiān)控為代表的嚴重噪聲圖像時，高頻細節(jié)的損毀導致了這種以高頻細節(jié)為主要考慮對象距離度量準則不再精確，嚴重影響了局部關系描述的精準程度，圖像本身的子空間信息因此很容易遭到損壞，用傳統(tǒng)方法恢復出來的圖像，效果并不令人滿意。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術的不足，提供一種多尺度空間約束的人臉超分辨率處理方法及系統(tǒng)，尤其適用于低質(zhì)量監(jiān)控視頻中人臉圖像的恢復。

本發(fā)明采用的技術方案是：

一種多尺度空間約束的人臉超分辨率處理方法，其包括以下步驟：