[發明專利]一種基于上下文線性模型的人臉超分辨率處理方法及系統

有效

• 申請號: 201610031339.7
• 申請日: 2016-01-18
• 公開（公告）號: CN105701770B
• 公開（公告）日: 2018-12-14
• 發明（設計）人: 胡瑞敏;陳亮;周楚;李青;楊慶雄;盧正;馬蕓;韓鎮;魏雪麗;丁新;渠慎明
• 申請（專利權）人: 武漢大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 魏波

本發明公開了一種基于上下文線性模型的人臉超分辨率處理方法及系統，通過構建訓練庫；采用相同的分塊方式將待處理低分辨率人臉圖像和訓練庫中圖像劃分為具交疊部分的圖像塊；對待處理低分辨率人臉圖像塊，逐一構建毗鄰塊空間；用目標位置的塊的每一個毗鄰塊，輔助估計出對應的高分辨率塊，得到一個高分辨率塊集合；通過分別計算待處理低分辨率圖像和訓練庫中低分辨率圖像中，目標塊與毗鄰塊的關系，決定在低分辨率庫中的權重系數；融合高分辨率估計集合為一個高分辨率估計塊；最終拼接高分辨率人臉圖像塊。本發明可顯著提高恢復圖像的視覺感受，特別適用于低質量監控環境下人臉圖像的恢復。

技術領域

本發明屬于圖像處理和圖像恢復技術領域，具體涉及一種基于上下文線性模型約束的人臉超分辨率處理方法及系統。

背景技術

人臉超分辨率技術是通過輔助訓練庫，學習高低分辨率對應關系，進而達到從已有的低分辨率人臉圖像中估計出高分辨率人臉圖像的目的。人臉超分辨率現在被廣泛應用于多個領域，其中最具代表性的領域之一就是監控錄像中的人臉圖像增強。隨著監控系統的廣泛普及，監控視頻在刑事取證和刑偵調查過程中發揮著越來越重要的作用。而人臉圖像作為直接證據之一，在案件分析和法庭取證中占據著重要的位置。然而，由于現有條件下，目標嫌疑人與攝像頭距離相對較遠，捕捉到的監控人臉可用像素非常少，兼之真實情況下由于惡劣天氣(例如：雨霧)、光照(例如：光照過強、過暗、明暗不均)、器件等因素對捕獲的圖像引發的嚴重損毀(例如：嚴重的模糊和噪聲)，圖像恢復、放大和辨識往往受到嚴重的干擾。這就需要用到人臉超分辨率技術提升圖像分辨率，從低分辨率圖像恢復到高分辨率圖像。

近年來，流形學習逐漸成為了人臉超分辨率的主流方法。這類方法的核心思想是：描述低分辨率圖像的流形空間關系，尋找出每個低分辨率圖像數據點周圍的局部性質，然后將低分辨率圖像的流形非線性地映射到高分辨率圖像的流形空間中，在高分辨率對應空間上做投影，從而合成高分辨圖像。具有代表性的有以下幾種方法：2004年，Chang等首次將流形學習法引入圖像超分辨率重構中([文獻1])，提出了一種鄰域嵌入的圖像超分辨率重構法。Sung Won Park提出一種基于局部保持投影的自適應流形學習方法([文獻2])，從局部子流形分析人臉的內在特征，重構出低分辨率圖像缺失的高頻成分。2005年，Wang提出一種基于PCA(Principal component analysis，主成分分析)分解的方法([文獻3])，把低分辨率待處理圖像用低分辨率空間的主成分的線性組合表示，投影系數到對應的高分辨率主成分空間獲得最終結果。該方法對早上具有較好的魯棒性，但是仍然在結果圖像的邊緣存在鬼影、混疊的現象。2010年，Huang提出基于CCA(Canonical Correlation Analysis)的方法([文獻4])，通過將PCA空間延伸至CCA空間，進一步解決了這個問題。同年，Lan針對監控環境下嚴重的模糊和噪聲導致的圖像像素損毀嚴重的問題，提出一種基于形狀約束的人臉超分辨率方法([文獻5])，在傳統PCA架構中添加形狀約束作為相似度度量準則，利用人眼睛識別形狀時對干擾的魯棒性來人工添加形狀特征點作為約束，優化低質量圖像的重建結果。綜上所述，現有的這些方法大多僅按照傳統的技術思路以圖像塊本身的子空間信息作為目標學習庫進行高低分辨率關系學習，這種一對一的學習過程作為算法基礎。只考慮了待處理圖像塊是處在一個流行空間中的，忽略了所有在庫的圖像塊都是處于流行空間中的情況。因此雖然在處理一般環境下低質量圖像的過程中，可以得到不錯的效果。但是圖像質量很低的時候，像素會遭到嚴重的毀壞混疊，圖像本身的子空間信息因此很容易遭到損壞，用傳統方法恢復出來的圖像，效果并不令人滿意。

[文獻1]H.Chang,D.-Y.Yeung,and Y.Xiong,“Super-resolution throughneighbor embedding,”in Proc.IEEE Conf.Comput.Vis.Pattern Recog.,Jul.2004,pp.275–282.