[發(fā)明專利]一種基于HR-LLE權(quán)值約束的人臉圖像超分辨率復(fù)原方法

有效

• 申請?zhí)枺?/td>: 201410099532.5
• 申請日: 2014-03-17
• 公開（公告）號: CN103971332A
• 公開（公告）日: 2014-08-06
• 發(fā)明（設(shè)計）人: 李曉光;魏振利;卓力
• 申請（專利權(quán)）人: 北京工業(yè)大學
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 北京思海天達知識產(chǎn)權(quán)代理有限公司 11203
• 代理人: 劉萍

技術(shù)領(lǐng)域

本發(fā)明屬于數(shù)字圖像處理領(lǐng)域，特別涉及一種基于HR-LLE權(quán)值約束的人臉圖像超分辨率復(fù)原方法。

背景技術(shù)

近年來，人臉檢測和識別等技術(shù)在視頻監(jiān)控、移動終端和網(wǎng)絡(luò)檢索等多媒體應(yīng)用中發(fā)揮著越來越重要的作用。人臉圖像的質(zhì)量對這些多媒體應(yīng)用的性能具有很大的影響。然而，由于受到圖像采集設(shè)備和采集環(huán)境的影響，特別是在無法控制的自然環(huán)境下，獲取到的人臉圖像通常質(zhì)量較差，難以直接應(yīng)用于后續(xù)的檢測和識別。人臉圖像采集后采用超分辨率復(fù)原（Super Resolution，SR）技術(shù)提高人臉圖像質(zhì)量顯得尤為重要。

現(xiàn)有的人臉超分辨率復(fù)原技術(shù)可以分為兩類：基于重建的方法和基于學習的方法。近年來，基于學習的方法成為研究的熱點。其主要思想是通過學習方法建立低分辨率和高分辨率圖像之間的映射關(guān)系，由機器學習獲取的先驗信息取代基于重建方法中的人為定義的約束條件。隨著流形學習理論的發(fā)展，研究者提出了一系列基于流形假設(shè)的人臉圖像超分辨率復(fù)原算法。局部線性嵌入（Locally Linear Embedding，LLE）是流形學習中具有代表性的一種非線性降維方法，近年來被很多研究者用來進行圖像的超分辨率復(fù)原，取得了一定的成績。基于LLE的人臉超分辨率復(fù)原算法都是建立在流形假設(shè)的基礎(chǔ)上，即高分辨率（High Resolution，HR）圖像（或圖像塊）和相應(yīng)的低分辨率（Low Resolution，LR）圖像（或圖像塊）具有相似的局部幾何結(jié)構(gòu)。具體在LLE中，則表現(xiàn)為LR和HR空間中對應(yīng)的像素點或圖像塊通過其周圍像素點或塊進行線性表示時，權(quán)值矢量相等。這種假設(shè)應(yīng)用于圖像超分辨率復(fù)原中，首先建立大量成對的LR-HR學習樣本庫；然后對于待重建的LR圖像，利用樣本庫中的LR樣本進行線性表示，獲得LR權(quán)值系數(shù)。重建過程采用LR權(quán)值系數(shù)直接代替HR權(quán)值系數(shù)，與樣本庫中對應(yīng)的HR圖像線性組合來預(yù)測HR圖像。然而，由于LR到HR空間的映射是一對多的映射關(guān)系，因此這種映射存在非等距性。直接用LR空間的權(quán)值取代HR空間權(quán)值將引入誤差。

發(fā)明內(nèi)容

本發(fā)明的目的在于，通過一種基于HR-LLE權(quán)值約束的人臉圖像超分辨率復(fù)原方法，將低分辨率圖像重建為分辨率較高的圖像。這里的高分辨率是指空間分辨率放大4倍或4倍以上。本發(fā)明主要針對的是人臉圖像。

本發(fā)明是采用以下技術(shù)手段實現(xiàn)的：

首先求出大量HR人臉樣本和殘差HR人臉相對于其近鄰樣本的平均重建權(quán)值約束；在重建過程中，分別利用全局和局部平均重建權(quán)值約束對傳統(tǒng)的基于LLE的人臉超分辨率重建權(quán)值求解方法進行權(quán)值約束。整體流程圖如附圖1所示。重建算法分為全局重建和局部細節(jié)補償兩個部分。這里全局重建的目的是復(fù)原標準人臉應(yīng)具備的基本特征；局部細節(jié)補償?shù)哪康氖侵亟ㄈ四槇D像應(yīng)該具有區(qū)分其他人臉的個性特征；

該方法具體包括以下步驟：

（一）全局HR-LLE權(quán)值約束重建

（1）全局平均重建權(quán)值約束

首先建立成對的HR人臉樣本圖像庫和LR人臉樣本圖像庫；利用歐式距離作為衡量標準依次找出每個LR人臉樣本的K₁個最近鄰LR人臉樣本和與其相對應(yīng)的K₁個HR人臉樣本圖像；利用傳統(tǒng)的基于LLE的權(quán)值求解方法計算出LR人臉樣本相對于其K₁個LR最近鄰樣本的重建權(quán)值；利用傳統(tǒng)的基于LLE的權(quán)值求解方法得出HR人臉樣本相對于K₁個HR最近鄰樣本的重建權(quán)值，權(quán)值結(jié)果如圖2所示；LR權(quán)值和HR權(quán)值之間存在著差別，這種差別表現(xiàn)在權(quán)值系數(shù)的整體起伏趨勢一致，但是方差不同；對LR樣本和HR樣本的重建權(quán)值求l₂范數(shù)，結(jié)果如附圖3所示。HR樣本的重建權(quán)值的l₂范數(shù)是在一個很小的范圍內(nèi)上下浮動，取大量HR樣本重建權(quán)值的l₂范數(shù)的平均值作為全局平均重建權(quán)值約束W_g。

（2）全局重建

輸入LR人臉圖像，利用歐式距離在LR人臉樣本庫中找出K₁個LR最近鄰樣本。利用本發(fā)明提出的基于HR-LLE的重建權(quán)值最優(yōu)化方法得出輸入LR人臉圖像相對于其K₁個LR最近鄰樣本的重建權(quán)值；找出K₁個LR最近鄰樣本相對應(yīng)的HR樣本；利用重建權(quán)值和K₁個HR樣本進行線性組合得到全局重建的人臉圖像。

（二）局部細節(jié)補償

（1）局部平均重建權(quán)值約束