[發(fā)明專利]基于面部特征器官相似性的人臉圖像超分辨率重建方法

無效

• 申請(qǐng)?zhí)枺?/td>: 201110278771.3
• 申請(qǐng)日: 2011-09-19
• 公開（公告）號(hào): CN102354397A
• 公開（公告）日: 2012-02-15
• 發(fā)明（設(shè)計(jì)）人: 戚金清;梁維偉;馬曉紅
• 申請(qǐng)（專利權(quán)）人: 大連理工大學(xué)
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50
• 代理公司: 大連東方專利代理有限責(zé)任公司 21212
• 代理人: 李洪福

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于面部特征器官相似性的人臉圖像超分辨率重建方法。

背景技術(shù)

圖像超分辨率重建技術(shù)的目的在于將給定的低分辨率圖像的分辨率通過數(shù)字圖像處理技術(shù)進(jìn)行有效的提升，從而得到高質(zhì)量的高分辨率圖像。人臉圖像超分辨率重建(又稱幻覺臉技術(shù))即通過給定的低分辨率正面人臉圖像重建出包含足夠有效信息的高分辨率人臉圖像，此技術(shù)目前廣泛應(yīng)用于視頻監(jiān)控、刑事偵查等安防領(lǐng)域，同時(shí)以上領(lǐng)域?qū)υ摷夹g(shù)恢復(fù)出的高分辨率人臉圖像的品質(zhì)有很高的要求。當(dāng)前普遍采用的圖像超分辨率重建技術(shù)基本分為三類：基于插值、基于重構(gòu)和基于學(xué)習(xí)。基于插值的方法根據(jù)待插入點(diǎn)的K鄰域內(nèi)的原始像素和特定的插值公式完成待插入點(diǎn)像素的估算。此方法的運(yùn)算速度取決于鄰域半徑K的大小以及插值公式的復(fù)雜度。較其它方法而言，此方法運(yùn)算速度最快，但是效果也最不理想，因此不適用于人臉圖像。基于重構(gòu)的方法利用退化后的圖像與原始低分辨率圖像間的相似度構(gòu)造代價(jià)函數(shù)方程，同時(shí)利用圖像特征先驗(yàn)信息構(gòu)造方程的正則化項(xiàng)，最后采用迭代的方法求取該正則化方程最優(yōu)解，得到最優(yōu)的高分辨率圖像，但是此方法的效果取決于所采用的圖像特征先驗(yàn)信息，最終重建的高分辨率圖像邊緣效果較好，但是運(yùn)算量較大且細(xì)節(jié)信息匱乏。基于學(xué)習(xí)的方法主要是借助一組高分辨率訓(xùn)練圖像提供的細(xì)節(jié)信息彌補(bǔ)原始低分辨率圖像所需細(xì)節(jié)信息，此方法得到的重建圖像邊緣效果一般，但圖像細(xì)節(jié)豐富，具有較好的視覺效果，因此人臉圖像超分辨率重建普遍采用基于學(xué)習(xí)的方法。

目前，研究人員和技術(shù)人員已經(jīng)提出多種人臉圖像超分辨率重建方法。方法一：基于多尺度和多方向特征的人臉圖像超分辨率重建算法，采用可操控金字塔結(jié)構(gòu)學(xué)習(xí)人臉圖像的低層次局部特征的空間分布，結(jié)合金字塔式層次結(jié)構(gòu)和局部最優(yōu)匹配算法來預(yù)測(cè)最佳高低分辨率圖像間的特征匹配。方法二：基于矢量量化的方法，訓(xùn)練高低分辨率人臉圖像之間的柵格關(guān)系模型，然后通過該模型以及訓(xùn)練圖像完成對(duì)高分辨率人臉圖像的估計(jì)。方法三：基于馬爾可夫隨機(jī)場(chǎng)的方法，該方法認(rèn)為圖像塊之間或圖像像素之間滿足一種非參數(shù)先驗(yàn)關(guān)系模型，該模型可利用馬爾可夫隨機(jī)場(chǎng)模型代替，借助此模型可以從訓(xùn)練圖像中獲取高頻信息來補(bǔ)償?shù)头直媛誓繕?biāo)人臉圖像所需高頻信息，但此方法運(yùn)算量很大。方法四：基于張量的方法，利用分層特征張量表征人臉，通過訓(xùn)練得到全局特征張量，再結(jié)合局部特征張量共同完成人臉圖像超分辨率重建。方法五：基于稀疏表達(dá)的方法，該方法認(rèn)為高分辨率圖像塊可以采用一組標(biāo)準(zhǔn)信號(hào)元的稀疏表達(dá)來描述，在圖像質(zhì)量退化不嚴(yán)重的情況下，基于壓縮感知的原理可以通過低分辨率圖像順利恢復(fù)出對(duì)應(yīng)高分辨率圖像的稀疏表達(dá)。方法六：基于特征子空間的方法，通過多元統(tǒng)計(jì)技術(shù)(MulitiVariate?Statistical?Technique)、主元分析(Principle?Component?Analysis，PCA)、多元線性分析(MultiLinear?Analysis)和非負(fù)矩陣分解(Non-negative?Matrix?Factorization，NMF)等方法將圖像轉(zhuǎn)換到特征子空間，低分辨率目標(biāo)人臉圖像可以通過低分辨率訓(xùn)練圖像的線性組合來表達(dá)，保持組合系數(shù)并將低分辨率訓(xùn)練圖像替換為對(duì)應(yīng)的高分辨率訓(xùn)練圖像，得到的輸出即為高分辨率目標(biāo)人臉圖像，此方法適應(yīng)性強(qiáng)，但需要將訓(xùn)練圖像精確配準(zhǔn)到目標(biāo)圖像。

基于學(xué)習(xí)的人臉圖像超分辨率重建方法主要有以下兩個(gè)缺陷：其一、需要復(fù)雜的預(yù)處理操作。以上所列的任一種方法均存在此缺陷，基于學(xué)習(xí)的人臉圖像超分辨率重建過程主要依賴于訓(xùn)練圖像的有效程度，即訓(xùn)練圖像與目標(biāo)圖像的整體及局部相似度。預(yù)處理過程是指為一幅目標(biāo)圖像建立有效的圖像訓(xùn)練集，一般需要多步驟復(fù)雜操作，包括圖像檢索、比例縮放、圖像配準(zhǔn)和亮度歸一化等操作，簡單預(yù)處理很難得到理想的效果，高精度的預(yù)處理方法又十分費(fèi)時(shí)(如光流法等)。如果預(yù)處理不足，重建出的高分辨率目標(biāo)圖像的效果會(huì)受到很大影響，尤其以基于特征子空間的方法所受影響最大；其二、不適宜小目標(biāo)圖像超分辨率重建。除方法六外，以上所述方法中訓(xùn)練圖像的作用均在于高頻信息補(bǔ)償，即在訓(xùn)練圖像集中檢索與目標(biāo)圖像相似的圖像或局部圖像塊的高頻信息，而訓(xùn)練圖像集的中低頻信息僅僅起到了幫助檢索的作用，并未參與到實(shí)質(zhì)的圖像超分辨率重建過程中，造成了資源的浪費(fèi)。當(dāng)目標(biāo)圖像尺寸較小時(shí)，目標(biāo)圖像本身基本不包含有效的高頻信息，僅依靠低頻圖像相似度檢索得到的高頻信息并不能起有效的補(bǔ)償作用，有時(shí)甚至?xí)?dǎo)致相反的效果。

發(fā)明內(nèi)容

本發(fā)明針對(duì)以上問題的提出，而研制一種基于面部特征器官相似性的人臉圖像超分辨率重建方法。具體技術(shù)方案如下：