[發明專利]一種基于非負矩陣分解的人臉超分辨率處理方法

有效

• 申請號: 200910273414.0
• 申請日: 2009-12-25
• 公開（公告）號: CN101719270A
• 公開（公告）日: 2010-06-02
• 發明（設計）人: 胡瑞敏;蘭誠棟;羅定;韓鎮;盧濤
• 申請（專利權）人: 武漢大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T3/00
• 代理公司: 武漢華旭知識產權事務所 42214
• 代理人: 周宗貴

技術領域

本發明涉及圖像分辨率處理技術領域，尤其涉及一種基于非負矩陣分解的人臉超分辨率 處理方法。

背景技術

在大部分的監控場景中，攝像頭和場景中的感興趣物體有較遠的距離，這經常導致這些 物體具有很低的分辨率，監控視頻中的人臉是最常見的感興趣物體之一。由于低分辨率人臉 圖像丟失了很多人臉的特征細節，人臉經常難以辨識，人臉圖像的分辨率變成了制約人臉識 別和主觀辨認等應用性能的重要因素，有效增強人臉圖像分辨率成為亟待解決的問題。

近年來，許多超分辨率技術已經被提出，大部分超分辨率算法試著從多幀的低分辨率圖 像序列產生一個超分辨圖像，但是由于監控視頻的幀間存在復雜的局部運動，不一定滿足簡 單的亞像素全局運動關系(如平移、旋轉和縮放等)，這導致幀間信息的互補與融合變得異常 困難，因此，我們更加關注利用圖像先驗知識的正則化來提高監控圖像的分辨率。

馬爾可夫隨機場模型是一種超分辨率中常用的圖像模型，它假設圖像是由不連續的一個 個光滑區域組成，且每個像素只與周邊鄰域內的像素相關，2000年，Freeman等從不同的角度 考慮了相似的問題，他們不建立顯式的圖像正則化模型，而是在MAP框架中結合了貝葉斯網 絡的方法來推測圖像分塊的高頻信息，他們提出的算法定義了一個局部概率，該概率考慮了 低分辨率分塊和樣本數據庫分塊之間的相似性，并且考慮了高分辨率圖像的相鄰分塊之間的 兼容性，最后利用貝葉斯信任傳播機制求得最大后驗概率的分塊。這些方法非常適合于合成 普通圖像的局部紋理，但是沒有考慮人臉圖像特殊的結構信息。

2002年，Baker和Kanade將基于樣本學習的方法進一步運用到人臉超分辨率中，并稱為 “幻覺臉”技術，“幻覺臉”技術采用圖像金字塔模型，選擇人臉圖像的水平和垂直方向的導數 和拉普拉斯金字塔作為特征空間，通過離線學習得到映射，該映射反映了原始圖像在不同分 辨率下的灰度對應關系，以此作為人臉圖像的先驗信息。雖然得到的人臉圖像在有些部位仍 存在較大的噪聲，但這種方法獲得了比傳統重建方法和插值更好的效果，開創了“幻覺臉”技 術的新時代。2005年，Wang和Tang使用特征值變換來改造幻覺臉算法，利用PCA方法將輸 入的低分辨率圖像擬合成為樣本庫中低分辨率圖像的線性表達，并將表達參數映射到高分辨 率圖像空間，這種方法考慮到了圖像的全局特征但是沒有關注人臉圖像的局部特征。

在人臉超分辨率中，PCA是最常用的人臉圖像分解和表達的方法，PCA是一種降維方法， 考慮了維數的降低和冗余的減少，但它的特征是整體的，沒有考慮特征基圖像的表達能力， 并不是很好面向重建合成的分解方法。NMF(Nonnegative?Matrix?Fac-torization，非負矩陣分 解)是一種線性，非負近似的數據表達方法，它的一個重要限制是基圖像和系數的非負性， 即只允許非負部分的加性結合，而PCA方法允許主成分的負數結合，相比于NMF，PCA的 分解結果是不直觀的，并且很難解釋因為PCA允許基圖像的減法合成。PCA產生一個基于整 體的表達而NMF由于非負的限制得到了基于部分的表達。

發明內容

本發明的目的是提供一種基于非負矩陣分解的人臉超分辨率處理方法，以解決傳統基于 PCA方法過程中沒有考慮局部結構特性，特征表達能力不強，難以語義解釋等問題。

為達到上述目的，本發明采用如下的技術方案：

對樣本庫高分辨率人臉圖像進行人臉對齊；

讀入對齊后的樣本圖像庫；

利用非負矩陣分解算法進行分解操作獲得基圖像W；

將輸入的低分辨率人臉圖像進行對齊；

獲得目標高分辨率人臉圖像的非負矩陣分解表達系數e；

結合基圖像W和表達系數e得到中間高分辨率圖像Z₁＝We；

對樣本庫人臉圖像重要區域進行分割；

對分割得到的局部區域分別獨立進行非負矩陣分解LRNMF(Local?Region?Non-negative Matrix?Factorization，局部區域非負矩陣分解)；

對對齊后的輸入圖像的局部區域分別進行合成；

將合成的局部區域與圖像Z₁進行加權結合獲得超分辨率圖像Z₂。

所述利用非負矩陣分解算法進行分解操作獲得基圖像W的步驟包括以下子步驟：