[發明專利]一種基于深度學習的近紅外人臉圖像超分辨率重建方法

有效

• 申請號: 201710282054.5
• 申請日: 2017-04-26
• 公開（公告）號: CN107123091B
• 公開（公告）日: 2020-02-14
• 發明（設計）人: 李根;童同;高欽泉
• 申請（專利權）人: 福建帝視信息科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 35211 福州君誠知識產權代理有限公司
• 代理人: 戴雨君

本發明公開一種基于深度學習的近紅外人臉圖像超分辨率重建方法，其包括如下步驟：步驟1，利用人臉圖像中兩個眼睛的相對位置，把原始近紅外人臉圖像中所有人臉圖像位置對齊；步驟2，將對齊后獲得的人臉訓練集以固定比例轉換獲得包含K幅超分辨率人臉圖像訓練圖步驟3，將超分辨率人臉圖像訓練圖以縮放比例S生成其一一對應的K幅低分辨率人臉圖像訓練圖步驟4，利用低分辨率人臉圖像訓練圖獲得重建的超分辨率人臉圖像F_l″(Y)；步驟5，計算重建的超分辨率人臉圖像F_l″(Y)與超分辨率人臉圖像訓練圖中的對應的圖像之間的歐式距離；步驟6，基于歐式距離優化獲得最優的卷積權值參數和偏置參數。本發明極大的提高了人臉圖像重建效果。

技術領域

本發明涉及計算機圖像超分辨率領域，尤其涉及一種基于深度學習的近紅外人臉圖像超分辨率重建方法。

背景技術

人臉圖像超分辨率重建是一種從低分辨率人臉圖像重建出其相應的高分辨率人臉圖像的技術。該技術在智能視頻監控、人臉檢測與識別、面部表情識別、人臉識別測顏齡等領域具有廣泛的應用前景。

在實際應用環境中，行人常常與監控攝像機的距離較遠，或者攝像頭的光學分辨率不夠，捕捉到的人臉往往分辨率較低，缺乏很多面部細節特征信息，從而人臉圖像修復、放大和辨識受到嚴重干擾。因此在無需更高的硬件設備的情況下，很多領域利用人臉超分辨率重建算法提高人臉圖像的分辨率，在安防監控、刑偵和取證領域有著廣泛的應用。

人臉圖像是由眼睛、鼻子、嘴唇、眉毛和耳朵等五種人體器官組成。Baker和Kanade首次提出一種專門只針對人臉的超分辨率重建技術^[1]。人臉超分辨率重建技術可以細分為基于重建的方法和基于學習的方法。基于重建的方法是通過先驗約束縮小求解范圍以獲得人臉超分辨率圖像。而基于學習的法是通過訓練集的人臉低分辨率圖像和其對應的人臉超分辨率圖像中存在的空間關系來重建出人臉超分辨率圖像。

目前有以下幾種較具代表性的基于學習的方法算法：Wang等人提出分別構建高分辨率與低分辨率的子空間，將求得的低分辨率圖像在子空間的表達系數投影到高分辨率空間上，從而獲得超分辨率人臉圖像^[2]。Liu等人提出先利用局部保持投影和徑向函數回歸得到全局的人臉圖像，再由基于局部重建的方法補償人臉特征的細節信息，從而獲得人臉圖像高分辨圖像^[3]。Park等人提出了基于局部保持投影的自適應流形學習方法，從局部子流形分析人臉的內在特征后重構低分辨率人臉圖像中缺失的高頻成分^[4]。Huang等人提出一種基于經典相關分析的方法，求得人臉高分辨率與低分辨率的相關性，從而獲得全局人臉高分辨率的圖像和面部細節信息^[5]。Ma等人利用位置塊的線性權重投影算法重構出超分辨率的人臉圖像^[6]。中國公開專利“基于非線性壓縮感知的人臉圖像超分辨率重構方法”(公開號CN104952053A，公開日為2015.09.30)采用了核主成分分析得到稀疏系數，并且構造非線性壓縮感知超分辨率重構模型。中國公開專利“基于局部約束低秩表示的人臉超分辨率重建方法”(公開號CN105469359A，公開日為2016.04.06)采用了局部約束和低秩約束條件下求得最優權重系數，結合其系數重建超分辨率人臉圖像。

雖然相關研究已經得到長足的發展，但可見光條件下人臉圖像超分辨率技術容易受到光照變化、光照不均勻等外界光線變化的影響，從而導致人臉超分辨率圖像亮度失真或者重建超分辨率效果并不令人滿意。最近，為了降低外界光線變化的影響，中國公開專利“基于稀疏字典和非上采樣Contourlet變換的紅外圖像超分辨率重建方法”(公開號CN104680502A，公開日為2015.06.03)采用了稀疏字典和非下采樣Contourlet變換的方法重建紅外圖像超分辨率。雖然紅外圖像對于光照變化具有很好的適應性，但是無法捕捉人臉面部細節信息。

參考文獻如下：