[發明專利]基于Gabor特征的人臉素描合成方法及系統

在審

• 申請號: 201410349998.6
• 申請日: 2014-07-22
• 公開（公告）號: CN104077742A
• 公開（公告）日: 2014-10-01
• 發明（設計）人: 胡瑞敏;關健;江俊君;韓鎮;董小慧
• 申請（專利權）人: 武漢大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 胡艷

技術領域

本發明屬于人臉素描合成技術領域，具體涉及一種基于Gabor特征的人臉素描合成方法及系統。

背景技術

近年來，從人臉照片數據庫檢索犯罪嫌疑人照片作為一種刑事偵查手段，已廣泛應用于執法工作中。但是嫌疑人照片有時無法獲取，只能通過畫家根據目擊者回憶畫出嫌疑人的人臉素描，再采用人臉幅素描進行檢索。然而，由于人臉素描和人臉照片的明顯異質性，加之人臉素描的生成過程中，涉及未知的心理機制影響，因此采用傳統人臉識別方法識別人臉素描的準確度很低。解決該問題的方法之一就是根據人臉素描和人臉照片合成偽人臉照片或偽人臉素描。此外，在生活娛樂方面，人臉素描大多由專業美術人員手工或通過繪畫軟件創作而來，偽人臉素描和偽人臉照片的合成也可以減輕美術工作人員的負擔，并增加創作靈感。

現存的素描合成方法包括三類：基于參數估計的全局臉方法、基于圖像修復的局部臉方法和聯合方法。

(1)基于參數估計的全局臉方法

2003年Tang等^[1]提出了一種基于特征臉的素描合成方法，該方法基于特征變換，把彩色圖的紋理和形狀變換為素描圖的紋理和圖像。由于全局臉模型的表達力不夠，該方法在合成頭發和臉部細節時，效果不佳。

(2)基于圖像修復的局部臉方法

Liu等^[2]受局部線性嵌入(locally?linear?embedding，LLE)的啟發，提出了一種幾何結構局部線性保留的合成方法，該方法在初始估計過程中，容易丟失細節信息，也稱作殘差，從這點來說，該方法拓寬了人們對合成的認識。

Tang等^[3]提出了多尺度的馬爾科夫隨機場(Multi-scale?Markov?Random?Field，也稱MMRF)模型，在光照條件且正面人臉下，取得了很好效果。在此基礎上，Zhang等^[4]基于塊描述子得到了一種新的素描合成方法，該方法克服了馬爾科夫隨機場模型中存在的不同姿勢和不同光照下合成效果不理想的問題。

最近，Chang等^[5]提出基于稀疏編碼(sparse?coding)合成素描，并首次通過稀疏編碼學習出耦合字典素描塊字典和塊字典。考慮到候選素描的權重組合將導致高頻信息的丟失，Ji等^[6]從正則化角度進行了稀疏編碼。此外，Wang等^[7]提出了半耦合字典學習方法。

(3)聯合方法

主要以Tu等人^[8]為代表，Tu等人^[8]提出了考慮了局部特征和全局幾何結構的方向聯合(direct?combined)模型，并將該模型用于素描合成。

現有的素描合成方法均是采用歐氏距離度量兩個圖像或圖像塊，由于光照對像素影響很大，由于光照變化會導致高頻信息丟失，合成效果急劇下降，因此上述方法的合成效果需進一步加強，還需要尋找對光照更魯棒的特征空間。

發明內容

針對現有技術存在的問題，本發明提供了一種可進一步提高人臉素描合成質量的、基于GABOR特征的人臉素描合成方法及系統。

為解決上述技術問題，本發明采用如下的技術方案：

一、基于Gabor特征的人臉素描合成方法，包括步驟：

步驟1，將待合成人臉照片、人臉照片訓練集中人臉照片樣本以及人臉素描訓練集中人臉素描樣本劃分為相互重疊的像素塊，待合成人臉照片、人臉照片樣本及人臉素描樣本大小相同，且人臉照片樣本和人臉素描樣本一一對應；

步驟2，提取各像素塊的Gabor特征，基于像素塊Gabor特征的協方差矩陣獲得第一Stein散度矩陣和第二Stein散度矩陣，其中，第一Stein散度矩陣為待合成人臉照片像素塊和各人臉照片樣本像素塊間的Stein散度矩陣，第二Stein散度矩陣為不同人臉照片樣本像素塊間的Stein散度矩陣；

步驟3，基于第一Stein散度矩陣、第二Stein散度矩陣及各人臉照片樣本像素塊的重建系數，采用正則最小二乘法獲得第二Stein散度矩陣對第一Stein散度矩陣進行線性組合的最優權值；

步驟4，采用最優權值將各人臉素描樣本對應位置的像素塊加權合成，獲得該對應位置像素塊的合成人臉素描像素塊；

步驟5，將合成人臉素描像素塊按其在人臉上位置進行融合，獲得待合成人臉照片對應的合成人臉素描。

步驟2中所述的提取各像素塊的Gabor特征具體為：