[發(fā)明專利]眼鏡遮擋下的人臉識(shí)別方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 200910093261.1
• 申請(qǐng)日: 2009-09-24
• 公開(kāi)（公告）號(hào): CN102034079A
• 公開(kāi)（公告）日: 2011-04-27
• 發(fā)明（設(shè)計(jì)）人: 劉昌平;黃磊;熊鵬飛
• 申請(qǐng)（專利權(quán)）人: 漢王科技股份有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 北京瑞盟知識(shí)產(chǎn)權(quán)代理有限公司 11300
• 代理人: 王友彭;王玉華

技術(shù)領(lǐng)域

本發(fā)明屬于模式識(shí)別領(lǐng)域，具體涉及一種有遮擋的人臉識(shí)別方法和系統(tǒng)。

背景技術(shù)

人臉識(shí)別作為一種重要的身份鑒別技術(shù)，在安全、金融、人機(jī)交互、信息、教育等諸多領(lǐng)域有著廣泛的應(yīng)用前景。目前的人臉識(shí)別系統(tǒng)通過(guò)將模版庫(kù)中的模板圖像與待識(shí)別人臉形成的識(shí)別圖像相比較來(lái)進(jìn)行人臉識(shí)別，在模板圖像與識(shí)別圖像獲取條件基本一致時(shí)有很好的識(shí)別效果。但識(shí)別圖像存在遮擋物而模板圖像無(wú)遮擋時(shí)，會(huì)由于圖像之間特征的差異而降低識(shí)別率，其中眼鏡的遮擋尤為突出，由于眼鏡鏡框紋理、形狀、位置、鏡片顏色、模糊程度和鏡片反光等因素的變化，使人臉形成的識(shí)別圖像穩(wěn)定性下降，因此眼鏡遮擋的人臉識(shí)別難以進(jìn)行識(shí)別。而隨著日常生活中人們配戴眼鏡的比例越來(lái)越高，眼鏡對(duì)人臉的遮擋則成為了人臉識(shí)別中必須解決的一個(gè)問(wèn)題，現(xiàn)有技術(shù)對(duì)該問(wèn)題進(jìn)行了不斷的研究和討論。

目前主要的解決眼鏡遮擋的人臉識(shí)別方法可以分為兩類：一類是圖像分塊，從遮擋圖像中獲得未被遮擋的圖像特征；一類是眼鏡消除，從遮擋圖像中消除眼鏡，獲得無(wú)眼鏡的對(duì)應(yīng)圖像。

1、基于圖像分塊的方法

基于圖像分塊的方法把人臉圖像劃分成很多小塊，檢測(cè)每一塊是否被遮擋，從而從未被遮擋的小塊中提取特征作為該圖像的特征進(jìn)行識(shí)別。比較典型的是Hyun?Jun?Oh等人在“In?Proceedings?Asian?Conference?on?Computer?Vision”，2006，Vol.3851，pp.120-129，Jan.2006”上提到的的方法，他把人臉?lè)殖珊芏嘈K，利用最近鄰的分類方法檢測(cè)每一小塊是否為遮擋區(qū)域，繼而從未被遮擋的小塊中獲取圖像特征進(jìn)行識(shí)別。特征的選擇是根據(jù)大量的樣本分成同樣的小塊后獲得的每一塊的NMF(nonnegative?matrix?factorization)特征。這類方法過(guò)于依賴區(qū)域檢測(cè)結(jié)果，區(qū)域檢測(cè)的方法一般為從訓(xùn)練樣本學(xué)習(xí)出分類器進(jìn)行檢測(cè)，本身檢測(cè)的結(jié)果便會(huì)有誤差。同時(shí)區(qū)域劃分的方法在粗劃分時(shí)容易造成圖像大面積的丟失，使得未被遮擋的圖像區(qū)域難以描述整幅圖像特征，而進(jìn)行細(xì)劃分時(shí)，雖然對(duì)整張人臉特征的描述更為準(zhǔn)確，但也給識(shí)別的效率帶來(lái)了負(fù)擔(dān)。

2、基于眼鏡消除的方法

基于眼鏡消除的方法通過(guò)學(xué)習(xí)帶眼鏡圖像與對(duì)應(yīng)無(wú)眼鏡圖像之間的關(guān)系來(lái)消除圖像中的眼鏡遮擋。其主要思路是用主成分分析(Principal?Component?Analysis)的方法訓(xùn)練一批沒(méi)有配戴眼鏡的圖像，投影戴眼鏡的人臉圖像到該空間以獲得無(wú)眼鏡圖像特征對(duì)戴眼鏡圖像的描述，從而重建出對(duì)應(yīng)摘掉眼鏡的人臉圖像。最早由Saito在“International?Conference?on?Image?Processing”，Vol.4，pp.197-201，Oct.1999”中提出，之后又有Du等人在《Pattern?Recognition?Letters》，Vol.26，pp.2215-2220，Oct.2005上做了一定的改進(jìn)：先利用閾值強(qiáng)化重建的圖像與原圖像之間的差異獲得眼鏡的區(qū)域，通過(guò)迭代的方法逐漸消除原圖中眼鏡區(qū)域，使得重建的圖像更為真實(shí)。在這其中，應(yīng)用了各種眼鏡檢測(cè)的方法，比如主動(dòng)形狀模型(active?shape?model)、snake模型、人工神經(jīng)網(wǎng)絡(luò)(Artificial?Neural?Networks)、Hough變換等方法，但這類方法的問(wèn)題在于：過(guò)于依賴眼鏡檢測(cè)的結(jié)果，而由于眼鏡的多樣性，本身眼鏡檢測(cè)就難以達(dá)到要求；重建圖像存在失真，重建圖像由訓(xùn)練樣本線性組成，必然與原圖存在差異；對(duì)于鏡片模糊或者有反光的情況以及鏡框顏色較深的情況都表現(xiàn)很差，重建圖像中總會(huì)有鏡框和黑斑等遺留的存在，需要特定的戴眼鏡與對(duì)應(yīng)無(wú)眼鏡樣本進(jìn)行學(xué)習(xí)。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問(wèn)題是提供了一種眼鏡遮擋下的人臉識(shí)別方法和系統(tǒng)。通過(guò)對(duì)單張人臉圖像重建出其姿態(tài)校正后的模型，在模型上添加各種眼鏡模型，粘貼人臉和眼鏡紋理，并對(duì)眼鏡模型的鏡片做相應(yīng)模糊和反光處理，投影模型生成虛擬樣本進(jìn)行識(shí)別。不需要大規(guī)模的特定樣本集進(jìn)行先驗(yàn)知識(shí)學(xué)習(xí)和大量的三維數(shù)據(jù)庫(kù)，重建效率更高，模擬更加真實(shí)。

一種眼鏡遮擋下人臉識(shí)別方法，包含以下步驟：

步驟1、輸入單張無(wú)眼鏡人臉圖像和通用人臉網(wǎng)格模型，將人臉圖像與通用人臉網(wǎng)格模型調(diào)整到同一坐標(biāo)系下，得到粗略人臉網(wǎng)格模型；

步驟2、對(duì)粗略人臉網(wǎng)格模型進(jìn)行處理，獲得姿態(tài)校正后的精細(xì)人臉網(wǎng)格模型；

步驟3、在精細(xì)人臉網(wǎng)格模型上添加眼鏡網(wǎng)格模型，并粘貼人臉和眼鏡的紋理，獲得真實(shí)感人臉模型；