[發(fā)明專利]一種基于級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)的人臉關(guān)鍵點(diǎn)檢測方法

在審

• 申請?zhí)枺?/td>: 201410053321.8
• 申請日: 2014-02-17
• 公開（公告）號(hào): CN103824049A
• 公開（公告）日: 2014-05-28
• 發(fā)明（設(shè)計(jì)）人: 姜宇寧;印奇;曹志敏
• 申請（專利權(quán)）人: 北京曠視科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/66;G06N3/02
• 代理公司: 北京君尚知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11200
• 代理人: 余長江

技術(shù)領(lǐng)域

本發(fā)明屬于數(shù)字圖像處理及人臉識(shí)別技術(shù)領(lǐng)域，具體涉及一種基于級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)的人臉關(guān)鍵點(diǎn)檢測方法。

背景技術(shù)

人臉關(guān)鍵點(diǎn)檢測（facial?landmark?detection），即給定一張人臉圖片，要從中準(zhǔn)確定位出一系列關(guān)鍵點(diǎn)（如瞳孔，眼角，眉角，嘴角，唇沿等等）的位置。人臉關(guān)鍵點(diǎn)檢測作為人臉對齊前最重要的一步，它將很大程度影響到人臉識(shí)別/分析/搜索系統(tǒng)的整體性能。

傳統(tǒng)的人臉關(guān)鍵點(diǎn)檢測算法主要可以分為兩類：第一類將每個(gè)關(guān)鍵點(diǎn)作為獨(dú)立的部分，每一個(gè)關(guān)鍵點(diǎn)根據(jù)其局部特征單獨(dú)訓(xùn)練檢測器；第二類將所有關(guān)鍵點(diǎn)放在一起訓(xùn)練，重點(diǎn)考慮關(guān)鍵點(diǎn)之間的相對位置關(guān)系，最后得到一個(gè)全局最優(yōu)解。然而在實(shí)際應(yīng)用中，這兩類算法都有著自己極大的缺陷：1）對第一類算法，由于每個(gè)關(guān)鍵點(diǎn)被單獨(dú)檢測，人臉的全局幾何信息被完全忽略了，這使得其對細(xì)微擾動(dòng)非常敏感，對光照變化、姿態(tài)變化等都不夠魯邦。此外，該算法的時(shí)間復(fù)雜程度和關(guān)鍵點(diǎn)的個(gè)數(shù)成正比，待檢測的關(guān)鍵點(diǎn)越多，所需的檢測器就越多，這使得其在較密（60點(diǎn)+）關(guān)鍵點(diǎn)的應(yīng)用中很難實(shí)施；2）而對第二類算法，由于人臉不同關(guān)鍵點(diǎn)的檢測難度不同（例如，眼睛附近的關(guān)鍵點(diǎn)要遠(yuǎn)比人臉輪廓上的關(guān)鍵點(diǎn)簡單，因?yàn)檠劬Ω浇卣髅黠@且不易受姿態(tài)變化影響），用一個(gè)模型去求解所有關(guān)鍵點(diǎn)的位置往往會(huì)得出一個(gè)折中的結(jié)果，即那些比較容易的關(guān)鍵點(diǎn)被比較難的點(diǎn)所“拖累”，而其實(shí)它們單獨(dú)做本可以做的更好。同時(shí)，這類算法使用了大量的冗余信息，就像用嘴和鼻子附近的特征去檢測眼睛的關(guān)鍵點(diǎn)，這其實(shí)浪費(fèi)了許多計(jì)算資源。

發(fā)明內(nèi)容

本發(fā)明針對上述問題，提供一種基于級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)的人臉關(guān)鍵點(diǎn)檢測方法，能夠有效地提高人臉關(guān)鍵點(diǎn)檢測，尤其是密集人臉關(guān)鍵點(diǎn)檢測的準(zhǔn)確性和實(shí)時(shí)性。

為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案如下：

一種基于級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)的人臉關(guān)鍵點(diǎn)檢測方法，其步驟包括：

a)建立訓(xùn)練用人臉圖像集，對其中每一張人臉標(biāo)注需要檢測的關(guān)鍵點(diǎn)位置；

b)構(gòu)建第一層深度神經(jīng)網(wǎng)絡(luò)并訓(xùn)練人臉區(qū)域估計(jì)模型，此模型中任一張人臉被分為內(nèi)臉區(qū)域與外臉區(qū)域兩部分；

c)構(gòu)建第二層深度神經(jīng)網(wǎng)絡(luò)，對步驟b)中輸出的內(nèi)臉區(qū)域和外臉區(qū)域分別做獨(dú)立的人臉關(guān)鍵點(diǎn)初步檢測；

d)根據(jù)步驟c)的初步檢測結(jié)果，對內(nèi)臉區(qū)域繼續(xù)做局部區(qū)域劃分；

e)對步驟d)得到的每個(gè)局部區(qū)域分別構(gòu)建第三層深度神經(jīng)網(wǎng)絡(luò)，用來訓(xùn)練針對該局部區(qū)域的人臉關(guān)鍵點(diǎn)檢測器；

f)根據(jù)步驟e)的人臉關(guān)鍵點(diǎn)檢測器的關(guān)鍵點(diǎn)輸出結(jié)果，對每個(gè)局部區(qū)域估計(jì)其旋轉(zhuǎn)角度；

g)將每個(gè)局部區(qū)域按照其估計(jì)的旋轉(zhuǎn)角度做矯正，將矯正的圖片收集作為新的訓(xùn)練集合；

h)對步驟g)中生成的每個(gè)局部區(qū)域的矯正數(shù)據(jù)集構(gòu)建第四層深度神經(jīng)網(wǎng)絡(luò)，用來訓(xùn)練人臉關(guān)鍵點(diǎn)檢測器；

i)任給一張新的人臉圖像，采用經(jīng)過上述步驟生成的四層深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行關(guān)鍵點(diǎn)檢測，并將最終生成的內(nèi)臉區(qū)域、外臉區(qū)域、及各個(gè)局部區(qū)域的關(guān)鍵點(diǎn)結(jié)合輸出，即為最終人臉關(guān)鍵點(diǎn)檢測結(jié)果。

進(jìn)一步地，步驟b）所述內(nèi)臉區(qū)域包括眉、眼、鼻、嘴，所述外臉區(qū)域包括完整人臉輪廓；步驟d）對內(nèi)臉區(qū)域做局部區(qū)域劃分時(shí)，劃分成為眉、眼、鼻、嘴四個(gè)局部區(qū)域。

進(jìn)一步地，每一層深度神經(jīng)網(wǎng)絡(luò)內(nèi)部由三部分組成：卷積層，最大采樣層及全連接層，對輸入圖像做多輪的卷積和采樣，最終經(jīng)過全連接層輸出人臉區(qū)域或人臉關(guān)鍵點(diǎn)的坐標(biāo)。

進(jìn)一步地，步驟f)對每個(gè)局部區(qū)域采用最小二乘法估計(jì)其旋轉(zhuǎn)角度：

M=argminΣXi||X′i-MXi||]]>

其中M為旋轉(zhuǎn)矩陣，X’_i為對正模版的關(guān)鍵點(diǎn)坐標(biāo)，X_i為步驟e)中獲得的關(guān)鍵點(diǎn)坐標(biāo)。

進(jìn)一步地，步驟g)將每個(gè)局部區(qū)域按照其估計(jì)的旋轉(zhuǎn)角度做矯正的方法為：