[發(fā)明專利]一種從粗到精的人臉關(guān)鍵點(diǎn)檢測方法

有效

• 申請?zhí)枺?/td>: 202011095352.1
• 申請日: 2020-10-14
• 公開（公告）號: CN112052843B
• 公開（公告）日: 2023-06-06
• 發(fā)明（設(shè)計(jì)）人: 劉德建;黃繼峰;陳宏展
• 申請（專利權(quán)）人: 福建天晴在線互動(dòng)科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/774;G06N20/20;G06N3/0464;G06N3/08
• 代理公司: 福州旭辰知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 35233
• 代理人: 程勇

本發(fā)明提供了一種從粗到精的人臉關(guān)鍵點(diǎn)檢測方法，該方法為：步驟1、設(shè)置一套人臉關(guān)鍵點(diǎn)，即用132個(gè)關(guān)鍵點(diǎn)來表示整個(gè)臉部，步驟2、收集一批未標(biāo)注的人臉照片作為樣本；步驟3、網(wǎng)絡(luò)構(gòu)建，即搭建一個(gè)全卷積的神經(jīng)網(wǎng)絡(luò)來進(jìn)行回歸關(guān)鍵點(diǎn)熱圖；步驟4、使用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練一整體粗糙模型、局部精確眉毛模型、局部精確眼睛模型、局部精確鼻子模型、局部精確嘴巴模型，步驟5、輸入照片，通過整體粗糙模型得到粗糙的132個(gè)關(guān)鍵點(diǎn)，并得到精確的局部五官關(guān)鍵點(diǎn)將四個(gè)局部精確模型中檢測到的眉毛、眼睛、鼻子、嘴巴關(guān)鍵點(diǎn)與整體粗糙模型檢測出的輪廓關(guān)鍵點(diǎn)合并起來，就得到了精確的人臉132關(guān)鍵點(diǎn)。提升了關(guān)鍵點(diǎn)檢測的精度，針對局部五官的優(yōu)化效果明顯。

技術(shù)領(lǐng)域

本發(fā)明涉及人臉識別技術(shù)領(lǐng)域，特別是一種從粗到精的人臉關(guān)鍵點(diǎn)檢測方法。

背景技術(shù)

人臉關(guān)鍵點(diǎn)檢測指的是輸入二維人臉照片，定位出照片中人臉上的具有特定語義的關(guān)鍵點(diǎn)坐標(biāo)。常見的人臉關(guān)鍵點(diǎn)包括：人臉外部輪廓關(guān)鍵點(diǎn)、眉毛輪廓關(guān)鍵點(diǎn)、眼睛輪廓關(guān)鍵點(diǎn)、鼻子輪廓關(guān)鍵點(diǎn)、嘴巴輪廓關(guān)鍵點(diǎn)等。圖1給出了幾種常見的人臉關(guān)鍵點(diǎn)示例圖。

圖1：(a)AR人臉數(shù)據(jù)集發(fā)布于1998年，包含22個(gè)人臉關(guān)鍵點(diǎn)。(b)XM2VTS人臉數(shù)據(jù)集發(fā)布于1999年，包含68個(gè)人臉關(guān)鍵點(diǎn)(c)FRGC-V2人臉數(shù)據(jù)集發(fā)布于2005年，包含5個(gè)人臉關(guān)鍵點(diǎn)。(d)AFLW人臉數(shù)據(jù)集發(fā)布于2011年，包含21個(gè)人臉關(guān)鍵點(diǎn)。(e)AFW人臉數(shù)據(jù)集發(fā)布于2013年，包含6個(gè)人臉關(guān)鍵點(diǎn)。(f)IBUG人臉數(shù)據(jù)集發(fā)布于2013年，68個(gè)關(guān)鍵點(diǎn)。

人臉關(guān)鍵點(diǎn)檢測是許多人臉相關(guān)應(yīng)用的基礎(chǔ)，例如：人臉識別、三維人臉重建、人臉美妝、換臉、表情遷移等。近年來，隨著深度學(xué)習(xí)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)的特征提取能力已經(jīng)取得有目共睹的成績。而基于卷積神經(jīng)網(wǎng)絡(luò)的熱圖回歸方法已經(jīng)成為了解決人臉關(guān)鍵點(diǎn)檢測問題的主流方法，并且效果相對傳統(tǒng)的坐標(biāo)回歸方法有了顯著的提升。

熱圖回歸指的是根據(jù)輸入圖像，使用卷積提取特征，再使用反卷積等上采樣操作將特征圖還原到與輸入圖像同樣尺寸，最終每個(gè)關(guān)鍵點(diǎn)輸出一張熱圖。熱圖本質(zhì)上是一個(gè)二維數(shù)值矩陣，各像素的值被限制在0到1之間，該矩陣大部分位置數(shù)值都為0，只有關(guān)鍵點(diǎn)對應(yīng)位置周圍存在數(shù)值，且關(guān)鍵點(diǎn)對應(yīng)位置的數(shù)值為最大。每張熱圖都代表了某個(gè)預(yù)先定義的關(guān)鍵點(diǎn)，熱圖上數(shù)值最大的值所在的像素坐標(biāo)即為該關(guān)鍵點(diǎn)在原圖上的坐標(biāo)。

熱圖回歸相較于直接回歸坐標(biāo)值更能引入空間上的局部特征，已經(jīng)得到業(yè)界的普遍認(rèn)可。在訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)時(shí)，輸入圖像的尺寸往往是固定的，而且不會(huì)太大。絕大部分目前常用的網(wǎng)絡(luò)結(jié)構(gòu)對于輸入圖像的尺寸都要求在300×300以內(nèi)。過大的輸入圖像往往意味著需要增加網(wǎng)絡(luò)的深度，這對網(wǎng)絡(luò)的訓(xùn)練難度、對訓(xùn)練樣本數(shù)量的要求都會(huì)大大增加。因此，本專利通常會(huì)將大尺寸的原始圖片樣本，進(jìn)行裁剪、縮放到統(tǒng)一尺寸。在輸入圖像尺寸較小的條件下回歸關(guān)鍵點(diǎn)，那么勢必會(huì)存在臉部局部細(xì)節(jié)的識別誤差。例如：眼角、嘴角等部位。當(dāng)這些關(guān)鍵點(diǎn)坐標(biāo)還原到大尺寸的原圖上時(shí)，這些誤差就會(huì)被放大。這也是本文提出的從粗到精的關(guān)鍵點(diǎn)檢測方法著力解決的難題。

在人臉數(shù)據(jù)集方面，得益于開源觀念的普及，目前市面上存在許多開源的人臉關(guān)鍵點(diǎn)數(shù)據(jù)集。如果是做研究，使用這些開源數(shù)據(jù)集即可。然而，如果是企業(yè)實(shí)際運(yùn)用過程中就會(huì)發(fā)現(xiàn)，這些開源數(shù)據(jù)集存在幾個(gè)問題。

1.存在多種關(guān)鍵點(diǎn)規(guī)范。不同數(shù)據(jù)集往往采用不同的關(guān)鍵點(diǎn)規(guī)范，難以同時(shí)使用。

2.多數(shù)數(shù)據(jù)集中人臉關(guān)鍵點(diǎn)的數(shù)量不足。例如IBUG數(shù)據(jù)集中定義的人臉68個(gè)關(guān)鍵點(diǎn)，其眉毛部分的關(guān)鍵點(diǎn)僅圍繞著眉毛的上邊緣，而下邊緣并沒有關(guān)鍵點(diǎn)；鼻翼部分也是非常重要的人臉特征，同樣缺少關(guān)鍵點(diǎn)來表示該特征；而作為人臉重要特征的眼睛、人臉輪廓部分的關(guān)鍵點(diǎn)略顯稀疏，表達(dá)人臉特征的能力有限。

3.多數(shù)數(shù)據(jù)集中的人臉為歐美人種，與本專利的實(shí)際運(yùn)用場景不符，這也是影響模型準(zhǔn)確度的一個(gè)關(guān)鍵因素。

發(fā)明內(nèi)容