[發明專利]一種從粗到精的人臉關鍵點檢測方法

有效

• 申請號: 202011095352.1
• 申請日: 2020-10-14
• 公開（公告）號: CN112052843B
• 公開（公告）日: 2023-06-06
• 發明（設計）人: 劉德建;黃繼峰;陳宏展
• 申請（專利權）人: 福建天晴在線互動科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/774;G06N20/20;G06N3/0464;G06N3/08
• 代理公司: 福州旭辰知識產權代理事務所(普通合伙) 35233
• 代理人: 程勇

1.一種從粗到精的人臉關鍵點檢測方法，其特征在于：所述方法包括如下步驟：

步驟1、設置一套人臉關鍵點，即用132個關鍵點來表示整個臉部，其中人臉輪廓部分包括33個關鍵點，眉毛部分包括22個關鍵點，眼睛部分34個關鍵點，鼻子部分包括15個關鍵點，嘴巴部分包括28個關鍵點；

步驟2、收集一批未標注的人臉照片作為樣本，通過所述人臉關鍵點對這批樣本進行關鍵點標注；

步驟3、網絡構建，即搭建一個全卷積的神經網絡來進行回歸關鍵點熱圖；

步驟4、使用神經網絡結構訓練一整體粗糙模型、局部精確眉毛模型、局部精確眼睛模型、局部精確鼻子模型、以及局部精確嘴巴模型，該整體粗糙模型能回歸整張臉共132個關鍵點的模型，所述局部精確眉毛模型、局部精確眼睛模型、局部精確鼻子模型、局部精確嘴巴模型分別專注于檢測眉毛、眼睛、鼻子、嘴巴四個人臉五官關鍵點；訓練樣本采用所述人臉照片的樣本；

步驟5、檢測時，輸入照片，通過整體粗糙模型對輸入照片進行預測，得到粗糙的132個關鍵點，根據這些粗糙132個關鍵點裁剪出左眉毛、右眉毛、左眼睛、右眼睛、鼻子、嘴巴五官部件，將這些五官部件分別送入對應的局部精確模型中，能得到精確的局部五官關鍵點將四個局部精確模型中檢測到的眉毛、眼睛、鼻子、嘴巴關鍵點與整體粗糙模型檢測出的輪廓關鍵點合并起來，就得到了精確的人臉132關鍵點；

所述步驟3中網絡構建進一步具體為：輸入人臉照片圖像，轉化為張量后尺寸為(256,256,3)，分別代表(寬,高,通道)；全卷積的神經網絡中模塊A代表尺寸＝3×3,步長＝2，padding＝1的二維卷積，包含64個卷積核，最終輸出的張量尺寸為(128,128,64)；全卷積的神經網絡中模塊B代表一個殘差模塊，輸出的張量尺寸為(128,128,128)；模塊C是一個尺寸＝2×2，步長＝2的均值池化，輸出的張量尺寸為(64,64,128)；模塊D是與模塊B具有相同結構的殘差模塊，輸出的張量尺寸為(64,64,128)；模塊E是與模塊B、D具有相同結構的殘差模塊，輸出的張量尺寸為(64,64,256)；模塊F是一個Hourglass模塊，它由多個下采樣層和上采樣層組成，能夠很好地提取全尺寸特征，輸出的張量尺寸為(64,64,256)；模塊G是一個尺寸為3×3，步長＝1，padding＝1的二維卷積，包含256個卷積核，輸出張量的尺寸為(64,64,256)；模塊H是一個與模塊G具有相同結構的卷積層，輸出張量的尺寸為(64,64,256)；模塊I是一個尺寸為1×1，步長stride＝1,padding＝1的二維卷積，卷積核的數量等于待檢測的關鍵點數量，輸出張量的尺寸是(64,64,待檢測的關鍵點數量num_keypoints)；最終，對輸出張量上每個像素點進行sigmoid函數激活，將輸出限制在0-1之內，即可得到熱圖集合；

神經網絡中使用到的所有卷積層在激活函數之前都進行了批量歸一化操作，并且所有卷積層的激活函數都使用ReLU激活函數。

2.根據權利要求1所述的一種從粗到精的人臉關鍵點檢測方法，其特征在于：所述步驟2中收集的人臉照片樣本后先進行眉毛處理，由于化妝的原因，眉毛實際上能夠呈現出非常多的姿態，為了使關鍵點檢測方法能夠兼容各種類型的眉毛，收集了一批特殊眉形的人臉照片樣本，這些特殊眉形包括：八字眉、刀眉、短粗眉、飛劍眉、尖刀眉、開尾眉、山黛眉、以及長虹眉；在眉毛標注過程中要求眉頭使用2點來表示，眉尾使用1點來表示，同時在眉形轉折處必須有點；在訓練局部精確眉毛模型時，需要將局部五官進行裁剪，每個人臉上有2個眉毛，則從每個樣本中裁剪出2個眉毛樣本，為了保證兩個眉毛的關鍵點序一致，將右眉統一水平翻轉，并相應地調整了樣本中的關鍵點序。

3.根據權利要求2所述的一種從粗到精的人臉關鍵點檢測方法，其特征在于：所述收集到的人臉照片樣本中對眼睛進行與眉毛相同的處理，即每個人臉照片中都包含兩個眼睛，在訓練局部精確眼睛模型時，將每只眼睛單獨裁下，每個人臉上有2個眼睛，為了保證兩個眼睛關鍵點序一致，統一將右眼水平翻轉，并相應地調整了樣本中的關鍵點序。