[發(fā)明專利]一種基于灰度圖像的高效人臉對(duì)齊方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110795562.X
• 申請(qǐng)日: 2021-07-14
• 公開（公告）號(hào): CN113610115A
• 公開（公告）日: 2021-11-05
• 發(fā)明（設(shè)計(jì)）人: 林家平;王玲;石錫敏
• 申請(qǐng)（專利權(quán)）人: 廣州敏視數(shù)碼科技有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06K9/00;G06N3/04
• 代理公司: 廣州致信偉盛知識(shí)產(chǎn)權(quán)代理有限公司 44253
• 代理人: 彭玲

1.一種基于灰度圖像的高效人臉對(duì)齊方法，其特征在于，包括以下步驟：

S1:獲取包含人臉圖片組成的圖片集和當(dāng)前需要對(duì)齊的人臉區(qū)域灰度圖像；

S2:將包含人臉圖片組成的圖片集輸入至深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)框架，依據(jù)整張人臉的熱力圖和人臉邊緣熱力圖、整張人臉的特征點(diǎn)熱力圖進(jìn)行監(jiān)督回歸訓(xùn)練輸出人臉對(duì)齊模型；

S3:將當(dāng)前需要對(duì)齊的人臉區(qū)域灰度圖像輸入至人臉對(duì)齊模型計(jì)算出人臉各特征點(diǎn)的熱力圖；

S4:遍歷當(dāng)前人臉各特征點(diǎn)的熱力圖，并計(jì)算各特征點(diǎn)的坐標(biāo)，根據(jù)各特征點(diǎn)的坐標(biāo)以實(shí)現(xiàn)人臉對(duì)齊。

2.根據(jù)權(quán)利要求1所述的基于灰度圖像的高效人臉對(duì)齊方法，其特征在于，所述人臉邊緣熱力圖包括：人臉邊緣輪廓，鼻梁輪廓，眉毛輪廓，眼睛輪廓，嘴巴輪廓的熱力圖。

3.根據(jù)權(quán)利要求1所述的基于灰度圖像的高效人臉對(duì)齊方法，其特征在于，在步驟S4中所述計(jì)算各特征點(diǎn)的坐標(biāo)包括以下步驟：

S4-1、計(jì)算各個(gè)特征點(diǎn)坐標(biāo)時(shí)，依據(jù)每個(gè)特征點(diǎn)熱力圖上的數(shù)值，進(jìn)行排序;

S4-2、排序后，取前K個(gè)分?jǐn)?shù)最大的坐標(biāo)值以及分?jǐn)?shù)，進(jìn)行softmax操作，然后按照公式,，可以計(jì)算出各個(gè)特征點(diǎn)熱力圖的特征點(diǎn)坐標(biāo)()，根據(jù)各特征點(diǎn)的坐標(biāo)()以實(shí)現(xiàn)人臉對(duì)齊。

4.根據(jù)權(quán)利要求1所述的基于灰度圖像的高效人臉對(duì)齊方法，其特征在于，所述人臉對(duì)齊模型由卷積模塊、MobileNetV2模塊以及MobileNetV2漏斗模塊組成。

5.根據(jù)權(quán)利要求4所述的基于灰度圖像的高效人臉對(duì)齊方法，其特征在于，所述人臉對(duì)齊模型以粗略到精細(xì)的方式逐漸回歸得到人臉特征點(diǎn)熱力圖；模型結(jié)構(gòu)分為三部分，第一人臉邊緣熱力圖回歸模塊、第二人臉邊緣熱力圖回歸模塊和人臉特征點(diǎn)熱力圖回歸模塊；第一人臉邊緣熱力圖回歸模塊與第二人臉邊緣熱力圖回歸模塊逐漸回歸人臉邊緣熱力圖以及整張人臉熱力圖，人臉特征點(diǎn)熱力圖回歸模塊在前兩部分計(jì)算基礎(chǔ)上回歸人臉特征點(diǎn)熱力圖。

6.根據(jù)權(quán)利要求5所述的基于灰度圖像的高效人臉對(duì)齊方法，其特征在于，步驟S3包括以下步驟：

S3-1、將當(dāng)前需要對(duì)齊的人臉區(qū)域灰度圖像輸入至卷積模塊、MobileNetV2模塊獲取圖像寬度和圖像高度為原來1/4的三維矩陣數(shù)據(jù)；

S3-2、將三維矩陣數(shù)據(jù)輸入由至MobileNetV2漏斗模塊、卷積模塊、MobileNetV2模塊組成的第一人臉邊緣熱力圖回歸模塊進(jìn)行計(jì)算，獲取兩個(gè)的三維矩陣數(shù)據(jù)；

S3-3、將三維矩陣數(shù)據(jù)和兩個(gè)的三維矩陣數(shù)據(jù)進(jìn)行元素相加融合，然后輸入由MobileNetV2漏斗模塊、卷積模塊、MobileNetV2模塊組成的第二人臉邊緣熱力圖回歸模塊進(jìn)行計(jì)算，同樣獲取兩個(gè)三維矩陣數(shù)據(jù)；

S3-4、再次將三維矩陣數(shù)據(jù)和三維矩陣數(shù)據(jù)進(jìn)行元素相加融合，然后輸入由MobileNetV2漏斗模塊、卷積模塊、MobileNetV2模塊組成人臉特征點(diǎn)熱力圖回歸模塊進(jìn)行計(jì)算，獲取特征點(diǎn)個(gè)數(shù)與通道數(shù)相等的人臉各特征點(diǎn)的熱力圖。

7.根據(jù)權(quán)利要求1-6任一項(xiàng)所述的基于灰度圖像的高效人臉對(duì)齊方法，其特征在于，所述獲取包含人臉圖片組成的圖片集還包括：

將包含人臉圖片組成圖片集進(jìn)行仿射變換翻轉(zhuǎn)、旋轉(zhuǎn)以及遮擋處理。

8.根據(jù)權(quán)利要求1-6任一項(xiàng)所述的基于灰度圖像的高效人臉對(duì)齊方法，其特征在于，獲取當(dāng)前需要對(duì)齊的人臉區(qū)域灰度圖像之前還包括：

通過攝像頭獲取灰度圖像；

灰度圖像進(jìn)行人臉檢測(cè)，獲取圖像中人臉的區(qū)域；

將圖像中人臉的區(qū)域縮放為預(yù)設(shè)尺寸人臉區(qū)域灰度圖像。