[發(fā)明專利]一種人臉關(guān)鍵點(diǎn)檢測(cè)的模型訓(xùn)練方法、檢測(cè)方法、裝置，及終端設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202010764497.X
• 申請(qǐng)日: 2020-08-03
• 公開(kāi)（公告）號(hào): CN114067380A
• 公開(kāi)（公告）日: 2022-02-18
• 發(fā)明（設(shè)計(jì)）人: 林堅(jiān);周金明
• 申請(qǐng)（專利權(quán)）人: 南京行者易智能交通科技有限公司
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V10/774;G06K9/62
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種人臉關(guān)鍵點(diǎn)檢測(cè)的模型訓(xùn)練方法，其特征在于，該方法包括如下步驟：

步驟1，采集包含人臉的原始圖像，標(biāo)注處N個(gè)人臉關(guān)鍵點(diǎn)坐標(biāo)，人臉關(guān)鍵點(diǎn)坐標(biāo)是相對(duì)于原始圖像的坐標(biāo)，原圖寬為width，高為height，構(gòu)建原始訓(xùn)練集；

步驟2：獲取人臉區(qū)域框，并對(duì)人臉區(qū)域框進(jìn)行隨機(jī)放大，得到構(gòu)建增廣訓(xùn)練集；

計(jì)算每個(gè)圖像關(guān)鍵點(diǎn)的最大最小橫縱坐標(biāo)，構(gòu)成原始人臉區(qū)域框src_box(x_min，y_min，x_max，y_max)，對(duì)人臉區(qū)域框使用隨機(jī)放大的方法得到num組放大后的人臉區(qū)域enlarge_box(x_min’，y_min’，x_max’，y_max’)，并對(duì)應(yīng)將相對(duì)原始圖像的關(guān)鍵點(diǎn)坐標(biāo)轉(zhuǎn)換為相對(duì)enlarge_box的關(guān)鍵點(diǎn)坐標(biāo)，從而構(gòu)建增廣訓(xùn)練集；

步驟3，對(duì)增廣數(shù)據(jù)集進(jìn)行圖像預(yù)處理；

步驟4，獲取增廣數(shù)據(jù)集圖像的歐拉角度標(biāo)簽；

從人臉關(guān)鍵點(diǎn)中獲取左眼角，右眼角，鼻尖，左嘴角，右嘴角，下頜共六個(gè)點(diǎn)的坐標(biāo)，計(jì)算旋轉(zhuǎn)矩陣，再轉(zhuǎn)換為歐拉角；所述歐拉角包括俯仰角pitch、偏航角raw、翻滾角roll三個(gè)角度；

步驟5，對(duì)人臉關(guān)鍵點(diǎn)檢測(cè)模型進(jìn)行訓(xùn)練，

采用增廣訓(xùn)練集，以訓(xùn)練集中的圖像與其關(guān)鍵點(diǎn)，及其歐拉角度標(biāo)簽為輸入，對(duì)輸入圖像使用基礎(chǔ)特征提取模塊，得到基礎(chǔ)特征部分，再采用關(guān)鍵點(diǎn)網(wǎng)絡(luò)主分支和角度網(wǎng)絡(luò)輔助分支分別對(duì)基礎(chǔ)特征部分進(jìn)行預(yù)測(cè)；

關(guān)鍵點(diǎn)網(wǎng)絡(luò)主分支包括第一尺度特征提取模塊、第二尺度特征提取模塊、第三尺度特征提取模塊和關(guān)鍵點(diǎn)回歸預(yù)測(cè)模塊，對(duì)基礎(chǔ)特征部分提取第一尺度特征；繼續(xù)對(duì)第一尺度特征提取得到第二尺度特征；再對(duì)第二尺度特征提取得到第三尺度特征；最后融合所有三個(gè)尺度的特征作為關(guān)鍵點(diǎn)回歸預(yù)測(cè)模塊的輸入，得到預(yù)測(cè)的關(guān)鍵點(diǎn)；

角度網(wǎng)絡(luò)輔助分支包括歐拉角度特征提取模塊和歐拉角度特征預(yù)測(cè)模塊，對(duì)基礎(chǔ)特征部分使用歐拉角度特征提取模塊提取歐拉角度特征，再使用歐拉角度特征預(yù)測(cè)模塊，得到預(yù)測(cè)的歐拉角度；

結(jié)合預(yù)測(cè)的關(guān)鍵點(diǎn)坐標(biāo)與真實(shí)關(guān)鍵點(diǎn)坐標(biāo)計(jì)算Loss_wing和坐標(biāo)回歸損失Loss_reg，結(jié)合預(yù)測(cè)的歐拉角度和真實(shí)歐拉角度計(jì)算關(guān)于Loss_reg的影響權(quán)重w_θ；訓(xùn)練的總損失Loss為L(zhǎng)oss_wing和加權(quán)Loss_reg的結(jié)合，訓(xùn)練目標(biāo)是將總損失Loss收斂至最小。