[發(fā)明專(zhuān)利]一種基于知識(shí)蒸餾的人臉姿態(tài)估計(jì)方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110418010.7
• 申請(qǐng)日: 2021-04-19
• 公開(kāi)（公告）號(hào): CN112818969B
• 公開(kāi)（公告）日: 2021-07-06
• 發(fā)明（設(shè)計(jì)）人: 李華蓉;蔡娜娜;鄭鵬;李峰岳;王康
• 申請(qǐng)（專(zhuān)利權(quán)）人: 南京烽火星空通信發(fā)展有限公司
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06N3/04;G06N3/08
• 代理公司: 南京經(jīng)緯專(zhuān)利商標(biāo)代理有限公司 32200
• 代理人: 陸志斌

1.一種基于知識(shí)蒸餾的人臉姿態(tài)估計(jì)方法，用于實(shí)現(xiàn)目標(biāo)分類(lèi)網(wǎng)絡(luò)對(duì)圖像人臉姿態(tài)的估計(jì)，其特征在于：針對(duì)目標(biāo)分類(lèi)網(wǎng)絡(luò)中最后全連接層，替換為三個(gè)分別對(duì)應(yīng)偏航角方向、俯仰角方向、翻滾角方向的分支全連接層，各分支全連接層的輸入端共同對(duì)接目標(biāo)分類(lèi)網(wǎng)絡(luò)中最后一級(jí)特征提取模塊的輸出端，并且各分支全連接層分別對(duì)接一個(gè)分支分類(lèi)層，構(gòu)建學(xué)生分類(lèi)網(wǎng)絡(luò)；

基于學(xué)生分類(lèi)網(wǎng)絡(luò)，執(zhí)行如下步驟A至步驟E，獲得人臉姿態(tài)估計(jì)模型；以及應(yīng)用人臉姿態(tài)估計(jì)模型，執(zhí)行步驟i至步驟ii，針對(duì)目標(biāo)人臉圖像中的人臉姿態(tài)實(shí)現(xiàn)估計(jì)；

步驟A.收集預(yù)設(shè)數(shù)量的人臉姿態(tài)樣本圖像，并確定各幅人臉姿態(tài)樣本圖像中人臉?lè)謩e對(duì)應(yīng)偏航角方向、俯仰角方向、翻滾角方向的真實(shí)角度值，然后進(jìn)入步驟B；

步驟B.選擇結(jié)構(gòu)大于學(xué)生分類(lèi)網(wǎng)絡(luò)結(jié)構(gòu)的教師初始分類(lèi)網(wǎng)絡(luò)；然后以人臉姿態(tài)樣本圖像為輸入，人臉姿態(tài)樣本圖像中人臉?lè)謩e對(duì)應(yīng)偏航角方向、俯仰角方向、翻滾角方向上預(yù)設(shè)所劃分各角度區(qū)間的概率為輸出，針對(duì)教師初始分類(lèi)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲得教師分類(lèi)網(wǎng)絡(luò)，然后進(jìn)入步驟C；

步驟C.以學(xué)生分類(lèi)網(wǎng)絡(luò)中各級(jí)特征提取模塊中最后歸一化層輸出特征分別與教師分類(lèi)網(wǎng)絡(luò)中對(duì)應(yīng)特征提取模塊中最后歸一化層輸出特征之間特征距離構(gòu)建特征蒸餾損失函數(shù)loss_D；并且以學(xué)生分類(lèi)網(wǎng)絡(luò)中各分支全連接層的輸出，結(jié)合人臉姿態(tài)樣本圖像中人臉?lè)謩e對(duì)應(yīng)偏航角方向、俯仰角方向、翻滾角方向的真實(shí)角度值所對(duì)應(yīng)的角度區(qū)間，構(gòu)建角度分類(lèi)損失loss_CE；以及基于學(xué)生分類(lèi)網(wǎng)絡(luò)輸出人臉?lè)謩e對(duì)應(yīng)偏航角方向、俯仰角方向、翻滾角方向上預(yù)設(shè)所劃分各角度區(qū)間的概率，通過(guò)各角度區(qū)間類(lèi)別概率計(jì)算數(shù)學(xué)期望，獲得各方向上對(duì)應(yīng)角度連續(xù)值作為預(yù)測(cè)角度，構(gòu)建角度回歸損失loss_MSE；然后進(jìn)入步驟D，其中，1≤i≤I，I表示學(xué)生分類(lèi)網(wǎng)絡(luò)中特征提取模塊的數(shù)量；

步驟D.按如下公式：

loss_yaw＝loss_CE(logit_yaw,y_yaw)+αloss_MSE(yaw_p,yaw)+βloss_D；

loss_pitch＝loss_CE(logit_pitch,y_pitch)+αloss_MSE(pitch_p,pitch)+βloss_D；

loss_roll＝loss_CE(logit_roll,y_roll)+αloss_MSE(roll_p,roll)+βloss_D；

構(gòu)建分別對(duì)應(yīng)偏航角方向、俯仰角方向、翻滾角方向的損失函數(shù)loss_yaw、loss_pitch、loss_roll，然后進(jìn)入步驟E；其中，α和β分別為預(yù)設(shè)損失權(quán)重系數(shù)，logit_yaw、logit_pitch、logit_roll分別為學(xué)生分類(lèi)網(wǎng)絡(luò)中分別對(duì)應(yīng)偏航角方向、俯仰角方向、翻滾角方向的分支全連接層的輸出值，y_yaw、y_pitch、y_roll分別為人臉姿態(tài)分別對(duì)應(yīng)偏航角方向、俯仰角方向、翻滾角方向的真實(shí)角度所對(duì)應(yīng)的區(qū)間類(lèi)別，yaw_p、pitch_p、roll_p分別為基于學(xué)生分類(lèi)網(wǎng)絡(luò)所獲對(duì)應(yīng)偏航角方向、俯仰角方向、翻滾角方向的預(yù)測(cè)角度連續(xù)值，yaw、pitch、roll分別為人臉姿態(tài)對(duì)應(yīng)偏航角方向、俯仰角方向、翻滾角方向的真實(shí)角度值；

步驟E.以人臉姿態(tài)樣本圖像同時(shí)輸入教師分類(lèi)網(wǎng)絡(luò)與學(xué)生分類(lèi)網(wǎng)絡(luò)，人臉姿態(tài)樣本圖像中人臉?lè)謩e對(duì)應(yīng)偏航角方向、俯仰角方向、翻滾角方向上預(yù)設(shè)所劃分各角度區(qū)間的概率為輸出，結(jié)合分別對(duì)應(yīng)偏航角方向、俯仰角方向、翻滾角方向的損失函數(shù)loss_yaw、loss_pitch、loss_roll，針對(duì)學(xué)生分類(lèi)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲得人臉姿態(tài)估計(jì)模型；

步驟i.應(yīng)用人臉姿態(tài)估計(jì)模型，針對(duì)目標(biāo)人臉圖像進(jìn)行處理，獲得目標(biāo)人臉圖像中人臉姿態(tài)分別對(duì)應(yīng)偏航角方向、俯仰角方向、翻滾角方向上預(yù)設(shè)所劃分各角度區(qū)間的概率，然后進(jìn)入步驟ii；

步驟ii.根據(jù)目標(biāo)人臉圖像中人臉姿態(tài)分別對(duì)應(yīng)偏航角方向、俯仰角方向、翻滾角方向上預(yù)設(shè)所劃分各角度區(qū)間的概率，通過(guò)各角度區(qū)間類(lèi)別概率計(jì)算數(shù)學(xué)期望，獲得各方向上對(duì)應(yīng)角度連續(xù)值作為預(yù)測(cè)角度，即目標(biāo)人臉圖像中人臉姿態(tài)分別對(duì)應(yīng)偏航角方向、俯仰角方向、翻滾角方向的預(yù)測(cè)角度，實(shí)現(xiàn)對(duì)圖像人臉姿態(tài)中人臉姿態(tài)的估計(jì)。