[發(fā)明專利]一種人臉姿態(tài)估計(jì)方法、裝置和設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201811054415.1
• 申請(qǐng)日: 2018-09-11
• 公開(kāi)（公告）號(hào): CN109359526B
• 公開(kāi)（公告）日: 2022-09-27
• 發(fā)明（設(shè)計(jì)）人: 田勁東;張祖光;李曉宇;田勇
• 申請(qǐng)（專利權(quán)）人: 深圳大學(xué)
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V10/82;G06N3/04
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 唐致明;洪銘福

1.一種人臉姿態(tài)估計(jì)方法，其特征在于，所述方法包括步驟：

讀取待估計(jì)的圖片；

根據(jù)第一模型，識(shí)別出待估計(jì)圖片的人臉特征點(diǎn)；

訓(xùn)練所述第一模型包括：

對(duì)訓(xùn)練集圖片進(jìn)行預(yù)處理；

進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練；

所述卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的采用的損失函數(shù)為：

其中，loss代表誤差，i表示數(shù)據(jù)集中第i張圖片，n表示數(shù)據(jù)集共有n張圖片，j表示圖像中第j個(gè)特征點(diǎn)，j_x表示第j個(gè)特征點(diǎn)的x坐標(biāo)下索引，j_y表示個(gè)特征點(diǎn)的y坐標(biāo)下索引，表示第i張圖片第j個(gè)特征點(diǎn)坐標(biāo)估計(jì)值，表示第i張圖片第j個(gè)特征點(diǎn)坐標(biāo)真實(shí)值，表示在第i張圖片的第j個(gè)特征點(diǎn)估計(jì)值和真實(shí)值的歐式距離，l為輸入卷積神經(jīng)網(wǎng)絡(luò)人臉的長(zhǎng)度；

根據(jù)第二模型和所述人臉特征點(diǎn)，識(shí)別出待估計(jì)圖片的人臉待姿態(tài)角；

其中，所述第一模型為卷積神經(jīng)網(wǎng)絡(luò)模型，包括1個(gè)輸入層，3對(duì)卷積池化層，1個(gè)卷積層，2個(gè)全連接層；所述第二模型為前饋神經(jīng)網(wǎng)絡(luò)模型，包括11個(gè)隱藏層和1個(gè)輸出層。

2.根據(jù)權(quán)利要求1所述的一種人臉姿態(tài)估計(jì)方法，其特征在于，所述步驟讀取待估計(jì)的圖片之后，還包括：判斷所述圖片中是否包含人臉，若是，截取人臉部分圖像，并對(duì)截取的圖像進(jìn)行歸一化處理。

3.根據(jù)權(quán)利要求1所述的一種人臉姿態(tài)估計(jì)方法，其特征在于，所述方法還包括訓(xùn)練第二模型，包括步驟，

生成姿態(tài)角估計(jì)訓(xùn)練集；

進(jìn)行前饋神經(jīng)網(wǎng)絡(luò)訓(xùn)練。

4.根據(jù)權(quán)利要求3所述的一種人臉姿態(tài)估計(jì)方法，其特征在于，所述前饋神經(jīng)網(wǎng)絡(luò)訓(xùn)練中采用的損失函數(shù)為：

其中，x_i,j表示第i個(gè)樣本偏轉(zhuǎn)的第j個(gè)歐拉角，i＝0,...n-1，j＝1,2,3，n表示數(shù)據(jù)集共有n張圖片，x′_i,j表示第i個(gè)樣本偏轉(zhuǎn)的第j個(gè)歐拉角的預(yù)測(cè)值。

5.根據(jù)權(quán)利要求3所述的一種人臉姿態(tài)估計(jì)方法，其特征在于，所述步驟生成姿態(tài)角估計(jì)訓(xùn)練集包括步驟：

提取待估計(jì)的圖片的人臉特征和旋轉(zhuǎn)中心的坐標(biāo)信息；

將所述特征點(diǎn)繞所述旋轉(zhuǎn)中心旋轉(zhuǎn)投射到預(yù)設(shè)平面上；

在預(yù)設(shè)平面中計(jì)算姿態(tài)角的角度值。

6.一種人臉姿態(tài)估計(jì)的裝置，其特征在于，包括：

輸入模塊，用于接收待估計(jì)的圖片；

第一模型，用于識(shí)別出待估計(jì)圖片的人臉特征點(diǎn)，所述第一模型還包括第一模型訓(xùn)練模塊，用于訓(xùn)練所述第一模型，

所述第一模型訓(xùn)練模塊包括：

訓(xùn)練集圖片預(yù)處理模塊，用于處理訓(xùn)練集中的圖片，

卷積神經(jīng)網(wǎng)絡(luò)模塊，用于判斷人臉特征點(diǎn)，所述卷積神經(jīng)網(wǎng)絡(luò)模型包括1個(gè)輸入層，3對(duì)卷積池化層，1個(gè)卷積層，2個(gè)全連接層；

其中，所述卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型訓(xùn)練中采用的損失函數(shù)為：

其中，loss代表誤差，i表示數(shù)據(jù)集中第i張圖片，n表示數(shù)據(jù)集共有n張圖片，j表示圖像中第j個(gè)特征點(diǎn)，j_x表示第j個(gè)特征點(diǎn)的x坐標(biāo)下索引，j_y表示個(gè)特征點(diǎn)的y坐標(biāo)下索引，表示第i張圖片第j個(gè)特征點(diǎn)坐標(biāo)估計(jì)值，表示第i張圖片第j個(gè)特征點(diǎn)坐標(biāo)真實(shí)值，表示在第i張圖片的第j個(gè)特征點(diǎn)估計(jì)值和真實(shí)值的歐式距離，l為輸入卷積神經(jīng)網(wǎng)絡(luò)人臉的長(zhǎng)度；

第二模型，識(shí)別出待估計(jì)圖片的人臉待姿態(tài)角，所述第二模型包括第二模型訓(xùn)練模塊，用于訓(xùn)練所述第二模型，

所述第二模型訓(xùn)練模塊包括：

姿態(tài)角估計(jì)訓(xùn)練集生成模塊，用于生成姿態(tài)角估計(jì)所需的訓(xùn)練集，

前饋神經(jīng)網(wǎng)絡(luò)模塊，用于判斷人臉姿態(tài)角，所述前饋神經(jīng)網(wǎng)絡(luò)模型包括11個(gè)隱藏層和1個(gè)輸出層。

7.一種人臉姿態(tài)估計(jì)的設(shè)備，其特征在于，包括：

至少一個(gè)處理器；以及，

與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，

所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行如權(quán)利要求1至5任一項(xiàng)所述的方法。